神经网络隐藏层激活函数和输出层softmaxhardmax函数理解

神经⽹络隐藏层激活函数和输出层softmaxhardmax函数理解

1：激活函数

-　激活函数是神经⽹络中对输⼊数据转换的⽅法，通过激活函数后将输⼊值转化为其他信息；在神经⽹络的隐藏层中，激活函数负责将进⼊神经元的信息汇总转换为新的输出信号，传递给下⼀个神经元；

如果不使⽤激活函数，每个输⼊节点的输⼊都是⼀样的，成为了原始的感知机，没有信号的转换，使得⽹络的逼近能⼒有限，⽆法充分发挥⽹络的强⼤学习能⼒；

常见的激活函数：(sigmoid、tanh、Relu)

1：Sigmoid函数：

常⽤的转化线性信号为⾮线性信号的激活函数，数学表达形式如下：

优日主要特点：

１：将输⼊的连续值转化到０和１之间的输出；

２：深度学习的反向传递中可能导致梯度爆炸和梯度消失的情况，梯度消失发⽣的概率⽐较⼤；如果初

始化神经⽹络的权重为⾼斯分布的随机值（均值为０⽅差为１），通过反向传播算法的数学推导可知，每⼀层梯度值会逐层下降0.25，如果神经⽹络层特别多，可能使得在穿过多层之后，梯度⾮常⼩，可能接近于0，即出现梯度消失的现象；

３：由于sigmoid函数的函数值是正数，那么每⼀层的输⼊为上⼀层的⾮０均值信号，模型收敛可能不理想；

４：幂运算的求解耗时，增加训练时间

２：tanh函数：

tanh函数解决了sigmoid函数全是正数的输出问题，模型的优化速度快，但是梯度消失的问题和幂函数运算复杂的问题没有解决；３：Relu函数（线性修正单元）

切削液废水取最⼤值函数，具有的优点：在正数区间解决了梯度下降的问题，计算速度⾮常快，收敛速度快；

存在问题：部分神经元可能不会激活，参数⽆法更新。

要注意：初始参数的设置－采⽤xavier初始化⽅法，避免将learning　rate设置太⼤，或者⾃动调节学习率

４：PReLU(Leaky ReLu)

插卡音箱方案

5：ELU(Exponential Linear Units)函数

集成供应链管理系统ELU解决了Relu的问题，不会有梯度消失的问题，不会出现神经元⽆法激活的问题，但是计算量会稍

微有点⼤；

6：MaxOut函数

maxout是深度学习中的⼀层⽹络，就像池化层和卷积层⼀样，我们可以把maxout函数看做是⽹络的激活函数层，每个神经元的计算公式如下：在激活函数层中训练参数，将最⼤值传下去。

激活函数的使⽤

拉丝钢板

１：选⽤激活函数的时候不要带有偏置信息，最好不要使⽤sigmoid，可以尝试tanh，但是效果不如relu和maxout函数，但是计算量同样⼤

刮膜棒

２：输出层函数

输出层神经元，通过将输出值经过输出层函数转化为针对某⼀分类的置信概率值，在多分类问题中常见（softmax）

softmax函数

hardmax是到数组中所有元素的最⼤的元素；softmax含义在于不再唯⼀的确定某⼀个最⼤值，⽽是输出每个分类结果的概率值，表⽰这个类别的可能性；将多分类信息，转化为范围在[0,1]之间和为１的概率分布；

当使⽤softmax函数作为输出节点的激活函数的时候，⼀般使⽤交叉熵作为损失函数；但是softmax因为e的问题，很容易出现数值溢出的现象；

计算损失函数的时候采⽤交叉熵计算softmax函数的损失函数（每个位置出现的概率的交叉熵损失函数）；

交叉熵：

本文发布于:2024-09-22 22:38:31，感谢您对本站的认可！

标签：函数梯度问题可能输出信号消失

留言与评论（共有 0 条评论）