⾮常详细的讲解让你深刻理解神经⽹络NN（neuralnetwork）作者：RayChiu_Labloy 版权声明：著作权归作者所有，商业转载请联系作者获得授权，⾮商业转载请注明出处
⽬录
什么是神经⽹络NN、⼈⼯神经⽹络ANN
⼈⼯神经⽹络（artificial neural network，ANN），简称神经⽹络（neural network，NN），是⼀种模仿⽣物神经⽹络的结构和功能的数学模型或计算模型。神经⽹络由⼤量的⼈⼯神经元联结进⾏计算。⼤多数情况下⼈⼯神经⽹络能在外界信息的基础上改变内部结构，是⼀种⾃适应系统。现代神经⽹络是⼀种⾮线性统计性数据建模⼯具，常⽤来对输⼊和输出间复杂的关系进⾏建模，或⽤来探索数据的模式。 神经元(神经⽹络的基本单元)
概念详解
1943年，McCulloch 和 Pitts 将⽣物神经⽹络的神经元结构与功能抽象为⼀个简单模型，这就是⼀直沿⽤⾄今的“M-P神经元模型”。结构如下图所⽰：
其中图中 w或表⽰权重，和Z是相乘求和的线性变换，和f函数是⾮线性变换的激活函数。 在神经元模型中，神经元接收到来⾃ n 个其他神经元传输过来的输⼊信号{,xn}，这些输⼊信号通过带权重的连接(connection)进⾏传递，神经元接收到的总输⼊值(就是图中的和Z)将与神经⽹络的阈值进⾏⽐较，然后通过“激活函数”(activation
开关电源模块并联供电系统function)处理以产⽣神经元的输出。
激活函数理想的是阶跃函数，它将输⼊值映射为0和1输出，“1”对应神经元兴奋，“0”则是抑制。但是这种阶跃结构具有不连续、不光滑等缺点，因此实际⽣产常⽤sigmoid作为激活函数，将输⼊值压缩⾄(0,1)区间。
神经元的数学模型：
文苑网>核酸分子杂交
神经元的计算：
神经元到神经⽹络
阿片类化合物把许多这种神经元结构按照⼀定的层次结构连接起来就得到了神经⽹络。
其他常⽤的激活函数：
常见的激活函数
如何选择激活函数
sigmoid激活函数这种⾮线性变换⼀般是在输出层做分类时使⽤，其他的⽐较常⽤的ReLU、tanh等都是在下边说的多层、深层神经⽹络中的隐藏层最后使⽤。
注意：当然激活函数不⼀定是上边⾮线性的，准确的来说隐藏层必须是⾮线性的，⽽最后的输出层看
情况⽽定，分类的情况下，⼆分类⽤sigmoid(softmax也可以⼆分类，⼆分类上和sigmoid⼀样)，多分类⽤softmax，或者接多个sigmoid做多标签分类；但是如果是MSE损失的回归问题，就不⽤做⾮线性变换了，或者说什么都不⽤做，直接y=x输出即可。
谈⼀下sigmoid和softmax
从本质上来说两者不⼀样，softmax是假设数据服从多项式分布，sigmoid是假设数据服从伯努利分布。
softmax不适合做多标签任务，因为根据softmax公式:
可知softmax⾃带了归⼀化操作，所有类别的概率相加为1，因此会尽可能的把⼀个类的概率调整的很⾼，因此不适合多标签任务。 ⽽⽤逻辑回归sigmoid做多标签就没有归⼀化这个操作(有些框架为了好看会⼿动添加⼀个归⼀化)，各类别概率不会互相影响。
为什么softmax的各类输出概率会互相影响⽽sigmoid不会呢？这得从梯度下降的两个阶段说起，两个阶段下边会详细说。
观察上边softmax传播图的蓝⾊线(蓝⾊线没有参数w，或者可以看作为1的w)，结合softmax公式我们发现分母是综合了所有类别信息,，因此loss包含了所有类别的信息，反向传播求梯度也会影响到所有的参数w(w1到w12)，那下⼀次正向传播求loss依然会综合所有的w 的信息和类别信息得出loss,⽽sigmoid不是这样，我们看sigmoid公式：风湿骨痛宁胶囊
还有sigmoid传播图：
sigmoid它只和当前的类别相关，因此求出的loss只包含当前类别的信息，反向求梯度也是只和⾃⼰类别相关的⼏个参数有关，⽐如最上边的类别输出只和w1、w2、w3、w4有关，那更新了这⼏个参数后再次正向传播求loss依然只和当前类别有关。
区分不同神经⽹络的三个要素：
激活函数：将神经元的净输⼊信号转换为单⼀的输⼊信号，以便进⼀步在⽹络中传播
⽹络拓扑：描述了模型中神经元的数量以及层数和他们的连接⽅式
训练算法：指定如何设置连接权重，以便抑制或增加神经元在输⼊信号中的⽐重
感知机
1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经⽹络。他给它起了⼀个名字--“感知器”（Perceptron）（有的⽂献翻译成“感知机”，下⽂统⼀⽤“感知器”来指代）。
感知器是当时⾸个可以学习的⼈⼯神经⽹络。Rosenblatt现场演⽰了其学习识别简单图像的过程，在当时的社会引起了轰动。
⼈们认为已经发现了智能的奥秘，许多学者和科研机构纷纷投⼊到神经⽹络的研究中。美国军⽅⼤⼒资助了神经⽹络的研究，并认为神经⽹络⽐“原⼦弹⼯程”更重要。这段时间直到1969年才结束，这个时期可以看作神经⽹络的第⼀次⾼潮。
定义
感知机是包含两层神经元的结构，这两层分别是输⼊层神经元和输出层神经元，输出层就是M-P神经元，亦称阈值逻辑单元、功能单元。
参数训练
与神经元模型不同，感知器中的权值是通过训练得到的。因此，根据以前的知识我们知道，感知器类似⼀个逻辑回归模型，可以做线性分类任务。
我们可以⽤决策分界来形象的表达分类的效果。决策分界就是在⼆维的数据平⾯中划出⼀条直线，当数据的维度是3维的时候，就是划出⼀个平⾯，当数据的维度是n维时，就是划出⼀个n-1维的超平⾯。
下图显⽰了在⼆维平⾯中划出决策分界的效果，也就是感知器的分类效果。
⼀般给定训练数据集，权重以及阈值θ(偏置项，可以看作⼀个固定输⼊为-0.1的“哑结点”（dummy node）)，则感知机权重将这样调整：
灵敏度特异度
其中 在(0,1)范围内，称为学习率。
可以看出，感知机若对训练集(x,y)预测正确，即，权重不会变化，如果有误差则会调整权重。
与或⾮问题和线性分类器以及异或和⾮线性分类器
线性可分情况
回顾神经元公式不加 f 这个激活函数就是线性计算的结果，是的，感知器就是线性分类器。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议