⼈⼯神经⽹络（ANN）及BP算法1 什么是神经⽹络 1.1 基本结构
说明：
1. 通常⼀个神经⽹络由⼀个input layer，多个hidden layer和⼀个output layer构成。
2. 图中圆圈可以视为⼀个神经元（⼜可以称为感知器）
3. 设计神经⽹络的重要⼯作是设计hidden layer，及神经元之间的权重
4. 添加少量隐层获得浅层神经⽹络SNN；隐层很多时就是深层神经⽹络DNN 非手术
LinearRegression模型：
sigmoid函数：文眉
LR可以理解为如下结构：
所以逻辑回归是⼀个单层感知器（没有隐层）结构。
2 为什么需要神经⽹络
⾸先，神经⽹络应⽤在分类问题中效果很好。 ⼯业界中分类问题居多。
LR或者linear SVM更适⽤线性分割。如果数据⾮线性可分（现实⽣活中多是⾮线性的），LR通常需要靠特征⼯程做特征映射，增加⾼斯项或者组合项；SVM需要选择核。 ⽽增加⾼斯项、组合项会产⽣很多没有⽤的维度，增加计算量。GBDT可以使⽤弱的线性分类器组合成强分类器，但维度很⾼时效果 可能并不好。
2.1 ⾮线性可分怎么办
如下图⾮线性可分
救护车打表计费
从逻辑回归看，单层感知器只能解决线性问题。要解决⾮线性问题，需要引⼊多层感知器（加⼊隐层）。
这时使⽤两个线性分类器，再求逻辑与就可以达到分类的效果。 注意，最开始的两个线性分类器都是部分正确的分类器
2.2 神经元完成逻辑与
前⾯说可以使⽤两个线性分类器的逻辑与可以完成上例的⾮线性分割。暂时不管两个线性分类器，现在先使⽤神经元（感知器）达到逻辑与的效果
假设
这样，g(z)完成逻辑与：
调整z的参数，可以实现逻辑或等操作
2.3 流程图
可以看到，先有imput layer⽣产两个线性分类器，在通过两个线性分类器的权重组合构成逻辑与，完成⾮线性分类。 注意，训练两个线性分类器需要imput的权重，逻辑与⼜需要两个线性分类器的权重。
2.4 效果
对线性分类器的逻辑与和逻辑或的组合可以完美的对平⾯样本进⾏分类
三诺n20g隐层决定了最终的分类效果
由上图可以看出，随着隐层层数的增多，凸域将可以形成任意的形状，因此可以解决任何复杂的分类问题。实际上，Kolmogorov理论指出：双隐层感知器就⾜以解决任何复杂的分类问题。
3 神经⽹络表达⼒与过拟合
1. 理论上，单隐层神经⽹络可以逼近任何连续函数（只要隐层的神经元个数⾜够）
2. 虽然从数学上看多隐层和单隐层表达能⼒⼀致，但多隐层的神经⽹络⽐单隐层神经⽹络⼯程效果好很多
3. 对于⼀些分类数据（⽐如CTR预估），3层神经⽹络效果优于2层神经⽹络，但如果把层数不断增加（4，5，6层），对最后的结果的
帮助没有那么⼤的跳变
4. 图像数据⽐较特殊，是⼀种深层的结构化数据，深层次的卷积神经⽹络能更充分和准确的把这些层级信息表达出来
甘麟翰
5. 提升隐层数量或者隐层神经元个数，神经⽹络的“容量”会变⼤，空间表达能⼒会变强
6. 过多的隐层和神经元结点会带来过拟合问题
7. 不要试图降低神经⽹络参数量来减缓过拟合，⽤正则化或者dropout
4 神经⽹络结构
4.1 ⽹络结构
n个输⼊；输出m个概率
4.2 传递函数/激活函数
前⾯每⼀层输⼊经过线性变换wx+b后还⽤到了sigmoid函数，在神经⽹络的结构中被称为传递函数或者激活函数。
除了sigmoid，还有tanh、relu等别的激活函数。激活函数使线性的结果⾮线性化。
4.2.1 为什么需要传递函数
简单理解上，如果不加激活函数，⽆论多少层隐层，最终的结果还是原始输⼊的线性变化，这样⼀层隐层就可以达到结果，就没有多层感知器的意义了。所以每个隐层都会配⼀个激活函数，提供⾮线性变化。
中国足协致歉
4.2.2 介绍两种激活函数
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议