神经⽹络算法三⼤类_神经⽹络设计（第四章-感知机学习规 则）
本章⾸先介绍了什么是学习规则，然后由感知机的结构介绍了感知机的学习规则，并对单神经元感知机的学习规则的收敛性给出了证明，最后讨论了感知机的有点及其局限性。 第四章感知机学习规则
学习规则
学习规则是指修改⽹络权值和偏置值的⽅法和过程，也称为训练算法。学习规则是为了训练⽹络来完成某些任务。学习规则可以归纳为三⼤类：有监督学习、⽆监督学习和增强（评分）学习。
在有监督学习中，学习规则需要⼀个能够代表⽹络正确⾏为的样本集（训练集）：
其中
是⽹络的输⼊，
是输⼊对应的正确（⽬标）输出。在样本输⼊给⽹络后，将⽹络实际输出与⽬标输出进⾏对⽐。学习规则调节⽹络权值和偏置使实际输出
与⽬标输出尽可能接近。
增强学习与有监督学习⼤体相似，但增强学习不会为每个输⼊给出相应的⽬标输出，⽽仅仅给出⼀个评分，该评分⽤来衡量⽹络在⼀个序列输⼊后的性能。增强学习最适合⽤于控制系统中。
在⽆监督学习中，⽹络没有⽬标输出，其权值和偏置值仅仅依据⽹络的输⼊来调节。⼤多数这类算法⽤来进⾏聚类，它们学习把输⼊数据归到有限的类别中，在向量量化的应⽤中效果尤其显著。 感知机结构
上图是使⽤hardlim函数作为传输函数的感知机⽹络，该⽹络的输出为：
为了可以便捷的使⽤⽹络输出中的每⼀个元素，我们进⾏以下定义：
⾸先，⽹络权值矩阵为：
W的第i⾏构成的列向量：
定义⼀个由W
这样可将权值矩阵划分为：
由此，⽹络输出向量中的第i个元素可写作：
Hardlim传输函数的定义为：
所以，若权值矩阵的第i⾏和输⼊向量的内积 ⼤于等于- ，输出 为1，否则输出 为0。也就是说⽹络中的每个神经元把输⼊空间划分成了两个区域。
1. 单神经元感知机
上图为两输⼊的单神经元感知机，其⽹络输出可计算为：
其决策边界为：
每当给定 时，都能确定平⾯（输⼊本⾝是⼀个⼆维空间）中的⼀条直线，在直线⼀侧⽹络输出位0，另⼀侧输出为1。这条直线与p1 p2轴的交点截距可求得为：
当取
形成性
时，有以下图像，其中蓝线即为决策边界。
可以通过随意测试⼀个点的⽅法，出决策边界输出为1的那⼀侧，例如，代⼊
有：
所以决策边界的阴影⼀侧⽹络输出为1，另⼀侧输出位0。
也可以通过作图法出决策边界。在第三章提到决策边界总是垂直于
，如下图：
这⾥给出解释：由于决策边界定义为
电子杂志软件，对于决策边界上的所有点⽽⾔，输⼊向量与权值向量间的内积
都相等，也就是说输⼊向量在权值向量上都有相同的投影
。所以决策边界上的点必须位于与权值向量正交的⼀条直线上。
其中边界点输⼊向量在权值向量上相同的投影
的长度等于-b。故上⾯两图中阴影部分的向量都有⼤于-b的内积，即codcr
，⾮阴影部分的向量都有⼩于-b的内积，即
。所以权值向量
总是指向神经元输出为1的区域。
2. 多神经元感知机
由单神经元感知机推⼴，多神经元感知机每⼀个神经元都有⼀个决策边界，第i个神经元的决策边界定义为：
由于单神经元感知机输出只能为0或1，所以只能将输⼊向量分为两类。⽽多神经元感知机则可以将输⼊分为许多类，每⼀类都有不同的输出向量表⽰。由于输出向量的每⼀个元素的取值只有0或1，所以
⼀共有
种可能的类别，其中S是多神经元感知机中神经元的数⽬。
感知机的学习规则
这⾥感知机的学习规则是有监督学习，⽽有监督训练的学习规则是从⼀组能够反映⽹络⾏为的样本集中获得的：
1. 测试问题
有输⼊/⽬标对为：
将它们画在⼆维（两输⼊）坐标空间输⼊中，⽬标输出为0的两个输⼊向量⽤○表⽰，⽬标输出为1的两个输⼊向量⽤●表⽰。感知机学习的⽬的就是要解决测试问题，即确定⼀个决策边界，将○和●区分开。
再现辉煌本问题中⽹络需要有两个输⼊⼀个输出，为了简化学习规则的设计，⾸先假设⽹络中没有偏置值，如下图，这样⽹络只需调整权值参数即可。
去掉了偏置之后，神经⽹络的决策边界必定穿过坐标轴的原点。为保证简化后的⽹络依然能解决上述测试问题，从下图可以看出，这样的决策边界有⽆穷多个。每⼀个决策边界对应的权值向量与决策边界正交。我们希望学习规则能够到指向这些⽅向的⼀个权值向量。
2. 学习规则的构建
开始训练时，需要给⽹络的参数赋予初始值。对于两输出/单输出的⽆偏置⽹络，所以仅需对两个权值进⾏初始化：
，这⾥随机取
现在将向量输⼊⽹络，⾸先是
，则有：
⽹络没有返回正确的⽬标值
。从下图中可以看出，初始权值向量决定的决策边界导致了对
的错误区分。由于权值向量总是指向神经元输出为1的区域，因此需要调整权值向量，使它的指向更偏向
，才更有可能得到正确的分类结果。
⼀种调整⽅法是直接令
，这种简单的处理⽅式能够保证
被正确分类，对于本问题这种⽅法是可⾏的。但是对于某些问题却⽆法解决，例如下图中令权值向量等于●中的任意⼀个，都⽆法得到正确
的分类结果，必然有⼀个会被误分。
另⼀种调整⽅法是将
加到
上，即 ，这样会使
的⽅向更偏向
。重复这⼀操作，会使
的⽅向逐渐接近
志愿者返乡被骂哭，这个过程可以描述为：
在测试问题中应⽤这个规则，将会得到新的
：
继续考虑下⼀个向量
，输⼊更新后的⽹络得到输出：
⽹络没有返回正确的⽬标值
。由于权值向量总是指向神经元输出为1的区域，所以我们需要调整权值向量使其更偏离
，类⽐之前的操作，可以有以下⽅法：
在测试问题中应⽤这个规则，将会得到新的
：
继续考虑下⼀个向量
，输⼊更新后的⽹络得到输出：
⽹络没有返回正确的⽬标值 ，与上⼀步的操作相同，可以有以下过程：
人本艺术由上图可知，感知机已经可以对上述三个输⼊向量进⾏正确的分类，将上述三个输⼊向量中的任意⼀
个输⼊神经元感知机将作出正确分类。这就得到了第三条规则：如果感知机能够正确的分类，则不⽤修改权值向量。
综上所述，考虑到实际输出值和⽬标值所有可能的组合，有下⾯三条规则：
3. 统⼀的学习规则
定义新变量，即感知机的误差e，e=t-a，将上⾯的三个规则重写为⼀个规则，则有：
上⾯三个规则统⼀形式进⼀步可以写为：
如果把偏置看做⼀个输⼊总是1的权值，则可以将上述规则扩展到对偏置的训练过程：
4. 多神经元感知机的训练
由上⾯单神经元感知机的学习规则，可以按照以下⽅法推⼴到多神经元感知机：
权值矩阵第i⾏的更新⽅法为：
偏置向量的第i个元素的更新⽅法为：
感知机的学习规则⽤矩阵可以表⽰为：
为了验证以上的学习规则，再次考虑第三章开头描述的⽔果分类问题（唯⼀不同的地⽅是⽤0替换-1），其输⼊/输出标准向量为：
⾸先，将权值和偏置值初始化为较⼩的随机数，假设这⾥的初始矩阵和偏置分别为：
第⼀次迭代，将
输⼊⽹络有：
此时的误差：
根据误差更新权值和偏置值：
第⼆次迭代，将
输⼊⽹络有：
此时的误差：
根据误差更新权值和偏置值：
第三次迭代，再次将
输⼊⽹络有：
此时的误差：
根据误差更新权值和偏置值：
继续迭代下去，最后两个向量都会被正确分类，虽然最后得到的边界可能不唯⼀，但是都能实现分类的⽬的。
收敛性证明
感知机的学习规则简单，但却⼗分有效，下⾯针对单神经元感知机给出该规则总能收敛到正确分类的权值（若存在）上的证明。
该感知机的输出为：
⽹络的测试集为：
，其中⽬标输出的取值为0或1
需要注意的是，证明是在以下三条假设下建⽴的：
问题的存在；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议