《机器学习》(周志华)——第5章(神经网络)总结

波特率
《机器学习》(周志华)——第5章(神经⽹络)总结
青海大学学报5.1神经元模型石油储运
神经⽹络是由具有适应性的简单单元组成的⼴泛并⾏互连的⽹络。神经⽹络中最基本的成分是神经元模型,即“简单单元”。
在⽣物神经⽹络中,⼀个神经元“兴奋”时,会向相连的神经元发送化学物质,改变它们的电位,如果电位超过⼀个阈值,会被激活,即“兴奋”起来。抽象为M-P神经元模型:神经元接收来⾃n个其他神经元传递过来的输⼊信号,输⼊信号通过带权重的连接进⾏传递,神经元收到的总输⼊值与阈值⽐较,然后通过“激活函数”产⽣神经元的输出
理想的激活函数是图5.2(a)所⽰的阶跃函数,输出值1对应神经元兴奋,0对应神经元抑制,缺点是不连续,不光滑。常⽤的激活函数是Sigmoid函数,输出值挤压在(0,1)内,⼜称挤压函数,如图5.2(b)所⽰
灌水定额
将神经⽹络视为包含了许多参数的数学模型,这个模型是若⼲个函数。
5.2感知机与多层⽹络
感知机由两层神经元组成,输⼊层接收外界输⼊信号后传递给输出层,输出层是M-P神经元,也称“阈值逻辑单元”
感知机能够实现逻辑与、或、⾮运算。假定激活函数f是阶跃函数,利⽤
感知机的学习规则:对训练样例(x,y),若当前感知机的输出为,则调整感知机权重:
机器学习笔记 - 线性可分问题 - 闲敲棋⼦落灯花 - CSDN博客
上述与、或、⾮问题都是线性可分的问题,即存在⼀个线性超平⾯将它们分开开,如图5.4(a)-(c)所⽰,感知机的学习过程会收敛,否则学习过程中会发⽣震荡。感知机不能解决如图5.4(d)所⽰的⾮线性可分问题
要解决⾮线性可分问题,要使⽤多层功能神经元,如图5.5所⽰的两层感知机能解决异或问题。在图5.5(a)中,输⼊层与输出层之间的⼀层神经元之间的⼀层神经元称为隐层或隐含层,隐含层和输出层神经元都是有激活函数的功能神经元。
多层前馈神经⽹络:每层神经元与下⼀层神经元全互连,神经元之间不存在同层连接和跨层连接。其中输⼊层神经元接收外界输⼊,隐层与输出层神经元对信号加⼯,由输出神经元输出结果,如图5.6所⽰
复合矩阵
学习率控制算法每⼀轮迭代中的更新步长,太⼤容易震荡,太⼩收敛速度过慢
我的音乐库
表⽰输出层第j个神经元的阈值。
的更新公式:

本文发布于:2024-09-20 23:44:00,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/407326.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:输出   函数   感知机   学习   神经   线性   问题   信号
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议