脉冲神经网络基础性知识

脉冲神经⽹络基础性知识
科普论文1、兴奋性突触与抑制性突触的作⽤是分别是神经元细胞膜电位的增加与减少。
2、现在流⾏的⼈⼯神经⽹络所使⽤的神经元模型(例如ReLU)都是第⼆代神经元模型。它们主要⽤于处理模拟数值
3、脉冲神经⽹络使⽤的第三代神经元模型,第三代神经元的构建是受⽣物真实性的启发,它能处理基于脉冲处理的信号
4、脉冲神经⽹络的两个优势:1、计算效率⾼。2、具有更强的⽣物真实性
李盛才5、脉冲神经元因其本⾝具有时间的属性,所以更适合处理有关时序的输⼊信息
6、脉冲神经元相对复杂,针对输⼊,它们能提供复杂的⾮线性映射,从理论上分析,针对⼀个复杂的任务,⼀个⼩型的⽹络就能解决该任务。
7、神经元模型中的参数表⽰的是膜时间常数,它与膜电压的衰减有关,越⼤,膜电压衰减的速度越慢
8、从概念和计算的⾓度来看,与其他尖峰神经元模型相⽐,LIF模型相对简单,所以采⽤最⼴泛。同时LIF模型有个优点就是该模型很容易通过硬件实现,⽽且运⾏速度很快。
9、SRM(Spike Response Model)是LIF模型的⼀个推⼴,它在神经元动⼒学中使⽤了核⽅法。
10、Hodgkin-Huxley(HH)模型是根据在乌贼⾝上的⼤量实验结果所构建的。它是迄今为⽌最详细和最复杂的神经元模型,然⽽,该神经元模型的需要很⼤的计算量,因此该模型不适⽤于⼤型⽹络的仿真。
11、Izhikevich(IM)模型可以通过在神经元动⼒学⽅程中设置不同的参数,使神经元具有不同的功能(例如连续激发⼀系列脉冲或只发射⼀个脉冲)
12、脉冲神经元本质上是为了处理和产⽣这种时空脉冲序列。
13、现在主流的认为神经元的编码⽅式有两种:1、速率编码(rate code)。2、时间编码(temporal code)
速率编码:在运动细胞中,⽀配肌⾁的⼒量完全取决于“脉冲发放率”,可以简单理解成单位时间的脉冲发放数量。
时间编码:是基于单个脉冲的精准时间,可以理解成他们时刻关注着外部的刺激,⼀般该种细胞存在在听觉系统或听觉回路中。
神经元是使⽤速率编码还是时间编码是神经科学界争论激烈的话题,甚⾄这些术语都没有明确的定义。
中央人民政府政务院
14、当你使⽤速率编码时,你就默认了信息是包含在脉冲的发放频率当中。当使⽤脉冲编码,我们关注的对象就应该是脉冲发放率,⽽不是特定的脉冲序列。
脉冲的发放频率有两个解读⽅法:1、统计。2、概率。
15、在⼤多数感觉系统中,随着刺激强度的增加,发射率通常呈⾮线性增长[3]。
16、当采⽤速率编码时,任何可能编码在脉冲序列中精确信息都会被忽略。即采⽤速率编码就会⾃动丢失准确时间编码的信息。
17、频率编码的效率不⾼,但具有很强的抗噪声能⼒。
18、有关“firing rate”的定义有⼏种,主要是平平均的过程不同,⼀种定义为根据⼀段时间来取平均,另⼀种是⼏次实验的平均值。对于速率编码⽅案中的⼤多数情况,它考虑编码窗⼝内的尖峰计数。
19、许多研究发现,神经编码的时间分辨率是毫秒级的,这表明精准时间编码在神经元编码中存在,⽽且⼗分重要。
20、在视⽹膜[15,16],外侧膝状核(LGN)[17]和视⽪层[14,18]以及许多其他感觉系统[19,20]中,观察到神经元在毫秒尺度上精确地对刺激作出反应。这个发现有⼒的⽀持时间编码的⽅式。
21、采⽤基于时间编码,可以更⾼效的信息进⾏表⽰,同时速度更快(例如神经元可以对特定位置的脉冲作出响应)
22、temporal code编码⽅式细分有⼏种:
1、latency code:延迟码是⼀种特定形式的时间编码,即编码信息在时间上相对于编码窗⼝长度,这通常是与刺激的发⽣时间有关。
2、interspike intervals code :这种编码是通过两个脉冲之间的相对时间来表⽰编码信息。
3、phase of fireing code:难以描述,之后补充
23、相⽐速率编码,采⽤时间编码能携带更多的信息,同时具有更强的⽣物真实性和计算效率。强迫状态
国际学术会议
24、基于精确时间编码的学习算法:spike-time-dependent plasticity(STDP),Tempotron rule,SpikeProp rule ,SPAN rule, Chronotron rule ,ReSuMe relu
25、STDP是今年来最常使⽤的学习算法,它是基于Hebbs理论
26、Tempotron rule 算法只能学习神经元是否产⽣脉冲,不能是神经元发放脉冲的精准时间,所以该算法不能⽀持输⼊和输出峰值中使⽤的相同的编码⽅案(因为脉冲输出时间没法确定),基于Tempotron的改进型算法PSD,可以学习到神经元产⽣脉冲的精准时间。
27、SpikeProp rule可以训练神经元在特定时间产⽣单个脉冲⽤于进⾏时空分类。该算法是⼀种基于梯度的监督学习算法。该算法的主要缺点是它的输出神经元只能发放⼀个脉冲,不能产⽣多个脉冲
28、为了解决SpikeProp输出只能发放⼀个脉冲的问题,提出Chronotron rule、ReSuMe relu,他们的输出可以是多个脉冲。
29、SPAN relu和Chronotron E-learning relu的权重更新都是基于误差梯度。他们之间的误差梯度有所不同。但这这些基于梯度(数学)所设计的学习算法不具备⽣物真实性。
>网络平台建设

本文发布于:2024-09-21 02:47:25,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/412976.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:编码   脉冲   时间   算法   发放   模型   处理   学习
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议