新型⼤脑启发式学习⽅法来了，可帮助⼈⼯神经⽹络节省内存 浮游生物网
和能量
大马士革钢
⽂章来源：学术头条（ ID: SciTouTiao）
作者：何静
如今，⼈⼯智能的发展如⽕如荼，⼴泛应⽤到了图像、⾃然语⾔、⼈机对话等各个领域，对各个产业进⾏了变⾰。⽽在移动应⽤中，⼈⼯智能⼴泛使⽤的最⼤障碍之⼀是⼈⼯神经⽹络的学习活动需要消耗⼤量能量，⽽解决这⼀问题的⼀种⽅法可以从⼤脑中获得灵感。这是因为⼤脑具有超级计算能⼒，⽽且⼤脑神经元之间可以通过短的电脉冲或尖峰进⾏有效传输，极⼤节省了能量。
基于此思路，奥地利格拉茨⼯业⼤学的研究⼈员 Wolfgang Maass 和 Robert Legenstein 领导的⼯作组开发了⼀种称为 e-propagation (简称 e-prop) 的新型机器学习算法。该算法可根据⼈脑模型进⾏学习，适应不断变化的需求，其在线学习的特性也极⼤节省了能量。
中国学术期刊网络出版总库
汉语语音该项研究的结果发表在近期的 Nature Communications 杂志上。
⼤脑的神经⽹络⽐⼈⼯神经⽹络更节能
通常我们将⼤脑中的神经元⽹络与⼈⼯智能的深度神经⽹络进⾏类⽐，然⽽⼈⼯智能的运作原理与⼈脑完全不同，其中最⼤的区别是神经元相互交流的⽅式。深度神经⽹络的每⼀层以同步⽅式⽣成数字，⽽⼤脑通过异步发射的尖峰进⾏通信。
现代深度学习最早受⽣物学启发，以神经元的单个计算单元的⼤型⽹络之间的连接强度来编码信息。⼈⼯神经⽹络被组织成层，每个神经元通常连接到下⼀层中的每个神经元。信息以⾼度同步的⽅式在层之间传递，对数据进⾏预测，再与⽬标值进⾏⽐较，计算损失，之后再反向传播，经过多次迭代调 整⽹络，得到准确的预测为⽌。
⽽对于⼤脑来说，⽣物神经元通过发射尖峰的电脉冲进⾏交流，每个神经元都按照⾃⼰的时间表进⾏交流。连接并没有整齐地分成⼏层，并具有许多反馈回路，这意味着神经元的输出通常最终会影响其输⼊。
⼤脑这种基于峰值的⽅法在能源效率⽅⾯要⽐⼈⼯神经⽹络⾼得多，⼀般训练最强⼤的 AI 需要⼏千⽡的电能，⽽⼤脑只需要 20 ⽡。因此⼈们对⼈⼯神经⽹络以及神经形态硬件（⼀种可以模仿⼤脑的物理组织和原理的计算机芯⽚）的兴趣⽇益浓厚。
既然⼤脑传递信息能极⼤节能，那如果将⼈⼯神经⽹络的思想应⽤到⼤脑中会发⽣什么呢？我们可以看到，这⾥存在⼀个问题，在⼤脑中的神经元进⾏反向传播，相当于将信号在时间和空间上通过神经元之间的突触向后发送，这显然是不可能的。 新型机器学习算法
这促使研究⼈员在实验神经科学数据中研究已经清楚的两个特征：⼀个特征是每个神经元以分⼦标记的形式保留了先前活动的记忆，并随着时间的流逝⽽逐渐消失；另⼀个特征是⼤脑使⽤像神经递质多巴胺这样的东西提供⾃上⽽下的学习信号，该信号调节神经元的⾏为。 奥地利的这⽀团队利⽤了这两种特征进⾏最佳组合，创建了⼀种称为 e-prop 的新学习算法，该算法⽆需对信号进⾏时间反向传播。它的学习速度虽然⽐反向传播慢，但趋近于反向传播的性能。此外，e-prop 还适⽤于具有更复杂神经元模型的 RSNN。
更重要的是，该⽅法允许在线学习。这意味着，⽆需⽴即处理⼤量数据，⽽只是在数据可⽤时就从数据中学习。这极⼤地减少了所需的内存和能量，这使得在较⼩的移动设备中进⾏⽚上学习变得更加实⽤。
在⼤脑中，⼀般尖峰仅在⽹络中的信息处理需要它们时才会变得活跃，⽽对于不那么活跃的⽹络，学习则是⼀种特殊挑战，因为需要更长的观察时间才能确定哪些神经元连接可以改善⽹络性能，因此学习率很低。
⽽ e-prop 算法的出现解决这⼀问题。在该⽅法中，⾸先将⾃上⽽下的信号标记为学习信号，⽽每个神经元在所谓的资格跟踪信号中记录何时使⽤连接。利⽤这两种信号以及突触可塑性提供⼀个规范模型，由此产⽣的学习模型表明，许多⽣物神经元的⼀个特征⽅⾯（即缓慢变化的隐藏变量的存在）为 RSNN 如何学习⽽没有错误信号向后传播的问题提供了⼀种可能的解决⽅案，即神经元导致合格性迹线在更长的时间跨度内向前传播，因此能够与后来出现的瞬时错误信号重合。
蓝领人才>应用系统集成
除此外，e-prop 理论为实验发现的多巴胺信号多样性对不同神经元体的功能作⽤提供了⼀个假设。以前的基于奖励的学习理论要求将相同的学习信号发送给所有神经元，⽽对于 e-prop 来说，它是针对特定⽬标来发送的，因为神经元的⾃上⽽下的学习信号取决于其对⽹络性能的影响（即损失函数）。
神经形态硬件的驱动⼒
Maass 和 Legenstein 都相信，e-prop 将推动新⼀代移动学习计算系统的发展，这些系统⽆需编程，⽽是按照⼈脑模型进⾏学习，从⽽根据不断变化的需求进⾏调整。其⽬的是确保这样的计算系统不再仅仅通过云来消耗⼤量能源，⽽是有效地将学习潜⼒的⼤部分整合到移动硬件组件中，从⽽节约能源。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议