什么是⾃由能原理集智百科
“集智百科精选”是⼀个长期专栏，持续为⼤家推送复杂性科学相关的基本概念和资源信息。作为集智俱乐部的开源科学项⽬，集智百科希望打造复杂性科学领域最全⾯的百科全书，欢迎对复杂性科学感兴趣、热爱知识整理和分享的朋友加⼊！
本⽂是对集智百科中“⾃由能原理”词条的摘录，参考资料及相关词条请参阅百科词条原⽂。
追寻感动本词条由集智俱乐部众包⽣产，难免存在纰漏和问题，欢迎⼤家留⾔反馈或者前往对应的百科词条页⾯进⾏修改，⼀经修改，可以获得对应的积分奖励噢！
⽬录
⼀、背景
⼆、定义
三、⾃由能最⼩化
四、神经科学中的⾃由能最⼩化
六、编者推荐
七、百科项⽬志愿者招募
⾃由能原理 Free energy principle是⼀个正式的陈述，它解释了⽣物系统和⾮⽣物系统如何通过将⾃⼰限制在有限的⼏个状态⽽保持在⾮平衡稳态。它表明系统最⼩化了内部状态的⾃由能函数，⽽内部状态包含了对环境中隐藏状态的信任。⾃由能的内隐最⼩化在形式上与变分贝叶斯⽅法 Variational Bayesian methods有关，最初由Karl Friston引⼊，作为神经科学中对具⾝知觉的解释，在那⾥它也被称为“主动推理”。 ⾃由能原理解释了⼀个给定系统的存在，它通过⼀个马尔可夫毯 Markov blanket建模，试图最⼩化他们的世界模型和他们的感觉和相关知觉之间的差异。这种差异可以被描述为”出其不意” ，并通过不断修正系统的世界模型来减少这种差异。因此，这个原理是基于贝叶斯的观点，即⼤脑是⼀个“推理机”。弗⾥斯顿为最⼩化增加了第⼆条路线: ⾏动。通过积极地将世界改变为预期的状态，系统也可以使系统的⾃由能最⼩化。弗⾥斯顿认为这是所有⽣物反应的原理。弗⾥斯顿还认为，他的原则即适⽤于精神障碍也适⽤于⼈⼯智能。基于主动推理原则的⼈⼯智能实现⽐其他⽅法显⽰出优势。关
还认为，他的原则即适⽤于精神障碍也适⽤于⼈⼯智能。基于主动推理原则的⼈⼯智能实现⽐其他⽅法显⽰出优势。关于这⼀原则的讨论也受到批评，认为它引⽤的形⽽上学假设与可检验的科学预测相去甚远，使这⼀原则不可证伪。在2018年的⼀次采访中，弗⾥斯顿承认，⾃由能原理不能被恰当地证伪: “⾃由能原理就是它的本来⾯⽬——⼀个原理。就像汉密尔顿的静⽌作⽤原理⼀样，它不能被证伪。这是不能被推翻的。事实上，除⾮你问可衡量的系统是否符合这⼀原则，否则你⽤它做不了什么。” 卜冰⾃由能原理被批评为很难理解，甚⾄对专家来说也是如此。对这⼀原则的讨论也被批评为援引了形⽽上学远离可检验的科学预测的假设，使这⼀原则成为不可证伪的。在2018年的⼀次采访中，弗⾥斯顿承认⾃由能原则并不恰当可证伪性：“⾃由能原则就是它的本来⾯⽬⼀个原则。与哈密顿定常作⽤原理⼀样，它是不可证伪的。这是⽆法反驳的。事实上，除⾮你问可测量系统是否符合这⼀原则，否则你对此⽆能为⼒。”
甲壳素壳聚糖背景
⾃我组织的⽣物系统——⽐如细胞或⼤脑——可以被理解为最⼩化变分⾃由能的概念，是基于亥姆霍兹在⽆意识推理以及随后的⼼理学和机器学习⽅⾯的⼯作。变分⾃由能是观测值及其隐含原因的概率密度的函数。这个变分密度的定义关系到⼀个概率模型，从假设的原因产⽣预测观测。在这种情
况下，⾃由能提供了⼀个近似贝叶斯模型的证据。因此，它的最⼩化可以被看作是⼀个贝叶斯推断过程。当⼀个系统积极地进⾏观测以最⼩化⾃由能时，它隐含地进⾏了积极推理并最⼤化其世界模型的证据。
然⽽，⾃由能也是结果⾃信息的⼀个上限，长期的平均值是熵。这意味着，如果⼀个系统采取⾏动来最⼩化⾃由能，它将隐含地放置⼀个熵的结果-或感官状态-它的样本上限。
莫氏变径套与其他理论的关系
主动推理与良好的调节器定理以及⾃组织的相关理论，如⾃组装、模式形成、⾃创⽣和拓扑实践密切相关。它涉及控制论、协同学和具⾝认知理论中所考虑的主题。由于⾃由能可以⽤变分密度下观测值的期望能量减去其熵来表⽰，因此它也与最⼤熵原理有关。最后，由于能量的时间平均值是作⽤量，因此最⼩变分⾃由能原理是最⼩作⽤量原理。
主动推理与好调节器定理密切相关以及与⾃组织的内容相关，例如⾃组装，模式形成，⾃⽣和实践。
它解决了控制论，协同学中考虑的主题以及具⾝认知。由于⾃由能可以表⽰为变分密度下观测值的期望能量减去其熵，因此它也与最⼤熵原理有关。最后，由于能量的时间平均是作⽤量，最⼩变分⾃由能原理是⼀种最⼩作⽤原理。
这些⽰意图说明了如何将状态划分为内部状态和隐藏状态或外部状态，这些状态由⼀个马尔可夫毯（包括感觉状态和活动状态）分隔开来。下⾯的⾯板显⽰了这个分区，因为它将应⽤于⼤脑中的动作和感知；活动和内部状态将感官状态的⾃由能功能最⼩化。随后内部状态的⾃组织与感知相对应，⽽动作将⼤脑状态与外部状态耦合。上⾯的⾯板显⽰完全相同的依赖性，但重新排列，使内部状态与细胞内状态相关联，⽽感觉状态成为细胞膜的表⾯状态覆盖活性状态（例如，细胞⾻架的肌动蛋⽩丝）。
定义
这些⽰意图说明了将状态划分为内部状态和隐藏状态或外部状态，这些状态由⼀个马尔可夫毯（包括感觉状态和活动状态）隔开。下⾯的⾯板显⽰了这个分区，因为它将应⽤于⼤脑中的动作和感知；活动和内部状态将感官状态的⾃由能功
态）隔开。下⾯的⾯板显⽰了这个分区，因为它将应⽤于⼤脑中的动作和感知；活动和内部状态将感官状态的⾃由能功能最⼩化。随后内部状态的⾃组织与感知相对应，⽽动作将⼤脑状态与外部状态耦合。上⾯的⾯板显⽰了完全相同的依赖性，但重新排列，使内部状态与细胞内状态相关联，⽽感觉状态则成为细胞膜上覆盖活性状态的表⾯状态（例如，细胞⾻架的肌动蛋⽩丝）
其⽬的是最⼤限度地提⾼模型的证据，或者最⼤限度地减少惊喜。这通常涉及隐状态的棘⼿边缘化，
因此⽤变分⾃由能上界代替惊奇。这个公式建⽴在⼀个马尔可夫毯⼦(包括⾏动和感官状态) ，分离内部和外部状态。如果内部状态和作⽤⼒使⾃由能最⼩化，那么它们在感觉状态的熵上设置了⼀个上限
⾏动与感知
⽬标是最⼤化模型证据 p(s | m)或最⼩化意外 -logp(s | m)。这通常涉及隐藏态的难以处理的边缘化，因此意外被⼀个较⾼的变分⾃由能边界所取代。然⽽，这意味着内部状态也必须最⼩化⾃由能，因为⾃由能是感官和内部状态的函数：
这导致了⼀个双重最⼩化的⾏动和内部状态，分别对应于⾏动和感知。
⾃由能最⼩化
⾃由能最⼩化和⾃组织
变分⾃由能是⼀种信息论泛函，不同于热⼒学（亥姆霍兹）⾃由能。然⽽，变分⾃由能的复杂性项与亥姆霍兹⾃由能具有相同的固定点（假设系统是热⼒学闭合的，⽽不是孤⽴的）。这是因为如果感觉⼲扰暂停（适当长的时间），复杂性是最⼩的（因为准确性可以忽略）。在这⼀点上，系统处于平衡状态，内部状态通过最⼩能量原理使亥姆霍兹⾃由能最⼩。
⾃由能最⼩化被认为是⾃组织系统的⼀个标志。这个公式建⽴在⼀个马尔可夫毯（包括⾏动和感觉状态）分离内部和外部状态。如果内部状态和⾏为使⾃由能最⼩化，那么它们就给感官状态的熵设置了⼀个上限。
⾃由能最⼩化相当于最⼤化感观状态和内部状态之间的互信息，使变分密度参数化（对于固定熵变分密度）。利⽤信息论描述最优⾏为的相关处理。
这是因为在遍历假设下，惊喜的长期平均值是熵。这个界限抵抗了⼀种⾃然的⽆序倾向，这种⽆序倾向与热⼒学第⼆定律和涨落定理有关。
⾃由能最⼩化与贝叶斯推理
⾃由能最⼩化为在不确定性条件下建⽴神经元推理和学习的规范（贝叶斯最优）模型提供了⼀种有⽤的⽅法，因此符合贝叶斯脑假设。由⾃由能最⼩化描述的神经元过程取决于隐藏状态的性质：
它可以包括时间相关变量、时不变参数和随机波动的精度（逆⽅差或温度）。最⼩化变量、参数和精度分别对应于推理、学习和不确定性编码。
所有的贝叶斯推断都可以⽤⾃由能最⼩化来表⽰，例如，当⾃由能相对于内部态最⼩化时，隐态上变分密度和后验密度之间的Kullback–Leibler散度最⼩化。当变分密度的形式固定时，这对应于近似的贝叶斯推理，否则对应于精确的贝叶斯推理。因此，⾃由能最⼩化提供了贝叶斯推理和滤波的⼀般描述（例如，卡尔曼滤波）。它也⽤于贝叶斯模型选择，其中⾃由能可以有效地分解为复杂性和准确性：和谐美
⾃由能最⼩化使知觉中的⽆意识推理的概念正规化。
具有最⼩⾃由能的模型提供了数据的精确解释，降低了复杂性成本（参见奥卡姆剃⼑和计算成本的更正式的处理⽅法)。这⾥，复杂性是变分密度和关于隐藏状态的先验信念（即⽤于解释数据的有效⾃由度）之间的差异。
⾃由能最⼩化与热⼒学
变分⾃由能是⼀种信息论泛函，不同于热⼒学Helmholtz⾃由能。然⽽，变分⾃由能的复杂性项与Helmholtz⾃由能具有相同的不动点（假设系统是热⼒学封闭⽽⾮孤⽴的）。这是因为如果感官⼲扰被暂停（⼀段适当长的时间），复杂性被最⼩化（因为准确度可以忽略）。此时，系统处于平衡状态，内部状态根据最⼩能量原理使亥姆霍兹⾃由能最⼩化。
⾃由能最⼩化与信息论
⾃由能最⼩化相当于最⼤化感官状态和内部状态之间的互信息，使变分密度参数化（对于固定熵变分密度）这将⾃由能最⼩化与最⼩冗余原则联系起来。并且联系到⽤信息论描述最优⾏为的相关处理。
神经科学中的⾃由能最⼩化
⾃由能最⼩化为在不确定性条件下建⽴神经元推理和学习的规范（Bayes最优）模型提供了⼀种有效的⽅法因此符合贝叶斯脑假说。由⾃由能最⼩化描述的神经元过程取决于隐藏状态的性质：
它可以包括时间相关变量、时不变参数和随机波动的精度（逆⽅差或温度）。最⼩化变量、参数和精度分别对应于推理、学习和不确定性编码。
感性推理与分类
⾃由能最⼩化使知觉中的⽆意识推理概念正式化并提供了神经元处理的规范（贝叶斯）理论。神经元动⼒学的相关过程理论是基于通过梯度下降最⼩化⾃由能。这对应于⼴义贝叶斯滤波（其中~表⽰⼴义运动坐标中的变量，D是⼀个导数矩阵运算符）：
通常，定义⾃由能的⽣成模型是⾮线性和层次结构的（就像⼤脑中的⽪层层次结构）。⼴义滤波的特
殊情况包括卡尔曼滤波，它在形式上等价于[预测编码]⼀种关于⼤脑中信息传递的流⾏隐喻。在分层模型下，预测编码涉及到上升（⾃下⽽上）预测错误和下降（⾃上⽽下）预测的循环交换这与感觉器官的解剖学和⽣理学以及动⼒系统是⼀致的。
知觉学习与记忆
在预测编码中，通过⾃由能（⾃由作⽤）时间积分的梯度上升来优化模型参数会降低到联想或 Hebbian可塑性，并与⼤脑中的synaptic可塑性相关。
知觉的精确性、注意⼒和显著性
优化精度参数对应于优化预测误差的增益（参见Kalman增益）。在预测性编码的神经元似是⽽⾮的实现中，这对应于优化浅表锥体细胞的兴奋性，并被解释为注意增益。
在多⽬标环境下，通过对名为PE-SAIM的SAIM进⾏贝叶斯重构，模拟选择性注意任务的结果。图表显⽰了知识⽹络中FOA和两个模板单元激活的时间过程。
关于⾃上⽽下与⾃下⽽上的争论，已经被作为⼀个主要的开放性问题的注意，⼀个计算模型已经成功地说明了⾃上⽽下和⾃下⽽上机制之间的往复循环性质。利⽤已建⽴的注意涌现模型SAIM，作者提出了⼀个称为PE-SAIM的模型，与标准模型相⽐，该模型从⾃上⽽下的⽴场接近选择性注意。该模型考
虑了发送到同⼀级别或更⾼级别的转发预测误差，以最⼩化表⽰数据及其原因之间的差异的能量函数，换句话说，⽣成模型和后验模型之间的差异。为了提⾼有效性，他们还在模型中加⼊了刺激物之间的神经竞争。该模型的⼀个显著特点是仅根据任务执⾏过程中的预测误差来重新构造⾃由能函数。
是神经⽹络的总能量函数，是⽣成模型（先验）和后验随时间变化的预测误差。)
⽐较这两个模型的结果发现他们的结果之间有显著的相似性，同时指出了⼀个显著的差异，即在SAIM的标准版本中，模型的重点主要是兴奋性连接，⽽在PE-SAIM中，抑制性连接将被⽤来进⾏推断。该模型对⼈体实验的脑电和功能磁共振数据具有较⾼的预测精度。该模型还被证明适合以⾼精度预测从⼈体实验中提取的 EEG 和 fMRI 数据。同样，Yahya 等⼈。还应⽤⾃由能原理提出了⼀个主要依赖于 SAIM 的隐性选择性视觉注意中的模板匹配计算模型。根据这项研究，通过在原始神经⽹络中插⼊⾃上⽽下的信号来达到整个状态空间的总⾃由能，由此我们推导出⼀个包含前馈和后向预测误差的动⼒学系统。
主动推理
当梯度下降应⽤于动作
时，运动控制可以理解为通过下降（⽪质脊髓）预测参与的经典反射弧。这提供了⼀种形式主义，将平衡点解推⼴到⾃由度问题移动轨迹。
汽车摩托车下乡财政补贴信息系统主动推理与最优控制
主动推理与最优控制有关，它⽤状态转移或流的先验信念替换价值或成本函数。这充分利⽤了贝叶斯滤波和Bellman⽅程解之间的紧密联系。然⽽，主动推理从状态空间的标量V(x)和向量W(x)值函数（c.f.，Helmholtz分解）指定的流
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议