论文题目仕途 肖仁福：矩阵微分在BP神经网络中的应用 姓 名: | 崔义新 |
学 号: | 20140830 |
院（系、部）: | 数学与信息技术学院 |
专 业: | 数学 |
班 级: | 2014级数学研究生 |
导师: | 花强 |
| |
完成时间: 2015 年 6 月
摘 要
矩阵微分是矩阵论中的一部分，是实数微分的扩展和推广.因此，矩阵微分具有与实数微分的相类似定义与性质.矩阵微分作为矩阵论中的基础部分，在许多领域都有应用，如矩阵函数求解，神经网络等等.
BP网络，即反向传播网络(Back-Propagation Network）是一种多层前向反馈神经网络，它是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络. 它使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小.在其向前传播的过程中利用了矩阵的乘法原理，反传的过程中则是利用最速下降法，即沿着误差性能函数的负梯度方向进行，因此利用了矩阵微分. 关键词:矩阵微分;BP神经网络;
前 言
矩阵微分(Matrix Differential)也称矩阵求导(Matrix Derivative)，在机器学习、图像处理、最优化等领域的公式推导过程中经常用到.本文将对各种形式下的矩阵微分进行详细的
推导.
BP（Back Propagation）神经网络
是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型
之一.BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程.它的学习规则是使用最速下降法
，通过反向传播来不断调整网络的权值
和阈值，使网络的误差平方和
最小.BP神经网络
模型拓扑结构包括输入层（input
）、隐层(hiddenlayer)和输出层
(outputlayer). BP (Back Propagation)镁热剂神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成.输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果.当实际输出与期望输出不符时，进入 误差的反向传播阶段. 误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传.周而复始的信息正向传播和
误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的张震之子误差减少到可以接受的程度，或者预先设定的学习次数为止.
1 矩阵的微分
1.1 相对于向量的微分的定义
定义1 对于n维向量函数，设函数 是以向量X为自变量的数量函数，即以n个变量 xi为自变量的数量函数.
我们将列向量 叫做数量函数f对列向量X的导数，
记作
（1.1）
例1．求函数对X的导数
解：根据定义
即
1.2相对于矩阵的微分的定义
定义2设函数是以P×m矩阵A的P×m元素为自变量的数量函数，简称以矩阵A为自变量的数量函数.例如
定义：问道千面怪任务P×m矩阵
（1.2）
称为数量函数f对矩阵A的导数，记作.
例2：求对矩阵的导数，其中向量是定常的，是对称的.
解：
根据定义有
即贤妻良母电影日本
定义3如果矩阵供热系数的每个元素都是t的可微函数，则A(t)关于t的导数(微商)定义为：
（1.3）
1.3复合函数的微分
公式1 设，，则
（1.4）
证明：由给定条件有
和
将上式结合起来
公式2 设，，则
（1.5）
2 人工神经网络
2.1 人工神经网络的定义
定义4 人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统.它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理.
人工神经网络（Artificial Neural Networks, ANN）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型.这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的.人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规
律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”.
2.2 人工神经网络的模型
由于人工神经网络是受生物神经网络的启发构造而成的，所以在开始讨论人工神经网络之前，有必要首先考虑人脑皮层神经系统的组成.
科学研究发现，人的大脑中大约有100亿个生物神经元，它们通过60万亿个联接联成一个系统.每个神经元具有独立的接受、处理和传递电化学信号的能力.这种传递经由构成大脑通信系统的神经通路所完成.单个神经元处理一个事件需要s，而在硅芯片中处理一事件只需s.但人脑是一个非常高效的结构，大脑中每秒每个动作的能量约为J，而当今性能最好的计算机进行相应的操作需要J.图1所示是生物神经元及其相互联接的典型结构.
（1）生物神经元主要由树突、轴突、突触和细胞体组成.其中树突是由细胞体向外伸出的，有不规则的表面和许多较短的分支.树突相当于信号的输入端，用于接受神经冲动.
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议