Chebyshev 神经网络的Levenberg-Marquardt 算法 陈柏桃1肖秀春2,3姜孝华3
（1.广东海洋大学 法规与质量管理处，湛江 524025；2.广东海洋大学 信息学院，湛江 524025；
3.中山大学 信息科学与技术学院，广州 510275）
摘 要：基于函数逼近理论，构建了一种神经网络模型，该神经网络采用正交Chebyshev 多项式作为隐层激励函数。在此基础上，推导了Chebyshev 神经网络的Levenberg-Marquardt 学习算法。理论分析及仿真实验表明，该神经网络能够很好地学习样本数据中的不同模式，具有较快训练速度和较高的计算精度。 关键词：Chebyshev 正交多项式；神经网络；Levenberg-Marquardt 算法 1. 引 言
神经网络的拓扑结构及学习算法是神经网络理论研究的两个重要方面[1-5]。目前，已经有非常多的神经网络模型被提出，这些神经网络即有实数神经网络，也有复值神经网络，它们已经在人工智能、模式识别、信号处理、图像处理等领域得到非常广泛的应用
[2-3]
。尽管这些神经网络在拓扑结构上存在
很大程度的不同，但是，一般来说，传统神经网络模型中相同隐层的激励函数都一样，通常为S 型函数。然而，这类神经网络在学习过程中存在诸多局限，如网络不容易全局收敛等。
由于存在上述问题，相同隐层采用不同激励函数的新型神经网络被广泛研究，其中应用最广的是小波神经网络[6]
。该类神经网络一般为三层结构，其隐层采用小波基作为其激励函数[6]。
本文构造了一类三层结构的Chebyshev 神经网络，其隐层第i 个神经元采用Chebyshev 正交多项式簇中第i 个多项式作为激励函数；针对这种特定神经网络结构，我们推导了其Levenberg-Marquardt 学习算法。理论分析及仿真实验表明该神经网络能够很好地学习样本数据中的不同模式，具有较快训练速度和较高的计算精度。
2. Chebyshev 神经网络理论基础
2.1. Chebyshev 正交多项式
定义1
[1,8]
在区间[1,1]−
pitstop
的1i −次Chebyshev 正交多项式可定义为下式：
()cos i T x i θ=，arccos x θ=，1,2,3,...i =，
其中，[1,1]x ∈−。
其递推关系式为：
12
11()1()...()2()()2,3,...
i i i T x T x x T x xT x T x i +−=⎧⎪=⎪⎨
⎪⎪=−=⎩ 2.2. Chebyshev 神经网络模型结构
所前所述，Chebyshev 神经网络为三层结构，即由输入层、隐层和输出层组成。其中，输入层、输出层为单神经元层，且使用()f x x =为激励函数；隐层第i 个神经元采用Chebyshev 正交多项式簇中第i 个多项式作为激励函数。三层中的所有神经元阈值均固定为1。显然，这是一种结构相对简单的神经网络，将有利于硬件实现。
2.3. Chebyshev 神经网络的训练样本及目标函数
若)(x φ为区间[1,1]−上的连续函数（当)(x φ不是定义在区间[1,1]−上时，可先进行规范化处理），则可将)(x φ上的m 个样本1{,()}m j j j x x φ=作为
Chebyshev 神经网络的训练样本。
于是，Chebyshev 神经网络对于上述m 个样本1{,()}m j j j x x φ=的输出可用如下数学表达式描述：
1
ˆ()()n
j
i i j i x w T x φ==∑，1,2,...,j m =， 也可以写成如下方程组形式，
1
ˆ()()()n
j i i j j
i f w w T x x φ==−∑， 1,2,...,j m =. （1）
其中，12,,,n w w w L 为神经网络隐层到输出层权值，m 为神经网络训练样本总数。
为后续Levenberg-Marquardt 学习算法描述方便起见，这里定义()F w 如下式，
实达网络12():[()()...()]m F w f w f w f w =.
需要指出的是，通常)(x φ是未知待求解的映
射关系，一般情况下，我们只能得到关于)(x φ的一定数量的样本。
于是，该神经网络训练的目标为：通过修正输出层权值向量12:[,,,]T n n w w w w R =∈L
，以优化目标函数21
ˆ(()())m王希孟
高尔夫球会j
j
j E x
x φφ==
−∑，使得ˆ()x φ成为()x φ的最佳平方逼近，从而求解()x φ的近似映射关系ˆ()j
x φ。 对于上述目标函数E 的优化，一般可采用梯度下降方法。但该算法存在学习速度较慢等问题。为此，我们提出了采用Levenberg-Marquardt 学习算法训练Chebyshev 神经网络，下面我们给出该算法的步骤及理论推导过程。
3. Levenberg-Marquardt 学习算法外婆怀了外孙的种
Levenberg-Marquardt 学习算法本质上是一种拟牛顿方法。该算法可分为如下步骤进行[7]：
Step 1) 随机给定初始权值向量0w ，设定目标
误差ε，:1k =。
Step 2) 对于（1）式所示n 元方程组，计算其
对权值向量w 的Jacobi 矩阵J 。
Step 3) 按下式进行搜索，
(1)()()()()()(()())()()k k T k k T k k k k w w J w J w I J w F w ημ+=−+。
Step 4) 若()()k E w ε≤，则算法终止，得到满
足精度要求的权值向量；否则，转Step 5。 Step 5) 若(1)()()()0k k Fw Fw +−≤，则令/4k k μμ=；
否则4k k μμ=×，转Step 3。
值得指出的是，上述算法中，Jacobi 矩阵J 的定义如下所示：
()()()11112()()()222()12()()()
12()()()...()()()...():............()()()...k k k n k k k k n k k k m m m n f w f w f w w w w f w f w f w J w w w w f w f w f w w w w ⎡⎤
∂∂∂⎢⎥
∂∂∂⎢⎥⎢⎥
∂∂∂⎢⎥
=∂∂∂⎢⎥⎢⎥⎢⎥
⎢⎥
∂∂∂⎢⎥∂∂∂⎣⎦
.
4. 仿真实验
本节通过两个仿真实例对Chebshev 神经网络及其Levenberg-Marquardt 学习算法可行性和有效性进行验证。需要指出的是，本文仿真运算环境为
Intel Celeron CPU 3.06GHz ，2GB 内存，WinXP OS 。
下图1和图2分别为以下列目标函数：
1）
223
()sin((50.5)(1)/(2(1))x x x x φ=×+×++−， 2）2
2
3
()cos((1)(3)/(1.2(1))x x x x φ=+×++−， 为例，采用Chebyshev 神经网络（注：隐神经元数设定为110）及Levenberg- Marquardt 学习算法
的仿真结果图示。
图1. Chebyshev 神经网络对于实例1的仿真逼近
图2. Chebyshev 神经网络对于实例2的仿真逼近
由以上两个仿真实例结果图，我们可以看出，本文算法能够以较高的精度逼近上述两个实例目标函数（尽管目标函数光滑性不好）。
5. 结 论
本文构造了一种Chebyshev 神经网络，推导了其Levenberg-Marquardt 学习算法。理论分析及仿真实验表明，该神经网络及其学习算法是可行且有效的，且具有较高的计算精度。 参考文献 (References)
[1] 肖秀春，张雨浓，姜孝华等. 第二类Chebyshev前向神
经网络权值直接确定及结构自适应确定[J].大连海事大学学报，2009,35(1):80-84.
[2] 肖秀春，张雨浓，姜孝华等. 基函数神经网络逼近能力
探讨及全局收敛性分析[J].现代计算机,2009,2,4-8.
[3]崔荣一，洪炳熔. 关于三层前馈神经网络隐层构建问题
的研究[J]. 计算机研究与发展,2004，41(4):524-530. [4]汪烈军. 一种改进的结构自适应自组织神经网络算法
[J]. 微电子学与计算机, 2007, 24(1):106-109.
[5]Y. Zhang, T. Zhong, W. Li, et al. Growing algorithm of
Laguerre orthogonal basis neural network with weights
directly determined [A].In Proc. ICIC08[C]. Berlin: Springer Press, 2008:60–67. [6]杨娜，付强，王淑丽等. 小波神经网络模型的改进及其
应用[J].系统工程理论与实践,2009,29(1):168-173.
谱世界[7]杨柳，陈艳平.求解非线性方程组的一种新的全局收敛
的Levenberg-Marquardt算法[J].计算数学,2008,30
(4):388-396.
[8]莫国瑞, 刘开第. 函数逼近论方法[M]. 北京: 科学
出版社, 2003.
基金项目：浙江大学CAD/CG国家重点实验室开放课题（A0908）资助；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议