李永
【摘 要】相关函数参数的确定是Kriging模型构造的关键,针对传统模式搜索方法不够精确的缺点,文中提出用投影梯度法求解Kriging模型中空间相关函数参数θ的算法,对目标函数求解关于θ的一阶梯度,同时在单步求解中保持回归系数β不变.数值实验结果表明,这种方法能够得到更为精确的结果. 【期刊名称】《电子科技》
【年(卷),期】2015(028)005
【总页数】4页(P32-35)
选举与治理【关键词】Kriging模型;相关函数参数;投影梯度法
【作 者】李永
【作者单位】西安电子科技大学数学与统计学院,陕西西安710126
【正文语种】中 文
【中图分类】二苯甲醇TP301.6
Kriging模型是通过已知采样点来预测未知观察点的一种插值方法,最早由南非金矿地质学家Daniel Gerhard Krige于1951年提出。它以统计推理和参数拟合的方法确定参数变差的半方差函数,表征参数的空间统计结构。按估计误差方差极小化的原则确定对应各个值的权重系数,从而求得参量在任意时间,任意位置的估计值[1]。Kriging方法利用方差的变化来表达空间的变化,而且可以保证由空间分布得到的预测值的误差最小[2]。
相关模型参数对Kriging模型的性能有着重要影响,传统计算机实验设计与分析(Design and Analysis of Computer Experiments,DACE)相关模型参数的选取采用模式搜索方法,该方法虽然有较好的效果,但从目标函数的图像[3]来看,它的最优点并不十分明显。为得到更加精确的结果,本文讨论了如何对目标函数求关于θ的梯度,同时,通过单步求解中保持β不变的方式降低运算成本。
1.1 基本原理
假设已知m个观测点的自变量和响应值,分别记为Sm×1=[s1,s2,…,sm]T,si∈Rn和Y=[y1,y2,…,ym]T,yi∈Rn,其中n为自变量x的维数。大多数Kriging模型采用分解Y(x)=f(x)+Z(x),它包括多项式f(x)和偏离函数Z(x),可以写成如下形式
若记k×1阶的回归函数向量f(x)=[f1(x),f2(x),…,fp(x)]T,相对应的p×1阶向量β=[β1,β2,…,βp]T,定义m×p阶的扩展矩阵
记随机过程Z=[Z(x1),Z(x2),…,Z(xm)]T,根据式(1)样本响应值Y写成下式
设m×m的相关矩阵用R表示,它的i,j元素为R(xi,xj);表示xi和xj的空间相关函数。样本点xi,i=1,2,…,m和预测点x之间的相关性用m×1阶向量rx表示
之所以写成上述形式,是为了说明这种预测为最优线性无偏预测(Best Linear Unbiased Predictor,BLUP)。为保证最优线性无偏,需要将测量误差量化以确保协方差模型的最优性,需要约束条件以确保无偏性[4],这可以转化成使用Lagrange参数约束的最小化问题。一种线性预测模型为Y,利用E(Z(x))=0及式(5)得到β,即得约束条件FTcx=fs,预测的均方误差。
将线性无偏性带入可以消去第一项,于是
奥运会知识
利用估计误差方差极小化的原则,引入Lagrange乘子λi,i=1,2,…,k,得到式(8)
元电荷目标函数cx对λ及求偏导,结合最优线性无偏估计可得
1.2 回归模型和相关模型
回归模型F是设计空间上的全局近似,通常采用多项式函数组的形式,一般包括常数、线性和二次型3种,回归函数的选取一般对模型精度的影响并不明显[5]。相关函数模型代表了与全局模型的局部偏差,反映数据的局部特性。通常采用的高斯相关函数模型为
相关函数模型的构建通常通过单变量核函数来构造,包括EXP模型、EXPG模型、高斯模型、线性模型、球模型、立方模型以及样条函数模型等。更多回归模型、相关函数模型选取参见文献[6]。
2.1 θ的优化选择
DACE中采用最大似然估计(MaximumLikelihoodEstimation,MLE)法估计回归函数系数β、过程方差σ2以及空间相关函数参数θ,以保证与观测数据尽可能一致[7-9]。如果Kriging模型
的输出来源于一个高斯分布,那么模型参数γ的似然函数可以定义为在模型参数γ下y的m个观测值的多元正态分布,即
极大似然估计方法的目的在于选取适当的模型参数,使得所有观测值的概率最大。考虑到多元正态分布较难处理,同时对似然函数的对数取最大与对似然函数取最大得到的最优点是相同的,为便于处理,对多元高斯似然函数取对数得
由于式(14)关于空间相关函数的参数θ不存在封闭形式的解[10],故只能通过数值优化的方法求解。为减少求解模型参数的个数,将式(10)和式(15)带入式(13)[9]得到优化相关参数θ的优化问题
从式(16)的形式可以看出,目标函数Ψ是关于θ的复合函数。其中
如果直接对θ求梯度,复合函数中的逆运算势必会大幅增加运算量,从而给运算速度带来负担。为了在保证精确的前提下尽量提升运算速度,采取对目标函数式(16)进行一次复合,即将(θ)在单步求解中看做常数,其值由上一步得到的θ来确定,从而在(θ)2关于θ的求导中省去(θ)对θ的求导,从而在一定程度上降低运算成本,同时得到较为精确的结果。
工业数据采集控制设目标函数为式(16),Ψ(θ)关于θ的导函数
2.2 基于投影梯度法的参数优化算法
综合上述信息,基于梯度法的θ更新可以按以下步骤进行:
步骤1 初始化θ(0)>0。
步骤2 利用式(18)求出(θ),将其带入式(19)求出目标函数关于θ的一阶梯度。
步骤3 对目标函数式(16)利用投影梯度法对θ求优得θ*,若<0.01,则停止迭代,否则转步骤2。
2.3 算法测试
测试过程:使用拉丁超立方采样方法获取n×(n+1)×(n+2)个样本点,其中n为设计变量的维数,分别使用投影梯度法和DACE工具箱中模式搜索方法对参数θ进行更新。为求解方便,将式(16)的求大问题转换为求小问题,以便利用优化算法进行求解。
精度测试准则:分别利用投影梯度法和DACE中的模式搜索算法得到各自最优的θ,并将其代入目标函数,对目标函数的值进行比较。
测试函数:分别以Alpine Function(AF),科尔维尔函数(Colville Function,CF),广义多项式函数(Generalized polynomial Function,GF),将它们作为测试函数来比较目标函数的值以及运算耗时,以比较算法效果。
外部条件:本文所做的测试都是在同一外部条件下完成。硬件:Intel(R) Core(TM),i3-2100,3.09 GHz,2.99 GB的内存。软件:Microsoft Windows XP Professional,Matlab2010a。工具包:DACE-A Matlab Kriging Toolbox,Version 2.0。
2.3.1 Alpine Function(AF)
2.3.2 ColvilleFunction(CF)
2.3.3 GeneralizedPolynomialFunction(GF)
2.4 测试结论
从表1～表3的3个标准测试函数的测试结果,比较Ψ(θ)的值可以看出,利用投影梯度法优化的目标函数得到的最优θ的结果明显比DACE的好,也更为精确。
本文讨论了Kriging模型构建的基本原理,对其中空间相关函数参数的选取采用投影梯度法进行求解,同时对单步求解过程中的回归系数保持不变,在提升精度的同时尽可能地降低运算成本,结合数值实验对算法的优点给出了说明。但是囿于函数本身的计算量等问题,在计算耗时方面的结果还不尽如人意,需要进一步研究。爱可
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议