作者：张鹏
中大客车来源：《现代经济信息》 2017年第12期
摘要：黎曼流形上的梯度算法及相关问题一直是优化热点问题之一，这种算法在实际领域的应用也十分广泛。本文在介绍了黎曼流形的发展和优化理论与梯度算法的发展的基础上，进一步给出了黎曼流形上梯度算法的相关研究。 关键词：黎曼流形；优化理论；梯度算法
中图分类号：O186.12文献识别码：A文章编号：1001-828X(2017)018-0-02
一、黎曼流形的发展
我的特岗故事 起初微分几何的发展是与微积分的发展同步的，当时有许多数学家用微积分解决几何问题，特别是德国数学家高斯，他的数学研究几乎遍及数学的所有领域，在代数、数论、复变函数、非欧几何、微分几何等领域都做出过开创性的贡献。1827年他出版了一本名为《曲线与曲面的一般研究》的著作，而这本著作一直被认为是微分几何作为独立学科的开始。
中小企业erp 1943年前后，陈省身先生为微分几何的发展做出了杰出的贡献，他证明了被积函数是由曲率张量组成的代数式子，这个式子在整个流形上的积分，应该等于这个流形拓扑不变量。在此基础上陈先生又发展了示性类理论，即“陈省身示性类”，简称陈类，这不仅在微分几何中很重要，在代数几何，甚至数学物理、理论物理中都很重要。
在高斯之后的19世纪，推动微分几何发展的最重要的数学家当属德国数学家黎曼，他在1954年做的教师资格报告，标志着黎曼几何的开始。高斯研究的是三维欧式空间的曲线曲面性质，而黎曼把几何对象推广到高维的同时，通过将高斯曲面的度量所决定的性质与曲面放在高维欧式空间中，这两者区分开来，从而把高斯曲面中内含的和外在的几何性质分开来了。
在黎曼几何提出之后，主要发展是Ricci为代表的意大利几何学派，他们为发展黎曼几何研究了张量分析。爱因斯坦在发表了狭义相对论七年之后才建立了广义相对论，而该理论的建立也用到了张量分析，这使得黎曼几何作为一门学科热了起来，几乎搞相对物理的人都得学几何。堆芯熔化
近几十年由于偏微分方程的发展，使得几何中的许多问题都得到了解决，以丘成桐为代表，他解决了很多重要问题，例如解决了Calabi猜想，广义相对论中的正质量猜想等，并以此获得了1983年的菲尔兹奖和2010年的沃尔夫奖，而同时获得这两项国际数学界最高奖项的数学家可以说是凤毛麟角。
几何的发展一直处于数学发展的核心地位，因此为数学家所关注，由于空间的几何性质密切关系到
人类对时空的认识，所以几何的发展也受到物理学家的密切关注。而从微分几何的发展可见，黎曼几何处于重要地位，许多关键问题与此相关。
二、优化理论与梯度算法的发展
优化理论是一门应用十分广泛的学科，该学科主要研究内容为，讨论决策问题的最佳选择，构造寻求最优解的计算方法，并研究这些方法的理论性质和实际计算表现。随着计算机技术的快速发展以及优化算法的不断进步，越来越大规模的优化问题得以解决，而优化问题也广泛见于工程设计、交通运输、经济计划、生产管理、国防等重要领域。因此优化理论与算法的研究得到了政府部门、科研机构和产业部门的高度重视。 虽然优化问题可以追溯到十分古老的极值问题，然而，它成为一门独立的学科是在上个世纪四十年代末，即是在1947年Dantzig提出求解一般线性规划问题的单纯形法之后。现在，解线性规划、非线性规划、随机规划、非光滑规划、多目标规划、几何规划、整数规划等各种优化问题的理论研究发展迅速，同时，信赖域法、牛顿法、拟牛顿法、罚函数法、可行方向法、共轭梯度法、次梯度法等优化方法不断出现，实际应用也日益广泛。
中学生心理学
步长因子和搜索方向的构成法则决定优化算法，当搜索方向是目标函数的梯度或次梯度时，就构成了梯度或次梯度算法，若再运用某些增量方法，就产生增量梯度方法或增量次梯度方法。
关于可微无约束最优化问题的增量梯度方法的研究已经有很长的历史，它在神经网络领域被称为反向传播方法。该方法与 Widrow-Hoff 算法[1]，随机梯度方法以及随机近似方法相似，随后，出现了许多关于增量梯度算法的收敛性研究。根据收敛性分析可知，当远离最终极限时，这种方法的收敛速度要比最速下降法快。而增量次梯度方法与增量梯度方法一样，也是为了提高算法的收敛速率而提出的。与传统的梯度方法相比，增量次梯度方法可以解决具有不可微目标函数的优化问题，而这就扩大了该方法的实际应用范围。
三、黎曼流形上梯度算法的研究
流形上优化方法的研究最早可以追溯到 1972 年，Luenberger 使用沿测地线的搜索算法证明了梯度投影法的收敛性。1982年，Gabay 研究了嵌入子流形上的优化算法，包括沿着测地线的最速下降法，牛顿法，拟牛顿法及其相应的收敛性。而后，优化学家又研究了流形上的信赖域方法，近似点算法等优化算法。
流形上优化方法的研究不仅仅是理论上的考虑，更重要的有以下原因。首先，一些有实际应用的优化模型是建立在流形上的，而不是在线性空间中的，也就是问题本身没有线性结构。而在一般的度量空间中考虑的话过于笼统，实际应用价值不大。这样就需要在流形上进行研究，例如建立在李上的脊椎的几何模型，建立在Stiefel 和 Grassmann 流形上的计算机视觉和模式识别模型等。同时，流形上的优化问题有广泛的应用背景，比如信号处理，数据挖掘，和统计分析的一些领域可以看作矩阵流形上的优化问题。其次，一些 Hilbert 空间的约束优化问题，如果约束集合是流形，我们可以将其化为流形上的无约束优化问题；另外，一些 Hilbert 空间中非凸的优化问题(目标函数不是凸的)，可以转化为流形上的凸优化问题。因此，采用流形上的优化方法往往具有较低的复杂性，也有更好的数值计算效果。相反，如果将流形嵌入某些线性空间，会导致问题的维数増加，从而增加问题的复杂性。
随着越来越多的优化技术及方法被推广到流形上，并证明是行之有效的，许多梯度优化算法也被推广到流形上。Ferreira 和 Oliveira 在文献[2]中首次将次梯度方法的相关概念及收敛性质推广到了黎曼流形上，而后 Ferreira 在文献[3]研究了黎曼流形上近似次梯度方法。Bento，Melo 和 Cruz 在文献[4,
5]中利用次梯度型算法，分别研究了黎曼流形上的凸可行问题和多目标优化问题。在假设截面曲率是下有界时，王湘美等人在文献[6]中建立了黎曼流形上次梯度投影算法，并研究了算法的收敛性质。
参考文献：
[1]Widrow B, Hoff M E. Adaptive Switching Circuits[C] //1960 IRE WESCON Convention Record. New York: IRE, 1960, 4:96–104.
[2]Ferreira OP, Oliveira PR. Subgradient Algorithm on Riemannian Manifolds[J]. Journal of Optimization Theory and Applications, 1998, 97(1):93–104.
人蟒情深
[3]Ferreira O P. Proximal Subgradient and a Characterization of Lipschitz Function on Rieman-nian Manifolds[J]. Journal of Mathematical Analysis and Applications, 2006,313(2):587–597.
[4]Bento G C, Melo J G. Subgradient Method for Convex Feasibility on Riemannian Manifolds [J]. Journal of Optimization Theory and Applications, 2012, 152(3):773–785.
[5]Bento G C, Cruz Neto J X. A Subgradient Method for Multiobjective Optimization on Riemannian Manifolds[J]. Journal of Optimization Theory and Applications, 2013,159(1):125–137.
[6]Wang X M, Li C, Yao J C. Subgradient Projection Algorithms for Convex Feasibility on Riemannian Manifolds with Lower Bounded Curvatures[J]. Journal of Optimization Theory and Applications, 2015, 164(1):202–217.
作者简介：张 鹏(1982-)，女，汉族，黑龙江人，讲师，在读博士研究生，主要从事最优化理论与方法研究。
基金项目：牡丹江师范学院一般项目(科技)，项目号：YB2017002。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议