回忆上⼀节，对如下的原问题：
（1）
我们定义了拉格朗⽇对偶函数：
然后我们证明了：，其中p*是原问题的最优值。
也就是说我们到了原问题最优值的⼀个下界。既然我们到了⼀个下界，显然我们要到它最好的下界。什么是最好的下界的？显然就是所有下界当中最⼤的那⼀个。所以我们要把最⼤化，当然我们还要记得我们需要限制。我们把要优化的函数和约束条件正式写下来就是： 杨淑荣
（2）
与原问题（1）相对应，我们把上⾯的问题（2）称作拉格朗⽇对偶问题（Lagrange dual problem）。显然，对偶问题的最优值d*就是我们可以获得的p*的最优下界，也就是所有下界中离p*最近的⼀个，它们的关系是：
腐蚀与防护期刊（3）
我们把这个不等式叫做弱对偶性质（Weak Duality）。
顺其⾃然，我们可以引出⼀个重要的概念，对偶间隙，其定义为，⽤⽂字叙述就是原问题的最优值与通过拉个郎⽇对偶函数获得的其最好（最⼤）的下界之差。由不等式（3）可以看出，对偶间隙肯定是⼤于等于0的。青铜工艺
那么有没有可能在某种情况下，对偶间隙消失了呢？也就是说对偶问题的最优值与原问题的最优值相等了呢？ 我们将要叙述⼀下Slater条件：
Slater条件：
存在x满⾜：
Slater条件即是说存在x，使不等式约束中的“⼩于等于号”要严格取到“⼩于号”。
可以证明，对于凸优化问题（关于凸优化问题，请参考），如果Slater条件满⾜了，则：
这种情况称为强对偶性质（Strong Duality）。
下⾯的问题是，如果对偶间隙消失了，会发⽣什么有趣的现象呢？
如果对偶间隙消失了，也就是说，如果对偶问题存在着最优点λ*,μ*并且使其对应的最优值等于p*，这时会发⽣什么情况呢？还记得上⼀节我们证明的过程么：
（4）
在对偶间隙消失的情况下，中间所有的不等号都要变成等号：
脊梁颂
（5）
注意，（5）中的λ和μ都加了星号，表⽰它们是对偶问题的最优点。（5）中有两个重要的等号，已经加了标记。
我们能得出什么结论？
1 .我们先来看等号1：
它说明了原问题的最优点x*是使取得最⼩值的点。
2. 我们再来看等号2：北方民族大学学报
它说明了：
由于我们限制了每⼀个λi≥0，所以上式中每⼀项都是⾮正的。这样我们⼜可以得出结论：
(6)
等式（6）被称作是互补性条件，我们可以把它换种写法：
或者写成它的等价形式（逆否命题）：
也就是说，只要⼀个不为0，另⼀个就必为0！
互补性条件有着重要的意义。它说明了当时，x*是处于可⾏域的内部的，这时不等式约束并不起作⽤，此时；⽽的点肯定是可⾏域边界的点（）。也就是说只有积极约束才有不为0的对偶变量。⽽这在⽀持向量机中有着重要的意义。回想在第⼀节我们最后的结论，⽀持向量机寻最⼤间隔超平⾯可以归结为⼀个优化问题：
⽬标函数：
三只小狼和一只大坏猪限制：
那么哪些不等式约束对应着不为0的对偶变量呢？显然，只有当时，这个约束对应的对偶变量才可能不为0，⽽意味着什么？意味着这个约束对应的样本点x i是⽀持向量！也就是说：
只有⽀持向量才对应不为0的拉格朗⽇乘⼦！
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议