前段时间学了拉格朗⽇乘⼦法，学会了构造拉格朗⽇函数，也就是学会了把带约束（等式或不等式）的优化问题转化为⽆约束优化问题，私以为这部分就学完了到此为⽌了，没想到今天推导SVM的数学模型，要推原问题的对偶问题，愣是艰难地卡了⼤半天，⼀直没明⽩对偶问题的含义，原来拉格朗⽇函数得到以后还要进⼀步往下推出拉格朗⽇对偶函数，对偶函数的极值问题就是原问题的对偶问题，本⽂专门梳理和总结⼀下，以作学习记录。 本⽂是的续集，需要补充前⾯的知识可去逛逛，本⽂有的地⽅没仔细解释。
对偶理论，1947年提出，最早出现在线性规划中，所以现在的最优化课本⾥讲对偶问题都是从线性规划开始的，注意初学者看了线性规划⾥的对偶问题，很容易误以为对偶问题就是原问题的⼀个等价问题，其实这么想是不正确不严密的，对偶和等价是不同的概念。本⽂只讨论拉格朗⽇对偶问题，线性规划的先不考虑。
考虑最优化模型：
（1）通过下⾯两步，构造拉格朗⽇函数为：
1. 引⼊ 松弛变量 / KKT乘⼦，把不等式约束条件转化为等式约束条件。
2. 引⼊拉格朗⽇乘⼦，把等式约束转化为⽆约束优化问题。
（2）定义拉格朗⽇对偶函数为拉格朗⽇函数把当作常数，关于取最⼩值得到的函数：
inf 表⽰下确界，infimum(sup，上确界，supremum)
它只是的函数，与⽆关。
它⼀定是凹函数。有证明。中拍网
(3)拉格朗⽇对偶问题
原问题是最⼩化，显然，
假设是满⾜原问题约束下的最优解，则
所以是原问题最优解的下界。
min f (x )s .t .h (x )=k 0,g (x )≤j 0j =1,2…,n ;k =1,2…,l
μ(μ≥j j 0)λk L (x ,λ,μ)=f (x )+λh (x )+k =1∑l k k μg (x ),μ≥j =1∑n j j j 0
格陵兰海豹λ,μx g (λ,μ)=(L (x ,λ,μ))
x inf λ,μx f (x )f (x )≥L (x ,λ,μ)
f ∗f =∗min f (x )≥min L (x ,λ,μ)≥
g (λ,μ)，μ≥i 0
g (λ,μ)
下界当然是要最⼤的下界，所以导出拉格朗⽇对偶问题
由于⼀定是凹函数，所以拉格朗⽇对偶问题⼀定是凸优化问题。
原问题的关于的最⼩化转化为了对偶问题关于的最⼤化。
（4）strong duality & weak duality红外线测速仪
桑塔纳化油器
设是拉格朗⽇对偶问题的最优解，则不管原问题是不是凸优化问题，都⼀定有
则强对偶成⽴。这时对偶函数是原问题的紧致下界。
俄勒冈州火山爆发
则弱对偶成⽴。能不能取到强对偶条件取决于⽬标函数和约束条件的性质。如果满⾜原问题是凸优化问题，并且⾄少存在⼀个绝对可⾏点(Slater’s condition)（⼀个可以让所有不等式约束都不取等号的可⾏点），那么就具有强对偶性。
slater条件：存在x，使得所以不等式约束严格成⽴(即严格⼩于)。
slater条件性质： slater条件是原问题P可以等价于对偶问题Q的⼀个充分条件，该条件确保了鞍点的存在。max g (λ,μ),s .t .μ≥i 0
g (λ,μ)x λ,μd ∗d =∗f ∗
d ≤∗f ∗
g (x )≤0
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议