最⼩⼆乘⽀持向量机简述
图像采集系统>船用接触器先说LSSVM分类，LSSVM和SVM的区别就在于，LSSVM把原⽅法的不等式约束变为等式约束，从⽽⼤⼤⽅便了Lagrange乘⼦alpha的求解，原问题是QP问题，⽽在LSSVM中则是⼀个解线性⽅程组的问题。 对于SVM问题，约束条件是不等式约束：
语音播报KaTeX parse error: No such environment: align at position 8: \begin{a l i g n } min_{w,b,\xi}J…
对于LSSVM，原问题变为等式约束：
KaTeX parse error: No such environment: align at position 8: \begin{a l i g n } min_{w,b,e}J\l…
原SVM问题中的 是⼀个松弛变量，它的意义在于在⽀持向量中引⼊离点。⽽对于LSSVM的等式约束，等式右侧的 和SVM的 的意义是类似的，最后的优化⽬标中也包含了 。我个⼈理解成：在LSSVM中，所有的训练点均为⽀持向量，⽽误差 是我们的优化⽬标之⼀。
另外，在LSSVM中 和SVM中 的意义是⼀样的，⼀个权重，⽤于平衡寻最优超平⾯和偏差量最⼩。
接下来，和SVM类似，采⽤ 乘数法把原问题转化为对单⼀参数，也就是 的求极⼤值问题。新问题如下：
分别对 求导=0，有:
KaTeX parse error: No such environment: align at position 8: \begin{a l i g n } \dfrac {\parti…
接下来，根据这四个条件可以列出⼀个关于 和 的线性⽅程组:
其中 被称作核矩阵：
KaTeX parse error: No such environment: align at position 8: \begin{a l i g n } \Omega _{kl}&=…
解上述⽅程组可以得到⼀组 和 。
最后得到LSSVM分类表达式：
那么对⽐SVM，LSSVM的预测能⼒究竟怎么样呢，简单说来，由于是解线性⽅程组，LSSVM的求解显然更快，但标准基本形式的LSSVM的预测精准度⽐SVM稍差⼀些。
接下来说回归。
如果说分类是⽤⼀个超平⾯将两组数据分开的话，个⼈理解LSSVM回归就是⽤⼀个超平⾯对已知数据进⾏拟合，问题如下：KaTeX parse error: No such environment: align at position 8: \begin{a l i g n } min_{w,b,e}J\l…
这⾥的 不再是表明类别的标签，⽽是我们需要估计函数中 中的 ，同样的，⾸先采⽤ 乘数法：
ξe ξe e γc Lagrange αL w ,b ,e ;α=()J w ,e −()αy w φ(x )+b −1+e k =1∑N
空气轴承k {k [T k ]k }w ，b ，e ，αk k αb =[0y y T Ω+I /y ][b α][0
1v ]
Ωαb y (x )=sign αy K (x ,x )+b [k =1∑N
k k k ]y k y =f (x )y Lagrange L w ,b ,e ;α=()J w ,e −()αw φ(x )−b +e −y k =1∑
N
k {T k k k }
进⼀步推导：
KaTeX parse error: No such environment: align at position 8: \begin{a l i g n } \dfrac {\parti…最后化为解下列线性⽅程组：
有核矩阵如下：
KaTeX parse error: No such environment: align at position 8: \begin{a l i g n } \Omega _{kl}&=…解上述⽅程组得到LSSVM回归函数：
=[01v 1v T巨星影业
Ω+I /γ][b α][0
y ]y (x )=αK (x ,x )+k =1∑N k k b
>冷冻机组
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议