svm解得的w和b分别是什么意思_⼀⽂搞懂⽀持向量机
（SVM）算法
SVM中的⽀持向量是指什么
在开始推导之前我们先了解⼀下⽀持向量机中的⽀持向量是指什么。
观察上⾯⼀张图，哪些点对于分割线起了决定性作⽤？
在特别远的区域，不管有多少样本点，对于分割线的位置，也是没有作⽤的，分割线是图中三个正好落在margin边界上的点决定的。这⼏个关键点⽀撑起了⼀个分割超平⾯，他们就是SVM中的⽀持向量。 教授女儿的婚事
下⾯我们开始⼀步步推导SVM。
SVM的优化⽬标
现在我们开始讲解SVM算法的优化⽬标
假设有⼀堆样本点
rvr
，在SVM中，⼆分类问题我们不再⽤0和1来表⽰，⽽是⽤+1 和 -1 来区分类别（这样会更严格）， 假设超平⾯
的⽬标函数，就是这样⼀个超平⾯，他的公式可以表达为：
这⾥的
本⾝。
决策函数，也就是⽤于预测的函数。就是如果能够正确分类所有样本点的超平⾯存在，我们可以去预测样本点的，⽽对应的决策函数
sign函数是符号函数，它的形式是：
这⾥提到的SVM⽬标函数和决策函数，组合起来就是我们说的SVM算法啦。
根据svm的设定，当样本点分类正确的时候，有：
根据上⾯两个公式可以推出：
在超平⾯确认存在的情况下，⼀般来说，⼀个点距离分离超平⾯的远近可以表⽰分类预测的确信程度。
念。现在我们严肃地把这个定义（其实是李航⽼师写出来的）写出来，
对于给定的数据集和超平⾯（⽤w,b表⽰），定义超平⾯（w,b）到样本点
再次重申下这⾥的
函数间隔可以表⽰分类预测的正确性和确信度，但是在选择超平⾯的时候，如果我只是将
变为2
，其实超平⾯本⾝没有改变，⽽margin却变成了原来的两倍，为了防⽌这种情况，我们需要对
做⼀个归⼀化处理，margin相应变为：
现在，考虑⼀个分类问题，像下图中，有很多条直线可以将数据分割开，那么⽤哪⼀条呢？
我们要到超平⾯（w 和b），使得离该超平⾯最近的样本点能够最远。也就是，我们要到能够将两类数据正确划分且间隔最⼤的超平⾯。这样的超平⾯，不和b），使得离该超平⾯最近的样本点能够最远
仅仅可以将正负样本点分开，⽽且对于最难分的样本点（也就是离超平⾯最近的点），也能够有⾜够⼤的确信度将它们开。我们定义，超平
⾯
⽽我们的求解⽬标，是求得⼀个最⼤间隔分离超平⾯。那么我们的优化问题，即是： 也就是，我们要使得离超平⾯最近的点到超平⾯的距离越远越好
SVM损失函数求解
继上⽂，我们将⽬标函数（即优化⽬标）的公式写出来，如下式：
这个损失函数即是我们在上⽂中提到的，先求离超平⾯最近的样本点，再求使得该样本点离超平⾯的距离最远的参数w和b。
前⾯我们提到了在分类正确的情况下，
在最优化问题中，求解最⼤值是⽐较困难的，将其转化为求最⼩值的问题更好。
现在的⽬标函数是
我们可以将其转换为求最⼩值，即：
注意，
⽽
《关于企业加强职工福利费财务管理的通知》
好了，怎么求解这个带约束条件的⽬标函数呢？这⾥需要⽤到拉格朗⽇乘⼦法了：
拉格朗⽇乘⼦法
拉格朗⽇乘⼦法的具体原理这⾥不做推导了，它是⽤来求解带约束条件的极值的⼀种⽅法。现在只说⼀下它的形式，⼀般情况下，对带不等式的最优化问题求解如下式：
这个g(x)就是约束条件。那么我们现在把我们的⽬标函数改写为符合拉格朗⽇乘⼦法的样式：
那么转换为拉格朗⽇乘⼦法后，求解公式变为：
08al
多了⼀个
问题往往更容易求解。我们可以转化为
求解⽬标函数
通过拉格朗⽇算⼦的转化，我们现在可以开始了求
我们将偏导后求得的
和代⼊我们的⽬标函数
蒋雄达
得到：
现在我们完成了第⼀步求解
跟前⾯⼀样，对于凸函数来说，求最⼤值是⽐较困难的，我们取相反数它转化成求最⼩值：
那么怎么求解呢？这⾥我们引⽤李航⽼师《统计学习⽅法》P103中的例7.1来说明：
已知⼀个如图所⽰的训练数据集，其正例点是
在这道题中， 我们将上⾯的公式(3)及其约束条件代⼊，会得到：
根据上式可得
突变
对于上⾯这个式⼦，我们要求的是⼀个最⼩值。分别对
但这个求解是不满⾜拉格朗⽇乘⼦法的约束条件
所以先决条件是必须要满⾜的。那么最终的解应该是边界上的点。我们分别令
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议