最⼩⼆乘法⽀持向量机⼀般⽤在什么场合_⼈⼯智能科普｜机器学习重点知识——⽀持向量机 作为模式识别或者机器学习的爱好者，同学们⼀定听说过⽀持向量机这个概念，这可是⼀个，在机器学习中避不开的重要问题。
其实关于这个知识点，有⼀则很通俗有趣的传说：
很久以前，⼀个村庄⾥住着⼀位退隐的⼤侠，相传⼤侠的剑法⾮常⾼明。
在⼀个⽉⿊风⾼的夜晚，魔⿁抓⾛了⼤侠的妻⼦。⼤侠取出尘封多年的剑，来到魔⿁的城堡要救他的妻⼦。但是魔⿁却提出要求，要和他玩⼀个游戏。
魔⿁在桌⼦上放了两种颜⾊的球，说：“⽤你⼿中的剑分开它们，要求是尽量在放更多球之后，仍然适⽤。”
⼤侠拔出利剑⼀挥，桌上出现⼀道裂痕，准确地分开了两种球。
然后魔⿁⼜在桌上放了更多的球，⼤侠如法炮制，⼿起⼑落，虽然有⼀个球没有准确划分，但依然⼲得漂亮。
⼤侠发现，剑痕的最佳位置，就是让剑痕离两边的球都有尽可能⼤的间隙。
有了这样的思想，现在即使魔⿁放了再多的球，就仍然能够很好地划出分界线。
当然，魔⿁不会善罢⽢休，于是把⼀堆球随⼿⼀扔：把它们分开。
⼤侠看到这样摆放的球，也是有点懵逼的。就在魔⿁开启嘲讽模式时，⼤侠想到了新的办法。
他左⼿在桌上⼀拍，球飞到空中。然后，凌空腾起，⽤⼿中的剑划出⼀道光波，恰好穿过两种球的中间。大众卫生报
从魔⿁的⾓度看这些球，它们看起来像是被⼀条曲线分开了。
⼤侠救回了妻⼦，然后故事在村⾥传开了，并被杜撰成了美丽的故事。也就成了现在的⽀持向量机传说。
听完这个故事，是不是对⽀持向量机有了⼀些更加感性的认知？
今天，班主任就来给⼤家详细讲⼀讲线性⽀持向量机问题。
⽀持向量机SVM
⽀持向量机(Support Vector Machine，以下简称SVM)主要⽤于解决模式识别领域中的数据分类问题，它属于有监督学习算法的⼀种。
SVM要解决的问题可以⽤⼀个经典的⼆分类问题加以描述，也就是我们在开头讲的那则传说。如图a所⽰，在⼆维坐标中有⼀堆红⾊的球和蓝⾊的球，能否⽤⼀条直线将它们分开呢？显然是可以的，⽽且满⾜这⼀条件的直线也显然不⽌⼀条。
这类问题在模式识别领域称为线性可分问题。
阿荣旗一中⽀持向量
图b和c分别给出了两种不同的分类⽅案，其中⿊⾊实线为分界线，称为“决策⾯”。 不同的分类器(⽐如说决策树、神经⽹络，逻辑回归)会给出不同的分类边界，⽽它们都是在⼀个“最好的”的决策边界。SVM的意义也是如此。 以图(b)为例，虚线的位置由决策⾯的⽅向和距离决策⾯最近的⼏个样本的位置决定。两条虚线之间的垂直距离，就是这个决策⾯对应的分类间隔。
显然，每⼀个可能把数据集正确分开的⽅向都有⼀个最优决策⾯。⽽不同⽅向最优决策⾯，它们的分类间隔通常是不同的。那个具有“最⼤间隔”的决策⾯就是SVM要寻的最优解。⽽这个最优解对应的两侧虚线所穿过的样本点，就是SVM中的⽀持样本点，称为⽀持向量。
回到图(b)中的数据，A决策⾯就是SVM寻的最优解，⽽相应的三个位于虚线上的样本点，在坐标系中对应的向量就叫做⽀持向量。
最佳决策边界
那么如何判断⼀个决策边界好呢？让我们来看⼀下SVM的关键假设：决策边界两边最近的样本到决策边界的间隔最⼤，此时的决策边界为最佳决策边界。
间隔
以上举例为⼆维平⾯中的例⼦。⽽在样本空间中，划分超平⾯可通过如下线性⽅程来描述：
其中w为法向量，决定了超平⾯的⽅向；b为位移量，决定了超平⾯与原点的距离。⽽对于训练样本(xi,yi)，则满⾜以下公式：
公式(2)称为最⼤间隔假设，yi=+1 表⽰样本为正样本，yi=−1 表⽰样本为负样本。
再经过⼀系列的变形，可以求出间隔的最终表达式
间隔最⼤化
SVM的思想是使得间隔最⼤化，也就是：
显然，最⼤化 2||w|| 相当于最⼩化 ||w||，公式(6)可以转化成：
公式(7)即为⽀持向量机的基本型。
sheldon lee glashow
对偶问题的解决⽅法——拉格朗⽇乘⼦式
四观两论
看到这类带约束的最⼩值问题，很⾃然我们想到了拉格朗⽇乘⼦法。
由此最终求解可以得到模型：
从这个结论⾥我们可以看出⽀持向量机的重要特征：当训练完成后，⼤部分样本都不需要保留，最终模型只与⽀持向量有关。
应⽤场景
喋血黑谷
近年来SVM已经在图像识别、信号处理、基因图谱识别等⽅⾯得到了⼴泛的应⽤，例如在⽆⼈驾驶技术中，需要对路⾯箭头指⽰进⾏识别，这⾥就⽤到了SVM。
⼜⽐如，⽅向梯度直⽅图(Histogram of Oriented Gradient, HOG)特征是⼀种在计算机视觉和图像处理中，进⾏物体检测的特征描述⼦。如今，HOG特征结合SVM分类器已经被⼴泛应⽤于图像识别中，尤其是在⾏⼈检测中，获得了极⼤的成功。
⽀持向量机 VS 深度学习
我们是一家人秦文君
SVM和深度学习(DeepLearning，以下简称DL)相⽐，有哪些特点和适⽤场景呢？
⼀般来说，SVM在解决中⼩数据规模(相对少)、⾮线性(惩罚变量)、⾼维(核函数)模式识别⽅⾯，具有较⼤的优势。DL处理的对象主要为图像和声⾳，其优势在于对原始特征的表⽰。
但是神经⽹络相当于⼀个⿊盒模型，在⼀些关键的应⽤场合，会有较⾼的风险。
例如在智能医疗⽅⾯，⼀个医⽣使⽤了基于深度学习的系统，却由于神经⽹络的“⿊盒”特性，⽆法向患者解释诊断原理，那⽤户极有可能会因为⾼风险⽽拒绝。
但如果选⽤的是SVM，它是单纯从可靠的数学理论推导出来的，可解释性较好，那⽤户对这类产品的选择率会更⾼。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议