支持向量机（Support Vector Machine，SVM）是一种分类和回归分析的机器学习算法。其目标是将不同的类别分开，以最大限度地提高分类的准确性。 SVM通过构建一个决策边界（决策平面）来实现分类。决策边界是在将两个或多个不同的类别分开的空间中绘制的一条线或面。SVM算法选择最大边缘（Margin）的边际超平面作为决策边界。 Margin是指分类器边界与分类器最近样本点之间的距离。 SVM算法的数学公式如下：
对于样本 $(x_i, y_i), i = 1,2,...,n$，其中 $x_i$ 为样本特征向量， $y_i$ 为样本类别，其中 $y_i \in \{-1, +1\}$。
我们要到如下形式的超平面：2012广州中考数学
$$w^Tx + b = 0$$
其中 $w$ 为超平面的法向量， $b$ 为超平面截距。
超平面将所有 $\{(x_i, y_i)\}$ 划分为两个部分，用 $\hat y_i$ 来表示样本被分类之后的类别，那么：上海市政府信息公开规定
$$\hat y_i = \begin{cases} +1, & w^Tx_i+b > 0\\ -1, & w^Tx_i+b < 0 \end{cases} $$
那么超平面分类器的分类结果可以表示为：
马克隆
$$f(x) = sign(w^Tx+b)$$
其中 $sign$ 表示符号函数。
a2冷作模具钢
接下来，我们对 SVM 策略进行数学描述：
1. 限制 $\{x_i\}$ 到超平面两侧，确保分类正确，即：
$$\begin{cases}w^Tx_i+b \geq 1, & y_i = +1\\w^Tx_i+b \leq -1, & y_i = -1 \end{cases} $$
太原战役2. 使 Margin 最大，即：
$$Margin = \frac{2}{||w||}$$
最终的目标优化问题可以表示为：
$$\max_{w,b} \frac{2}{||w||}$$ $$s.t. \quad y_i(w^Tx_i+b) \geq 1, i=1,2,...,n$$
由于最大化 $\frac{2}{||w||}$ 等价于最小化 $\frac{1}{2}||w||^2$，因此可以用二次规划来求解该问题。
SVM算法分类效果比较好，常用于数据挖掘、文字分类、图像识别、生物信息学等领域。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议