支持向量机(SVM)的原理和工作过程主要包括:
一、算法原理
SVM找到一个能最大化间隔距离的超平面。
间隔距离定义为:超平面到支持向量最近的样本点的距离。
二、间隔最大化
SVM通过最大化间隔值来优化超平面。
间隔最大化等价于以下双问题:
min 0.5 * ||w||^2
s.t. yi(w^Tx + b) >= 1, i = 1,2,...,n
其中w是超平面的法向量。
三、 slack变量
为处理不线性数据,引入slack变量ξi:
yi(w^T*xi + b) >= 1 - ξi
使错分点处于间隔外。
损失函数变为:
min 0.5 * ||w||^2 + C * ∑ ξi
C表示妥协参数。
四、核技巧
核技巧将线性无法分开的数据转换到高维中,变为线性可分。
实际训练SVMs时,使用核技巧的 dual形式。
总的来说,SVM的原理和过程包括:
- 找到能最大化间隔的超平面
- 通过间隔最大化最优化超平面
- 引入slack变量处理间隔内点
- 使用核技巧转换到高维空间
- 实际训练时使用核技巧的对偶形式
其核心在于:
- 通过最大间隔原则找到最佳超平面
- slack变量处理间隔内点
- 核技巧处理线性不可分数据