支持向量机（五）能力扩展

传统软间隔支持向量机仅能够适配线性可分或是近似线性可分的数据分类任务。倘若数据集呈现螺旋、环状缠绕这类非线性分布特征，就算放宽约束条件、容许部分样本违背间隔限制，原始特征空间依旧不存在适配的最优分类超平面。

想要攻克该类非线性分类难题，单纯松弛约束参数行不通，我们可以转换思考维度：更换特征所处的运算空间。原始空间当中交错缠绕、无法用直线分割的数据，经过非线性映射投射至高维特征空间之后，便具备了线性可分的条件。

这个方法可行，但是直接进行高维映射存在 2 个问题：一是映射之后维度极高甚至趋向无穷，带来爆炸式上涨的计算开销，二是很难人工挑选出适配数据集的映射函数。

核函数正是在这里登场的，它让我们无需真的进行高维映射（核技巧），只需在原空间中计算映射后样本向量之间的内积，就等价地完成了在高维空间中训练支持向量机。

\(\phi(x)\) 表示映射函数，用于把原来的数据 \(x\) 映射到高维空间。

核函数支持向量的决策函数如下：

常见的核函数有：

• 线性核（Linear Kernel）：适用于线性可分数据，计算效率较高，不需要进行复杂的特征映射。
• 多项式核（Polynomial Kernel）：适用于存在复杂特征交互关系的非线性数据。
• 高斯径向基核（RBF Kernel）：适用于复杂非线性数据，是支持向量机中最常用的核函数。
• 双曲正切核（Sigmoid 核）：在实际应用中使用较少。

注意：支持向量机在高维空间中是仍然是最大化间隔，寻找线性超平面，但是从原空间的角度来看，这个超平面就变成非线性的。