你将学会
- 理解最大间隔与支持向量背后的分类原理
- 明确惩罚参数在拟合与泛化间的权衡
- 掌握核技巧处理非线性可分问题的思路
- 建立从几何直觉到对偶优化的建模思维
手机阅读
本课程从最大间隔思想出发,经软间隔、对偶与核技巧讲解SVM超平面求解,解决线性不可分与噪声敏感,帮助理解C与核函数选择。
从初学者畏惧的公式推导前先建立直觉,讲清一个经典二分类模型到底依据什么做出判断。文章指出真正起决定作用的只是离分界最近的少量关键样本,其余样本虽参与训练却不影响最终结果。适合刚入门机器学习、想啃下这一算法的读者,读完能理解预测符号为何就能决定类别,为后续更深入的数学推导打下坚实基础。
从一个朴素问题切入:能分开两类样本的边界有很多,究竟该选哪条。文章用数据受噪声扰动的例子说明,离样本越远的边界越不容易因微小误差而判错,进而引出让最近样本到边界距离最大这一核心原则,并解释为何只关注紧贴边界的少数样本即可。读完能建立对该模型设计动机的直觉,理解它为何在带噪数据上更稳健。
围绕如何把分类模型的优化问题变得可解展开,先理清函数间隔与几何间隔的区别,再通过缩放权重在不改变分类边界的前提下把间隔固定为一,将原始目标转化为更易处理的标准形式,并相应放宽约束以贴合现实中线性不可分的数据。读完能明白这一经典模型的目标是怎样从直觉一步步走向数学表达的,为后续求解扫清障碍。
接着前文的目标函数,讲清带约束的优化问题如何借助一套数学条件转化成更容易求解的形式。文章从拉格朗日函数构造说起,推导原始问题到对偶问题的变换逻辑,并结合系数取值规则说明哪些样本才是关键支撑。适合想真正弄懂模型求解过程的读者,读完能理解为什么解出来的系数天然稀疏,从而让训练与预测都更省计算。
面对数据缠绕弯曲、直线根本分不开的情况,解释为什么放宽约束也无济于事,必须换一个看待特征的空间。文章引出把数据映射到高维后再线性划分的思路,并用核函数巧妙避开真做高维计算的巨大代价。适合已经掌握线性情形、想理解模型如何处理非线性边界的读者,读完能根据数据的分布形状,为不同任务挑选合适的核函数。