一次性吃透支持向量机 | 核心理念 + 软硬间隔 + KKT 对偶问题 + 核技巧

已完结

课程简介

支持向量机（Support Vector Machine）是 1995 年问世的经典监督学习算法，核心用于分类任务，拓展变体也可实现回归任务。凭借严谨的统计学习理论根基与出色的泛化能力，在深度学习兴起之前，它一直是文本分类、图像识别等领域的主流模型。即便如今深度学习成为行业主流，面对小样本、高维度的数据场景，SVM 依旧能展现出稳定可靠的性能，具备极高的实用价值。

章节目录

互动留言

1/5 支持向量机（一）算法初识

支持向量机（Support Vector Machine，SVM）是经典的二分类算法，很多初学者常常被复杂的公式推导劝退。本节课我们先从简单的核心公式入手，弄懂样本如何完成分类预测，建立算法基础认知，为后续课程做好铺垫。 1. 核心公式支持向量机的核心是决策函数，也是模型完成分类预测的核心依据。公式如下：初步理解一：有些二分类算法使用 0 和 1 表示两个类别，支持向量机使用 +1 和 -1 ... 查看完整内容

2/5 支持向量机（二）核心理念

前面我们抛出了一个问题：支持向量机就是寻找一个超平面，把两个类别的样本分开。但是，能够将两个类别样本分开的超平面有很多个，那么支持向量机应该如何选择其中最优的那个？选择依据是什么？接下来，我们从支持向量机的设计思想出发，理解它选择最优超平面的核心原则。 1. 设计思想我们的模型在训练的时候，训练数可能比较干净。但是，现实中的数据常受噪声或测量误差影响。假设某 +1 类样本 [latex... 查看完整内容

3/5 支持向量机（三）目标函数

我们现在通过对支持向量机核心理念的理解，并经过简单的数学推导，得到了支持向量机的优化目标函数。为了能够求解这个优化问题，我们需要对目标函数进行进一步处理。主要包含两个步骤：对目标函数进行简化，使其转化为更容易求解的形式。优化约束条件，使支持向量机能够应用到现实问题中。 1. 简化目标分子称为函数间隔，它表示样本代入分类函数后的输出大小，再除以分母对其进行归一化，得到样本到超平面的几何距离，... 查看完整内容

4/5 支持向量机（四）对偶问题

我们现在已经拿到支持向量机的目标函数，这是一个带有不等式约束的最小化问题。本章节，我们会从基础的 KKT 条件入手，讲解其解决带约束优化问题的核心逻辑，再推导原始问题如何转化为对偶问题，最后结合对偶系数的取值规则，弄懂支持向量的判定依据，完整梳理优化求解的核心原理。 1. KKT 条件在很多优化问题中，我们希望找到一个变量，使目标函数最小，但是变量需要满足一些限制。比如下面的例子：我们先直接看... 查看完整内容

5/5 支持向量机（五）能力扩展

传统软间隔支持向量机仅能够适配线性可分或是近似线性可分的数据分类任务。倘若数据集呈现螺旋、环状缠绕这类非线性分布特征，就算放宽约束条件、容许部分样本违背间隔限制，原始特征空间依旧不存在适配的最优分类超平面。想要攻克该类非线性分类难题，单纯松弛约束参数行不通，我们可以转换思考维度：更换特征所处的运算空间。原始空间当中交错缠绕、无法用直线分割的数据，经过非线性映射投射至高维特征空间之后，便具备了线性... 查看完整内容