AdaBoost 核心思想是关注错误样本、动态调整权重。每轮训练后，提高被当前弱学习器误分类样本的权重，让后续弱学习器更聚焦于这些难分样本。同时，根据弱学习器的分类精度，为其分配不同权重（精度越高，权重越大），最终通过加权投票得到强学习器。
接下来，以具体案例为核心，拆解完整训练过程，帮助大家理解自适应权重调整的本质。我们采用10 个样本的 3 分类任务，数据如下表所示。特征仅 1 个，类别分为 0、1、2，任务是训练多个弱决策树，实现对样本的分类。
| 样本编号 | 特征 X | 真实类别 |
|---|---|---|
| 1 | 1.0 | 0 |
| 2 | 1.5 | 0 |
| 3 | 2.0 | 0 |
| 4 | 3.0 | 1 |
| 5 | 3.5 | 1 |
| 6 | 4.0 | 1 |
| 7 | 5.0 | 2 |
| 8 | 5.5 | 2 |
| 9 | 6.0 | 2 |
| 10 | 3.8 | 1 |
AdaBoost（SAMME）的训练过程可以总结为以下步骤：
- 初始化：样本权重 = 1/N
- 训练弱决策树（树桩）
- 计算弱学习器错误率
- 计算弱学习器的权重
- 更新下轮样本的权重
- 循环 2-5 步，直到达到停止的条件
1. 模型起步
训练开始前，因为我们对样本难分程度无先验认知，所以样本的权重均等。样本总数为 10，故每个样本的初始权重为 0.1。
| 样本编号 | 特征 X | 真实标签 | 初始权重 |
|---|---|---|---|
| 1 | 1.0 | 0 | 0.1 |
| 2 | 1.5 | 0 | 0.1 |
| 3 | 2.0 | 0 | 0.1 |
| 4 | 3.0 | 1 | 0.1 |
| 5 | 3.5 | 1 | 0.1 |
| 6 | 4.0 | 1 | 0.1 |
| 7 | 5.0 | 2 | 0.1 |
| 8 | 5.5 | 2 | 0.1 |
| 9 | 6.0 | 2 | 0.1 |
| 10 | 3.8 | 1 | 0.1 |
2. 首次训练
我们基于这些带权重的样本训练第一个弱决策树，核心是找一个切分点。在 scikit-learn 1.7.2 中决策树的构建默认使用 gini 分裂增益计算方法。我们以 4.5 为例，将训练集分为两部分：
| 样本编号 | 特征 X | 真实标签 | 初始权重 |
|---|---|---|---|
| 1 | 1.0 | 0 | 0.1 |
| 2 | 1.5 | 0 | 0.1 |
| 3 | 2.0 | 0 | 0.1 |
| 4 | 3.0 | 1 | 0.1 |
| 5 | 3.5 | 1 | 0.1 |
| 6 | 4.0 | 1 | 0.1 |
| 7 | 5.0 | 2 | 0.1 |
| 8 | 5.5 | 2 | 0.1 |
| 9 | 6.0 | 2 | 0.1 |
| 10 | 3.8 | 1 | 0.1 |
接下来计算该分裂的分类增益：
基尼不纯度计算方法：/archives/84678.html
我们按照相同的方法，计算所有候选切分点的加权基尼不纯度，选择值最小的点进行此次分裂。
接下来，基于下面的公式计算模型的错误率。错误样本共 3 个，其权重和为 0.1+0.1+0.1=0.3，所以该模型的错误率为：0.3。
| 样本编号 | 特征 X | 真实标签 | 初始权重 | 预测标签 |
|---|---|---|---|---|
| 1 | 1.0 | 0 | 0.1 | 1 – × |
| 2 | 1.5 | 0 | 0.1 | 1 – × |
| 3 | 2.0 | 0 | 0.1 | 1 – × |
| 4 | 3.0 | 1 | 0.1 | 1 – √ |
| 5 | 3.5 | 1 | 0.1 | 1 – √ |
| 6 | 4.0 | 1 | 0.1 | 1 – √ |
| 7 | 5.0 | 2 | 0.1 | 2- √ |
| 8 | 5.5 | 2 | 0.1 | 2- √ |
| 9 | 6.0 | 2 | 0.1 | 2- √ |
| 10 | 3.8 | 1 | 0.1 | 1- √ |
在前面公式推导的时候，我们并没有引入学习率的概念。在 AdaBoost 中，学习率用于控制单个弱分类器权重贡献程度，它决定了弱分类器对最终模型的影响幅度。
- η 越小，单个弱分类器的权重越低，模型收敛越慢，但可能更稳定
- η 越大，单个弱分类器的权重越高，模型收敛越快，但容易过拟合
如果没有学习率，假设模型受到异常、噪声的影响，导致某个模型话语权太大， 一旦它判断失误，对最终结果影响太大了。
我们在计算模型权重时，已经把学习率作用到模型的权重的计算中（\( \eta=0.3、K=3、err_{t}=0.3 \)）：
最终计算得到第一个弱学习器的权重为：0.4621。注意：学习率直接计算到模型权重上了。
接着，更新样本的权重。如果之前对该样本预测错误，则提高样本权重，否则权重不变。然后重新归一化，得到第二轮迭代需要的样本权重。
计算举例：
- 1号样本预测错误，则其权重为：\( 0.1 \times \exp(0.4621) = 0.15874 \)
- 4号样本预测正确，则其权重为：\( 0.1 \times \exp(0) = 0.1 \)
以此类推，计算所有样本新的权重，然后再归一化，如下图所示：
| 样本编号 | 特征 X | 真实类别 | 预测类别 | 更新权重分数 | 归一化权重 |
|---|---|---|---|---|---|
| 1 | 1.0 | 0 | 1 – × | 0.15875 | 0.13496 |
| 2 | 1.5 | 0 | 1 – × | 0.15875 | 0.13496 |
| 3 | 2.0 | 0 | 1 – × | 0.15875 | 0.13496 |
| 4 | 3.0 | 1 | 1 – √ | 0.1 | 0.08502 |
| 5 | 3.5 | 1 | 1 – √ | 0.1 | 0.08502 |
| 6 | 4.0 | 1 | 1 – √ | 0.1 | 0.08502 |
| 7 | 5.0 | 2 | 2- √ | 0.1 | 0.08502 |
| 8 | 5.5 | 2 | 2- √ | 0.1 | 0.08502 |
| 9 | 6.0 | 2 | 2- √ | 0.1 | 0.08502 |
| 10 | 3.8 | 1 | 1 – √ | 0.1 | 0.08502 |
我们会发现：样本权重的更新依赖模型权重，而学习率已经作用到模型权重中，相当于间接影响了样本权重的计算。较大的学习率，模型的权重较大，误分类样本权重会较大幅度调整，反之，样本的权重调整幅度较小，模型的训练过程也相对保守一些。
3. 持续优化
基于新的样本权重权重训练第二个弱学习器：
计算当前弱学习器的错误率，错误的样本为 7、8、9，其权重和为：\( 0.08502 + 0.08502 + 0.08502 = 0.25506 \)
| 样本编号 | 特征 X | 真实标签 | 归一化权重 | 预测标签 |
|---|---|---|---|---|
| 1 | 1.0 | 0 | 0.13496 | 0 – √ |
| 2 | 1.5 | 0 | 0.13496 | 0 – √ |
| 3 | 2.0 | 0 | 0.13496 | 0 – √ |
| 4 | 3.0 | 1 | 0.08502 | 1 – √ |
| 5 | 3.5 | 1 | 0.08502 | 1 – √ |
| 6 | 4.0 | 1 | 0.08502 | 1 – √ |
| 7 | 5.0 | 2 | 0.08502 | 1 – × |
| 8 | 5.5 | 2 | 0.08502 | 1 – × |
| 9 | 6.0 | 2 | 0.08502 | 1 – × |
| 10 | 3.8 | 1 | 0.08502 | 1 – √ |
接着计算当前弱学习器的权重（0.5295）：
最后，更新样本权重（省略计算过程），循环迭代构建多个弱学习器。
当满足以下条件时，停止训练：
- 当构建的弱学习器数量达到指定的数量，停止训练
- 当构建的弱学习器错误率为 0 时，已经能够正确区分所有样本，停止训练
- 当弱学习器的错误率高于随机猜测的错误率 \(1-1/K\) 时，模型的权重是负值，那么样本的权重在更新时，分类错误样本权重会降低，分类正确的样本权重会上升，这使得继续训练会产生更大的错误，所以停止训练。
冀公网安备13050302001966号