拆解 AdaBoost 核心机制:样本权重调整 + 弱分类器加权投票全过程推导
已完成
拆解 AdaBoost 核心机制:样本权重调整 + 弱分类器加权投票全过程推导

课程简介

本课程聚焦 AdaBoost 多分类核心技术,从原理、公式到实战层层拆解,帮你快速掌握这一经典集成学习算法。

章节目录
互动留言

1/3 AdaBoost 自适应提升(一) 基本原理

AdaBoost(Adaptive Boosting,自适应提升)算法由 Yoav Freund 和 Robert Schapire 于 1995 年提出,是一种能自动找出薄弱环节并不断改进的集体学习方法,是机器学习历史上具有里程碑意义的算法。它首次在理论上证明:即使是性能较弱的模型,只要经过合理的组合,也能形成一个强大的分类器。凭借简单而高效的设计,它在图像识别、医学诊断、金融风控等多个领域得到... 查看完整内容

2/3 AdaBoost 自适应提升(二)公式推导

前面对算法训练过程的描述都只是思路,到底错一个样本,样本权重该涨多少?模型权重应该怎么计算?这些问题全靠猜或者拍脑袋,算法就没法落地。 为了让样本权重怎么调、模型权重怎么定都变成精确而可执行的规则,我们需要进行公式推导,把这些口头的直觉,变成清晰的数学步骤,让 AdaBoost 的机制从想法变成算法。 1. 目标函数 其中: [latex] F_{m}(x) [/latex] 也是一个 [late... 查看完整内容

3/3 AdaBoost 自适应提升(三)计算案例

AdaBoost 核心思想是关注错误样本、动态调整权重。每轮训练后,提高被当前弱学习器误分类样本的权重,让后续弱学习器更聚焦于这些难分样本。同时,根据弱学习器的分类精度,为其分配不同权重(精度越高,权重越大),最终通过加权投票得到强学习器。 接下来,以具体案例为核心,拆解完整训练过程,帮助大家理解自适应权重调整的本质。我们采用10 个样本的 3 分类任务,数据如下表所示。特征仅 1 个,类别分为 ... 查看完整内容