梯度提升树（GBDT，Gradient Boosting Decision Tree）-老孟讲编程

你将学会

理解梯度提升树串行拟合负梯度的训练逻辑
掌握学习率与树数量之间的权衡关系
能推导叶子节点最优输出值的计算方式

课程内容 3 篇

附录文章 1 篇

互动留言

1/3 GBDT 梯度提升树（一）基本原理

介绍一种把多棵弱树逐步叠加成强模型的集成思路。文章先用预测过程说明如何从一个基准值出发，让每棵新树去修正已有模型留下的偏差，再解释学习率为何要用更多棵树来换取稳定性、使整体更抗噪声。读完能直观理解这套集成方法的工作方式与背后的设计取舍，明白它为何在很多表格类任务上表现出色，为后续看懂公式推导和数值实例打下基础。

2/3 GBDT 梯度提升树（二）公式推导

承接前面的原理，深入回答训练过程中的两个关键问题：新树按什么标准做分裂、每个叶子最终该输出什么。文章指出前者可直接选用成熟的拟合增益指标，后者则必须结合损失函数求解，平方损失有简洁结论，其他损失则要单独推导。读完能把模糊的直觉落到可计算的明确规则上，真正理解训练时算法每一步究竟在优化什么。

3/3 GBDT 梯度提升树（三）计算案例

用一份具体的小数据集，把前面抽象的训练流程完整走一遍。文章从如何确定初始基准值开始，逐步演示拟合残差、生成新树并更新整体预测的每一步，配合表格让数字的变化清晰可见。跟着一步步读完，能把之前的公式和抽象原理对应到真实的数字计算上，彻底弄明白模型究竟是如何一轮轮自我修正、越练越准的，也更容易记住整套流程。

1/1 GBDT 多分类计算过程

讲清一个本身只能做二分类的提升树模型如何扩展到三分类甚至更多类别。文章用一对多的拆分思路配合一个完整的数值算例，逐步演示每棵子树如何打分、又怎样汇总归一化成各类别概率。适合已经了解二分类提升树、想进一步理解多分类内部计算的读者，读完能一步步跟上，真正看懂类别预测结果究竟是怎么算出来的。

你可能感兴趣

XGBoost（Extreme Gradient Boosting，极端梯度提升树）

1 小时 26 分钟

梯度提升树（GBDT，Gradient Boosting Decision Tree）

你将学会

1/3 GBDT 梯度提升树（一）基本原理

2/3 GBDT 梯度提升树（二）公式推导

3/3 GBDT 梯度提升树（三）计算案例

1/1 GBDT 多分类计算过程

你可能感兴趣

XGBoost（Extreme Gradient Boosting，极端梯度提升树）

本地部署 ChatGLM3-6B 模型 | 大语言模型+ Gradio

高斯混合模型（GMM，Gaussian Mixture Model）