XGBoost（Extreme Gradient Boosting，极端梯度提升树）

本课程经目标函数推导与数值案例，讲解XGBoost结构正则与二阶泰勒展开，解决GBDT过拟合与叶子输出不稳，帮助掌握分裂增益优化。

免费 统计学习方法 程序员 · 老孟 程序员 · 老孟 3 篇文章 1 小时 26 分 3757 次播放 已完成
阅读课件 观看视频
XGBoost（Extreme Gradient Boosting，极端梯度提升树）

你将学会

  • 理解 XGBoost 结构正则与二阶近似的优化思路
  • 掌握叶子输出与分裂增益的公式推导逻辑
  • 明确正则化系数对模型复杂度的调节作用
课程内容 3 篇
附录文章 1 篇
互动留言

1/3 XGBoost （一）优化思路

XGBoost（Extreme Gradient Boosting）2014 年由陈天奇开发，旨在对传统梯度提升算法（GBDT）进行高效实现和优化。2015 年，XGBoost 在 Kaggle 竞赛中表现卓越，多个冠军队伍使用了 XGBoost，横扫众多榜单。凭借卓越的性能和广泛的适用性，XGBoost 很快成为竞赛和工业界的标配算法，被广泛应用于金融风控、推荐系统、广告点击率预测、科研建模等领域。 文档：https://xgboost.readthedocs.io/en/stable论文：https://arxiv.org/pdf/1603.02754 在传统 GBDT 中，模型每一棵树的...

2/3 XGBoost （二）公式推导

深入剖析一种在竞赛与工业界长期占据主流的梯度提升模型，重点讲它相比传统方法到底优化了哪里。文章从树结构不受约束、叶子输出容易失稳这两类老问题出发，说明作者如何把复杂度正则化写进目标函数，让每次分裂都权衡收益与代价。面向已有提升树基础的读者，读完能领会其设计动机与公式背后的权衡，而不只是停留在调包调用层面。

3/3 XGBoost （三）计算案例

样本 i x y 1 1 2.1 2 2 4.0 3 3 6.2 4 4 8.1 5 5 10.0 6 6 12.2 7 7 14.1 8 8 16.0 9 9 18.1 10 10 20.2 损失函数：平方损失，λ = 1, γ = 0 损失函数一阶导和二阶导计算公式： 初始预测取均值： 计算每个样本的一阶导和二阶导值： 样本 i x y 基础预测 一阶导 二阶导 1 1 2.1 11.1 9.0 1 2 2 4.0 11.1 7.1 1 3 3 6.2 11.1 4.9 1 4 4 8.1 11.1 3.0 1 5 5 10.0 11.1 1.1 1 6 6 12.2 11.1 ...

1/1 XGBoost 解决多分类问题

通过 Softmax 与多分类损失推导，讲解 XGBoost 由二分类扩展多分类的原理，解决多类别分类建模，掌握目标函数与概率输出，提升梯度提升树应用。

©2026 老孟讲编程 京ICP备2021009384号anbei冀公网安备13050302001966号