梯度提升树(GBDT)公式推导 + 实例拆解 | 预测过程+ 训练过程可视化 | 机器学习 + 集成学习
已完成
梯度提升树(GBDT)公式推导 + 实例拆解 | 预测过程+ 训练过程可视化 | 机器学习 + 集成学习

课程简介

梯度提升树(Gradient Boosting Decision Tree,简称 GBDT)由 Friedman 提出,是集成学习领域的经典算法。 在深度学习尚未兴起的年代,GBDT 几乎是结构化数据建模的首选方案,在很多领域都表现出稳定出色的性能。 即便在今天,许多互联网公司的核心业务仍然高度依赖 GBDT 相关模型(如 XGBoost、LightGBM)。 因此,GBDT 依旧具有极高的学习价值,是每一位数据科学从业者都应深入掌握的重要算法。

章节目录
互动留言

1/3 GBDT 梯度提升树(一)基本原理

GBDT 由一个初始策略 + 多个决策树组成,每个决策树叫做弱决策树或者弱学习器,整体叫做强学习器。 1. 预测过程 初始输出:给出一个固定常数作为预测起点(训练后确定) 修正输出:使用训练好的每棵树得到对应的预测修正值(每个输出需要乘以学习率) 累加输出:将初始输出与所有树的输出累加得到最终预测 如果没有学习率,单棵树的输出可能过大,一旦这棵树受到噪声影响,其错误也会影响到到最终预测,导致整体结... 查看完整内容

2/3 GBDT 梯度提升树(二)公式推导

在 GBDT 的训练过程中,每棵新树的核心任务是拟合前一轮模型的负梯度,以此逐步修正预测误差。要完成这棵树的训练,需明确两个关键问题: 树的分裂规则:如何计算特征分裂时的增益,从而选择最优分裂点? 叶子节点输出:分裂结束后,每个叶子节点应输出什么值,才能最大化误差修正效果? 先看第一个问题:GBDT 训练每棵树的核心目标是精准拟合负梯度、降低整体误差,不需要考虑树的复杂度。因此,选择能直接反映拟合... 查看完整内容

3/3 GBDT 梯度提升树(三)计算案例

序号特征 1特征 2特征 3标签1-0.587231-1.971718-1.057711021.068339-0.9700730.20886413-1.140215-0.8387920.82254504-0.077445-1.599711-1.220844051.727259-1.185827-1.95967016-2.8953971.9768620.19686107-1.962874-0.992... 查看完整内容