课程简介
梯度提升树(Gradient Boosting Decision Tree,简称 GBDT)由 Friedman 提出,是集成学习领域的经典算法。 在深度学习尚未兴起的年代,GBDT 几乎是结构化数据建模的首选方案,在很多领域都表现出稳定出色的性能。 即便在今天,许多互联网公司的核心业务仍然高度依赖 GBDT 相关模型(如 XGBoost、LightGBM)。 因此,GBDT 依旧具有极高的学习价值,是每一位数据科学从业者都应深入掌握的重要算法。
梯度提升树(Gradient Boosting Decision Tree,简称 GBDT)由 Friedman 提出,是集成学习领域的经典算法。 在深度学习尚未兴起的年代,GBDT 几乎是结构化数据建模的首选方案,在很多领域都表现出稳定出色的性能。 即便在今天,许多互联网公司的核心业务仍然高度依赖 GBDT 相关模型(如 XGBoost、LightGBM)。 因此,GBDT 依旧具有极高的学习价值,是每一位数据科学从业者都应深入掌握的重要算法。
GBDT 由一个初始策略 + 多个决策树组成,每个决策树叫做弱决策树或者弱学习器,整体叫做强学习器。 1. 预测过程 初始输出:给出一个固定常数作为预测起点(训练后确定) 修正输出:使用训练好的每棵树得到对应的预测修正值(每个输出需要乘以学习率) 累加输出:将初始输出与所有树的输出累加得到最终预测 如果没有学习率,单棵树的输出可能过大,一旦这棵树受到噪声影响,其错误也会影响到到最终预测,导致整体结... 查看完整内容
在 GBDT 的训练过程中,每棵新树的核心任务是拟合前一轮模型的负梯度,以此逐步修正预测误差。要完成这棵树的训练,需明确两个关键问题: 树的分裂规则:如何计算特征分裂时的增益,从而选择最优分裂点? 叶子节点输出:分裂结束后,每个叶子节点应输出什么值,才能最大化误差修正效果? 先看第一个问题:GBDT 训练每棵树的核心目标是精准拟合负梯度、降低整体误差,不需要考虑树的复杂度。因此,选择能直接反映拟合... 查看完整内容
序号特征 1特征 2特征 3标签1-0.587231-1.971718-1.057711021.068339-0.9700730.20886413-1.140215-0.8387920.82254504-0.077445-1.599711-1.220844051.727259-1.185827-1.95967016-2.8953971.9768620.19686107-1.962874-0.992... 查看完整内容
冀公网安备13050302001966号