在 GBDT 的训练过程中，每棵新树的核心任务是拟合前一轮模型的负梯度，以此逐步修正预测误差。要完成这棵树的训练，需明确两个关键问题：

树的分裂规则：如何计算特征分裂时的增益，从而选择最优分裂点？
叶子节点输出：分裂结束后，每个叶子节点应输出什么值，才能最大化误差修正效果？

先看第一个问题：GBDT 训练每棵树的核心目标是精准拟合负梯度、降低整体误差，不需要考虑树的复杂度。因此，选择能直接反映拟合效果提升的分裂增益指标即可，常用的有平方误差（squared_error）或弗里德曼均方误差（friedman_mse），scikit-learn 等工具默认采用 friedman_mse，这一步无需额外推导公式，直接选用成熟指标即可。

再看第二个问题：叶子节点输出值的确定，这是 GBDT 训练的关键难点，且结果与损失函数直接相关，不能一概而论：

若使用平方损失函数，情况较简单，叶子节点的最优输出值，等价于该节点内所有样本负梯度的均值。
若使用非平方损失函数（如 log loss），则无法直接用负梯度均值作为最优输出。此时必须通过最小化该叶子节点内所有样本的累计损失来求解最优值。
这一步是需要推导的。

简单来说：分裂增益的选择是 “选工具”，优先挑能高效拟合负梯度的成熟方法。而叶子节点输出是 “定结果”，必须贴合损失函数的特性，平方损失有简洁结论，非平方损失则需通过损失最小化单独求解。

1. 目标函数

公式表示，所有训练样本的损失总和。

公式表示，模型的预测结果 \( \hat{y} \) 等于 \( m-1 \) 树的输出结果 + 当前树 \(f_{m}\)的输出结果。

我们通过一个例子来理解损失函数：假设目标值为 100、初始预测值为 20，此时初始损失为 6400。后续每新增一棵树，都会通过拟合负梯度的方式，最终实现损失函数的最小化。

轮次	拟合残差	实际输出	总预测更新	当前损失	损失下降幅度	说明
第 1 棵树	80	30	50	2500	-3900	损失大幅下降
第 2 棵树	50	10	60	1600	-900	损失持续下降
第 3 棵树	40	30	90	100	-1500	损失进一步下降

后续树循环拟合剩余残差，总预测逐步逼近目标值，总损失持续向 0 收敛。

优化目标：确定每棵新树 \(f_{m}\) 如何输出（叶子节点输出值），能够最小化损失函数。

2. 泰勒展开

由于 \( l \) 可能是任意复杂的非线性函数，并且我们要优化的 \( f_{m}(x) \) 是整个损失函数内部的一部分，直接对 \( f_{m}(x) \) 优化不现实。所以，我们使用泰勒二阶展开将损失函数近似成一个关于 \( f_{m}(x) \) 的二次函数，这样就能继续优化 \(f_{m}\)。

泰勒二阶展开是利用损失函数在某个已知点、以及其一阶导和二阶导信息，近似表示加入新树后损失表示。泰勒二阶展开公式如下：