梯度提升树

  梯度提升树(gradien boosting decision tree，GBDT)在工业上用途广泛，属于最流行、最实用的算法之一，梯度提升树可以看成是提升树的优化版。

梯度提升树学习目标

1. 梯度提升树和提升树
2. 回归梯度提升树流程
3. 梯度提升树优缺点

梯度提升树详解

梯度提升树和提升树

  梯度提升树其实流程和提升树差不多，但是在损失函数拟合方面，提升树损失函数拟合用的是平方损失，而梯度提升树则是使用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个回归树。

  第$t$轮第$i$样本的损失函数的负梯度表示为
$$
r_{ti}=-{[\frac{\partial{L(y_i,f(x_i))}}{\partial{f(xi)}}]}{f(x)=f_{t-1}(x)}
$$
  利用$(xi,r{ti}),\quad(i=1,2,\cdots,m)$，我们可以拟合一颗CART回归树，得到了第$t$棵回归树，它对应的叶节点区域为$R_{tj},\quad(j=1,2,\cdots,J)$，其中$J$为叶子节点数。

回归梯度提升树流程

输入

  有$m$个数据$n$个特征的训练数据集$T={(x_,y_1),(x_2,y_2),\cdots,(x_m,y_m)}$，损失函数为$L(y,f(x))$。

输出

  回归树$\hat{f(x)}$。

流程