第二篇:梯度提升树

梯度提升树

  梯度提升树(gradien boosting decision tree,GBDT)在工业上用途广泛,属于最流行、最实用的算法之一,梯度提升树可以看成是提升树的优化版。

梯度提升树学习目标

  1. 梯度提升树和提升树
  2. 回归梯度提升树流程
  3. 梯度提升树优缺点

梯度提升树详解

梯度提升树和提升树

  梯度提升树其实流程和提升树差不多,但是在损失函数拟合方面,提升树损失函数拟合用的是平方损失,而梯度提升树则是使用损失函数的负梯度来拟合本轮损失的近似值,进而拟合一个回归树。

  第$t$轮第$i$样本的损失函数的负梯度表示为
$$
r_{ti}=-{[\frac{\partial{L(y_i,f(x_i))}}{\partial{f(xi)}}]}{f(x)=f_{t-1}(x)}
$$
  利用$(xi,r{ti}),\quad(i=1,2,\cdots,m)$,我们可以拟合一颗CART回归树,得到了第$t$棵回归树,它对应的叶节点区域为$R_{tj},\quad(j=1,2,\cdots,J)$,其中$J$为叶子节点数。

回归梯度提升树流程

输入

  有$m$个数据$n$个特征的训练数据集$T={(x_,y_1),(x_2,y_2),\cdots,(x_m,y_m)}$,损失函数为$L(y,f(x))$。

输出

  回归树$\hat{f(x)}$。

流程

联系管理员微信tutu19192010,注册账号

上一篇
下一篇
Copyright © 2022 Egon的技术星球 egonlin.com 版权所有 帮助IT小伙伴学到真正的技术