前向分步算法 前向分步算法引入 假设Nick的年龄是25岁。 第1棵决策树 把Nick的年龄设置成初始值0岁去学习，如果第1棵决策树预测Nick的年龄是12岁，即残差值为$25-12=13$ 第2课决策树 把Nick的年龄设置成残差值13岁去学习，如果第2棵决策树能把Nick分到13岁的叶子节点，累加两棵决策树的预测值加和$…
第七篇：前向分步算法
第八篇：拉格朗日对偶性
拉格朗日对偶性 在约束最优化问题中，拉格朗日对偶性(Lagrange duality)可以将原始问题转换为对偶问题，然后通过求解对偶问题的解得到原始问题的解。 原始问题 约束最优化问题 假设$f(x),c_i(x),hj(x)$是定义在$R^n$上的连续可微函数，则约束最优化问题的原始问题为 $$ \…