决策树ID3算法 决策树（decision tree）是一种基本的分类与回归方法，同时由于自身是弱分类器特别适合集成学习，例如随机森林、XgBoost。 本文将通过ID3算法带大家入门决策树，之后会另写文章谈谈C4.5算法和CART分类回归树。 决策树ID3算法学习目标 信息增益 决策树ID3算法流程…
第一节：决策树ID3算法
第二节：决策树C4.5算法
决策树C4.5算法 为了解决决策树ID3算法的不足，ID3算法的作者昆兰基于它的不足改进了决策树ID3算法。但是可能会有人有疑问，既然上一个决策树算法叫做ID3算法，为什么改进版本不叫做ID4或者ID5呢？因为当时决策树过于火爆，有人二次创新把ID4、ID5都用掉了，由此作者另辟蹊径把ID3算法的改进版本称为C4算法，后来C…
第三节：决策树CART算法
决策树CART算法 决策树C4.5算法虽然对决策树ID3算法做了很大的改良，但是缺点也是很明显的，无法处理回归问题、使用较为复杂的熵来作为特征选择的标准、生成的决策树是一颗较为复杂的多叉树结构，CART算法针对这些问题又做了进一步的优化。 决策树CART算法学习目标 基尼指数和熵 CART算法对连续值和特征值的处理 CART…