决策树总结

ID3算法、C4.5算法和CART算法比较

决策树优缺点

优点

1. 简单明了，生成的决策树很直观，在逻辑上可以得到很好的解释，属于白盒模型。
2. 通常情况下不需要进行数据预处理。
3. 使用决策树预测的代价是$O(\log_2m)\quad\text{m为样本数}$。
4. 很多算法只是专注于离散值或者连续值，而决策树既可以处理离散值也可以处理连续值。
5. 可以处理多维度样本的分类问题。
6. 可以使用交叉验证的剪枝方法来选择模型，很大程度的提高了泛化能力。
7. 对于敏感点的容错能力强。

缺点

1. 决策树算法非常容易过拟合，进而导致泛化能力不强。（可以通过设置节点最少样本数量和限制决策树层数来改进）
2. 决策树会因为样本发生一点的改动，进而导致树结构发生剧烈变化。（可以使用集成学习生成随机森林、Xgboost等方法改善）
3. 通常情况下通过启发式方法寻找最优的决策树，但由于该问题是一个NP难的问题，所以很容易得到局部最优解。（可以使用集成学习生成随机森林、Xgboost等方法改善）
4. 决策树很难学习比较复杂的关系，例如异或。（通常换个分类器解决该类问题，例如使用神经网络分类）
5. 决策树容易偏向于征样本比例偏大的特征。（可以适度的调节样本的权重）