决策树是一种基于树形结构的分类与回归算法。它通过学习决策规则来对不同样本进行预测。决策树在机器学习中有以下主要应用:
- 分类问题:决策树可以通过学习 categorical 特征与目标值之间的关系,构建分类规则,对新样本进行分类预测。例如判断是否适宜放贷。
- 回归问题:决策树可以通过学习连续特征与目标值之间的关系,构建回归规则,对新样本进行预测。例如预测房价。
- 特征选择:决策树通过学习特征与目标值之间的关系,可以判断特征对预测的重要性。我们可以选择重要性较高的特征。
- 可解释性:决策树通过树形图形显然展示学习的决策规则,这使其结果具有较高的可解释性。我们可以轻易理解其预测原理。
- 处理缺失值:决策树在分裂节点时可以通过选择最优特征与阈值来处理特征的缺失值,无需提前填补缺失值。