决策树是一种监督机器学习模型，它使用标记的输入和目标数据来训练模型。决策树通过分支的树状结构表示决策过程。他们根据前几组标签/节点的回答做出决定。它们通过逻辑上易于理解的流程模仿人类思维，让结果和过程更易于理解和解释。与线性模型不同，决策树能够处理变量之间的非线性关系。决策树主要用于解决分类问题，利用模型对一个对象进行分类或分类。在机器学习中，决策树也被用来解决回归问题。
决策树的结构
决策树是使用递归分区构建的。决策树是颠倒绘制的，其根在顶部。根节点以所有训练数据开始。从根节点开始，每个节点都可以拆分为左右子节点。不再分裂的分支末端称为叶/决策。
决策树算法
CART算法
CART是一种处理分类和回归任务的决策树算法。在决策树中，根据属性的阈值将节点拆分为子节点。CART使用基尼指数和方差缩减作为指标来定义该阈值。对于分类回归树，CART使用基尼系数作为度量将数据集拆分为决策树。CART也可以应用于多类特征。对于回归决策树，等同于方差减少的均方误差标准被用作特征选择标准，并使用每个终端节点的平均值来最小化L2损失。
ID3算法
ID3是一种分类决策树算法，它遵循贪婪的方法通过选择产生最大信息增益或最小熵的最佳特征来构建决策树。ID3算法可以在每一步迭代地将特征分成两组或更多组。一般来说，ID3算法多用于没有任何连续变量的分类问题。
相关阅读：决策树算法原理
决策树过度拟合问题
过度拟合是指模型与训练数据的拟合过于紧密，因此在遇到新数据或预测未来结果时可能会变得不太准确。为了适应数据，会不断生成新节点，最终树变得过于复杂而无法解释。决策树对数据的预测很好，但对新数据的预测可能会不准确。
