决策树算法属于监督学习算法的范畴,适用于连续和分类输出变量,通常会被用于解决分类和回归问题。
决策树是一种类似流程图的树结构,其中每个内部节点表示对属性的测试,每个分支表示测试的结果,每个节点都对应一个类标签。
决策树算法思路
开始,将整个训练集视为根。
对于信息增益,假设属性是分类的,对于基尼指数,假设属性是连续的。
在属性值的基础上,记录被递归地分布。
使用统计方法将属性排序为根节点。
找到最佳属性并将其放在树的根节点上。
现在,将数据集的训练集拆分为子集。在制作子集时,请确保训练数据集的每个子集都应具有相同的属性值。
通过在每个子集上重复1和2来查找所有分支中的叶节点。
Python实现决策树算法
需要经历建设和运营两个阶段:
建设阶段,预处理数据集。使用Python sklearn包从训练和测试中拆分数据集。训练分类器。
运营阶段,作出预测。计算准确度。
数据导入,为了导入和操作数据,我们使用了python中提供的pandas包。
在这里,我们使用的URL直接从UCI站点获取数据集,无需下载数据集。当您尝试在系统上运行此代码时,请确保系统应具有活动的Internet连接。
由于数据集由“,”分隔,所以我们必须将sep参数的值作为传递。
另一件事是注意数据集不包含标头,因此我们将Header参数的值作为none传递。如果我们不传递header参数,那么它将把数据集的第一行视为header。
数据切片,在训练模型之前,我们必须将数据集拆分为训练和测试数据集。
为了分割数据集进行训练和测试,我们使用了sklearn模块train_test_split
首先,我们必须将目标变量与数据集中的属性分开。
X=balance_data.values[:,1:5]
Y=balance_data.values[:,0]
以上是分隔数据集的代码行。变量X包含属性,而变量Y包含数据集的目标变量。
下一步是拆分数据集以用于训练和测试目的。
X_train,X_test,y_train,y_test=train_test_split(
X,Y,test_size=0.3,random_state=100)
上一行拆分数据集以进行训练和测试。由于我们在训练和测试之间以70:30的比例拆分数据集,因此我们将test_size参数的值传递为0.3。
random_state变量是用于随机采样的伪随机数生成器状态。