随机森林产生大量分类树,将输入向量放在森林中的每棵树下,根据输入向量对新对象进行分类。每棵树都分配了一个分类,我们将其称为树的“投票”,森林会选择最高票数的分类。
以上是随机森林的介绍,接下来我们来看看随机森林算法的工作流程。
第1步:首先从数据集中选择随机样本。
第2步:对于每个样本,该算法将创建一个决策树。然后将获得每个决策树的预测结果。
第3步:将对这一步中的每个预期结果进行投票。
第4步:最后选择得票最多的预测结果作为最终的预测结果。
随机森林方法的优点
- 通过平均或整合不同决策树的输出,它解决了过度拟合的问题。
- 对于范围广泛的数据项,随机森林比单个决策树表现更好。
- 即使缺少大量数据,随机森林算法也能保持高精度。
机器学习中随机森林的特点
- 目前可用的最准确的算法。
- 适用于庞大的数据库。
- 可以处理数以万计的输入变量而不删除其中任何一个。
- 计算分类中几个变量的重要性。
- 随着森林的增长,它会生成泛化误差的内部无偏估计。
- 为猜测丢失的数据提供了一个很好的策略,即使在大量数据丢失的情况下也能保持其准确性。
- 包括用于平衡类人群中不均匀数据集的不准确性的方法。
- 创建的森林可以在将来保存并用于其他数据。
- 创建原型以显示变量和分类之间的关系。
- 计算示例对之间的距离,这对于聚类、检测异常值或提供引人入胜的数据视图(按比例)很有用。
- 未标记的数据可用于使用上述功能创建无监督聚类、数据可视化和异常值识别。
- 提供了一种通过实验寻找可变相互作用的机制。
当我们在具有特定特征的数据集上训练随机森林模型时,得到的模型对象可以告诉我们哪些特征在训练过程中最相关,即哪些特征对目标变量的影响最大。该变量的重要性是针对随机森林中每棵树确定的,然后在整个森林中取平均值以生成每个特征的单个度量。可以使用此度量按相关性对特征进行排序,并仅使用这些特征重新训练我们的随机森林模型。