数据拆分中训练集、验证集和测试集(数据拆分的技术和陷阱)

发布:2022-12-13 16:45:40
阅读:1921
作者:网络整理
分享:复制链接

要构建可靠的机器学习模型,需要将数据集拆分为训练集、验证集和测试集。本文详细介绍数据拆分中训练集、验证集和测试集的概念,数据拆分的技术和陷阱。

训练集、验证集和测试集

训练集

训练集是用于训练和使模型学习数据中隐藏的特征/模式的数据集。

在每个epoch中,相同的训练数据被重复输入神经网络架构,模型继续学习数据的特征。

训练集应该具有多样化的输入集,以便模型在所有场景下都得到训练,并且可以预测未来可能出现的数据样本。

验证集

验证集是一组数据,与训练集分开,用于在训练期间验证模型性能。

此验证过程提供的信息可帮助调整模型的超参数和配置。该模型在训练集上进行训练,同时,在每个epoch之后对验证集进行模型评估。

将数据集拆分为验证集的主要目的是防止模型过度拟合,即该模型非常擅长对训练集中的样本进行分类,但不能对没有见过的数据进行泛化和准确分类。

测试集

测试集是一组单独的数据,用于在完成训练后测试模型。它在准确度、精确度等方面提供了一个无偏的最终模型性能指标。简单来说,测试集可反映出模型的性能。

如何拆分数据集

在数据集中创建不同的样本和拆分有助于判断真实模型的性能。数据集拆分率取决于数据集中存在的样本数量和模型。

数据集拆分常见推论

如果有多个超参数需要调整,机器学习模型需要更大的验证集来优化模型性能。同样,如果模型的超参数较少或没有超参数,则可以很容易地使用一小组数据来验证模型。

如果模型用例导致错误预测会严重影响模型性能,则最好在每个时期后验证模型以使模型学习不同的场景。

随着数据维度/特征的增加,神经网络函数的超参数也随之增加,使得模型更加复杂。在这些情况下,应将大量数据与验证集一起保存在训练集中。

数据拆分的技术

1.随机抽样

随机抽样是最古老和最流行的划分数据集的方法。顾名思义,数据集被打乱,样本被随机挑选并根据用户给出的百分比放入训练、验证或测试集中。

然而,这种方法有一个明显的缺点。随机抽样在类平衡数据集上效果最佳,即每个数据集类别中样本数量大致相同的数据集。在类不平衡数据集的情况下,这种数据拆分方法可能会产生偏差。

2.分层抽样

分层抽样缓解具有不平衡类分布的数据集中的随机抽样问题。可以保留每个训练集、验证集和测试集中的类分布。分层抽样是一种更公平的数据拆分方式。

3.交叉验证

交叉验证或K-Fold交叉验证是一种更强大的数据拆分技术,其中对不同样本训练和评估模型“K”次。

使用K-Fold交叉验证将机器学习模型暴露给不同的数据分布。一定程度上减轻了在训练和验证集中选择数据时可能出现的偏差。在使用K-Fold交叉验证方案时,通常会报告平均值和标准偏差值。

因此K-Fold交叉验证也存在与随机抽样相同的问题,数据分布可能会出现偏差。可以使用分层,在生成数据的“K”个子集或部分时,保持数据的类比。

数据拆分中的常见陷阱

1.使用低质量的训练数据

由于机器学习算法对训练数据很敏感,即使训练集中的微小变化/错误也会导致模型性能出现重大错误。因此训练数据的质量对于提高模型性能至关重要。

2.过拟合

当机器学习模型无法对未知的数据进行分类时,就会发生过度拟合。训练数据中的噪声或波动被视为特征并由模型学习。这导致模型在训练集中表现出色,但在验证和测试集中表现不佳。

3.过分强调验证和测试集指标

验证集度量是决定模型训练路径的度量。在每个时期之后,机器学习模型都会在验证集上进行评估。根据验证集指标,计算相应的损失项,修改超参数。应选择指标,以便它们对模型性能的整体轨迹产生积极影响。

扫码进群
微信群
免费体验AI服务