普通最小二乘法(OLS)回归是一种优化策略,可帮助在线性回归模型中找到尽可能接近数据点的直线。OLS被认为是线性回归模型最有用的优化策略,因为它可以帮助找到alpha和beta的无偏估计值。
OLS如何应用于线性回归
线性回归是用于监督机器学习任务的一系列算法。由于监督机器学习任务通常分为分类和回归,我们可以将线性回归算法归入后者。由于目标变量的性质,它不同于分类。在分类中,目标是一个分类值。回归涉及数值、连续值作为目标。因此,算法将被要求预测一个连续的数字,而不是一个类或类别。
回归任务可分为两大类:仅使用一个特征来预测目标的任务以及为此目的使用多个特征的任务。
如何在线性回归模型中找到OLS
简单线性回归的目标是找到使误差项最小化的那些参数。更准确地说,该模型将最小化平方误差。事实上,我们不希望我们的积极错误被消极错误所补偿,因为他们同样惩罚我们的模型。此过程称为普通最小二乘(OLS)误差。
总而言之,将OLS视为一种优化策略,从模型中获得一条尽可能接近数据点的直线。尽管OLS不是唯一的优化策略,但它是此类任务中最受欢迎的策略,因为回归(系数)的输出是alpha和beta实际值的无偏估计量。
事实上,根据高斯-马尔可夫定理,在线性回归模型的某些假设下,如参数的线性、观察的随机抽样、条件均值等于零、不存在多重共线性和误差的同方差性,OLS估计量是实际的最佳线性无偏估计值。