机器学习中的优化技术是用于最小化损失函数或最大化给定模型的目标函数的算法。机器学习模型通常在静态的本地或离线数据集上进行训练。优化提高了预测和分类的准确性，并最大限度地减少了错误。
本文将介绍优化技术涉及到的术语以及几种常见的优化技术。
术语介绍
学习率
学习率是机器学习中的一个超参数，它决定了训练过程中模型参数更新的步长。它表示每次迭代时对参数所做的更改的幅度。学习率可以对模型的收敛性和性能产生重大影响，选择合适的学习率是优化过程的关键部分。
高学习率会导致超过损失函数的最小值，导致模型不稳定。而低学习率会导致优化收敛缓慢或陷入次优解。学习率可以在训练期间固定或动态调整，具体取决于所使用的优化算法。
动量
动量是机器学习和深度学习中一些优化算法的组成部分。它有助于防止优化陷入局部最小值并有助于加速收敛。动量项计算梯度的运行平均值并将其添加到当前梯度更新中，有助于克服振荡并平滑优化过程。
优化算法
梯度下降
梯度下降(GD)是一种用于寻找可微函数最小值的一阶优化算法。梯度下降算法通过在损失函数相对于特定参数的负梯度方向上迭代更新参数来工作。
动量优化
动量优化是一种一阶优化算法，它使用梯度的移动平均值在每次迭代时更新参数。动量优化背后的想法是通过向捕获先前更新方向的更新规则添加动量项来加速收敛。
RMSprop
根据历史平方梯度的平均值调整每个参数的学习率。RMSprop使用平方梯度的移动平均值来归一化梯度的比例并防止学习率爆炸或消失。
Adam
Adam是一种结合动量优化和RMSProp思想的优化算法。Adam使用梯度的一阶和二阶矩的指数移动平均值来调整每个参数的学习率。该算法维护两组参数，梯度的移动平均值（动量）和平方梯度的移动平均值（非中心二阶矩）。
Adam旨在通过结合动量优化和RMSProp的优势来提供快速且稳健的收敛，并且它只需要一组超参数来控制所有参数的学习率。但是，Adam可能对移动平均线的学习率和衰减率的选择很敏感，尤其是对于大型复杂模型。
