随机梯度下降(SGD)可以视为梯度下降优化的随机近似，用估计值代替实际梯度。在高维优化问题中，随机梯度下降可以减少计算负担，以更快的迭代速度换取更低的收敛速度。
随机梯度下降试图解决梯度下降中的主要问题，即使用整个训练数据来计算每一步的梯度。随机梯度下降本质上是随机的，即它在每个步骤中选择训练数据的“随机”实例，然后计算梯度使其更快，因为与梯度下降不同，单次要处理的数据会少很多。
随机梯度下降的随机性质有一个缺点。一旦它接近最小值，它会反弹，而不是稳定下来，这也带来一个很好的模型参数值，但这个参数并不是最优的，不过这可以通过降低每一步的学习率来解决。
梯度下降算法的类型：有批量梯度下降、随机梯度下降、小批量梯度下降。
随机梯度下降的优点
随机梯度下降与梯度下降相比最大的优点就是能够更快的优化算法模型。
举个例子，有一个新建的应用程序，通过收集客户的反馈来改进程序。按照梯度下降的思路是将应用程序提供给第一位客户，然后将他的反馈提供给第二位客户，然后是第三位客户，依此类推。从他们那里收集反馈后，再改进应用程序。那按照随机梯度下降的思路，我们可以在收到第一位客户的反馈后立即改进应用程序，然后再把改进好的应用程序给到第二为客户，以此类推。通过这种方式，就可以更快地改进应用程序了。
随机梯度下降的缺点
尽管随机梯度下降会快很多，但随机梯度下降的收敛路径比原始梯度下降的收敛路径更嘈杂。这是因为在每一步中，它都不是在计算实际的梯度，而是计算一个近似值，所以会看到算法成本会有很大的波动。
但不能否认的是，随机梯度下降可以大大减少遍历所有示例的次数。
