反向传播是学习神经网络时常见的术语之一。它是一种用于神经网络训练的算法，通过从神经元的输出向后移动来调整单个神经元的权重。它涉及调整神经网络输入权重以最小化错误的过程。该过程从为网络随机生成权重开始，然后使用反向传播将它们优化到模型中。
反向传播算法涉及什么？
它是一种监督学习算法，主要用于在训练神经网络时优化权重和偏差。它是从微积分中的链式法则中提取出来的，用于计算损失函数相对于神经网络(NN)权重的梯度。它的工作原理是将错误从输出层向后移动或传播到神经网络，每一层都在根据实现的梯度调整权重。
每个权重的损失函数的梯度用于在梯度的相反方向(Backward)更新权重，也就是使损失函数最小的方向。重复此过程，直到损失函数最小化到某个设定阈值或达到迭代次数。
反向传播算法的工作原理
它通过调整预测输出和实际输出之间的网络权重来最小化误差。开始时，为网络中的每个神经元初始化随机权重。输入被馈送到网络，输出是通过使用网络对输入的权重来计算的。由于该算法是受监督的，因此使用实际输出与预测输出来指导算法应该更新权重的强度。
这是通过获取预测和实际输出之间的误差来完成的。通过使用链式法则，错误通过网络逐层传播回每个神经元。该误差用于得到用于调整每一层中的权重的梯度函数，并重复该过程直到满足要求的条件。
