众所周知，反向传播是一种有效且广泛使用的神经网络训练算法。它用于调整网络的权重，以便它可以准确地预测给定输入的输出。该算法的工作原理是将预测输出中的误差传播回网络，调整权重以最小化误差。这个过程是通过计算误差相对于网络权重的梯度，并使用这个梯度来更新权重来完成的。
反向传播是神经网络训练的本质。它是根据前一个epoch(即迭代)得到的错误率微调神经网络权值的方法。适当调整权重可以降低错误率，并通过增加泛化能力使模型可靠。
神经网络中的反向传播是"误差反向传播"的简称。它是训练人工神经网络的标准方法。该方法有助于计算损失函数相对于网络中所有权重的梯度。
反向传播网络的类型
两种类型的反向传播网络是：
- 静态反向传播
- 循环反向传播
静态反向传播
它是一种反向传播网络，它为静态输出生成静态输入的映射。它有助于解决静态分类问题，如光学字符识别。
循环反向传播
数据挖掘中的循环反向传播是前馈的，直到达到固定值。之后，计算误差并向后传播。
这两种方法的主要区别在于：映射在静态反向传播中是快速的，而在递归反向传播中是非静态的。
反向传播要点
- 通过对训练网络影响最小的元素加权链接简化网络结构.
- 需要研究一组输入和激活值，以建立输入层和隐藏单元层之间的关系。
- 有助于评估给定输入变量对网络输出的影响。从这个分析中获得的知识应该用规则来表示。
- 反向传播对于处理容易出错的项目(例如图像或语音识别)的深度神经网络特别有用。
- 反向传播利用链和幂规则允许反向传播对任意数量的输出起作用。
反向传播的主要问题
反向传播存在两个重大挑战。
1、当前的神经网络训练过程与人脑在移动中学习的方式大不相同。反向传播需要完全理解前向传递中执行的计算以计算导数。
2、在强化学习中，它具有高方差，并且学习率必须随着网络中变量的数量而减少，导致学习率缓慢并且难以与反向传播竞争。
