什么是误差反向传播
误差反向传播法，也称为Backpropagation算法，是一种常用于训练神经网络的方法。它利用链式法则，通过计算神经网络输出和标签之间的误差，将误差逐层反向传播到每个节点，从而计算出每个节点的梯度。这些梯度可以用来更新神经网络的权重和偏置，使网络逐渐接近最优解。
在误差反向传播中，我们使用链式法则来计算梯度。
假设我们有一个神经网络，它有一个输入x，一个输出y，以及一个隐藏层。我们想要通过反向传播来计算隐藏层中每个节点的梯度。
首先，我们需要知道每个节点的误差。对于输出层，这个误差就是实际值与预测值之间的差；对于隐藏层，这个误差是下一层的误差与当前层的权重乘积。
然后，我们使用链式法则来计算梯度。对于每个权重，我们计算它对误差的贡献，然后将这个贡献反向传播到前一层。
具体来说，假设我们的神经网络有一个权重w，它连接两个节点。那么，这个权重对误差的贡献就是权重与误差的乘积。我们将这个贡献反向传播到前一层，即将这个贡献乘以前一层的输出和当前层的输入的乘积。
这样，我们就可以计算出每个节点的梯度，然后使用这些梯度来更新网络的权重和偏置。
误差反向传播的详细步骤
假设我们有一个神经网络，它有一个输入层、一个隐藏层和一个输出层。输入层的激活函数是线性函数，隐藏层的激活函数是sigmoid函数，输出层的激活函数也是sigmoid函数。
前向传播
1.将训练集数据输入到神经网络的输入层，得到输入层的激活值。
2.将输入层的激活值传递到隐藏层，经过sigmoid函数的非线性变换，得到隐藏层的激活值。
3.将隐藏层的激活值传递到输出层，经过sigmoid函数的非线性变换，得到输出层的激活值。
计算误差
使用输出层的激活值和实际标签之间的交叉熵损失来计算误差。具体来说，对于每个样本，计算预测标签和实际标签之间的交叉熵，然后将这个交叉熵乘以对应的样本权重（样本权重通常是根据样本的重要程度和分布情况来确定的）。
反向传播
1.计算输出层每个节点的梯度
根据链式法则，对于每个节点，我们计算它对误差的贡献，然后将这个贡献反向传播到前一层。具体来说，对于每个节点，我们计算它对误差的贡献（即该节点的权重与误差的乘积），然后将这个贡献乘以前一层的输出和当前层的输入的乘积。这样，我们就得到了输出层每个节点的梯度。
2.计算隐藏层每个节点的梯度
同样地，根据链式法则，对于每个节点，我们计算它对误差的贡献，然后将这个贡献反向传播到前一层。具体来说，对于每个节点，我们计算它对误差的贡献（即该节点的权重与误差的乘积），然后将这个贡献乘以前一层的输出和当前层的输入的乘积。这样，我们就得到了隐藏层每个节点的梯度。
3.更新神经网络的权重和偏置
根据梯度下降算法，对于每个权重，我们计算它对误差的梯度，然后将这个梯度乘以一个学习率（即一个可以控制更新速度的参数），得到该权重的更新量。对于每个偏置，我们也需要计算它对误差的梯度，然后将这个梯度乘以一个学习率，得到该偏置的更新量。
迭代训练
重复上述过程（前向传播、计算误差、反向传播、更新参数），直到满足停止准则（例如达到预设的最大迭代次数或者误差达到预设的最小值）。
这就是误差反向传播的详细过程。需要注意的是，在实际应用中，我们通常使用更复杂的神经网络结构和激活函数，以及更复杂的损失函数和学习算法来提高模型的性能和泛化能力。
