深度学习中的损失函数用于衡量神经网络模型的性能。在神经网络内部可能发生两种数学运算，即前向传播和梯度下降反向传播。而无论是哪种运算，神经网络的唯一目标是最小化损失函数。这是因为最小化损失函数会自动导致神经网络模型做出更好的预测。
接着上文，神经网络的两种数字运算。前向传播是指预测给定输入向量的输出的计算过程，而反向传播和梯度下降描述的是改进网络的权重和偏差以做出更好预测的过程。
通常神经网络无需使用特定于任务的规则进行显式编程即可解决任务。因为最小化损失函数的目标是普遍的，不依赖于任务或环境。
因此，我们需要对损失函数做更深入的了解。也就是说，我们仍需选择正确的损失函数。而知道这三个损失函数就可以解决几乎所有问题。
神经网络中损失函数的3种主要类型
- 均方误差损失函数
- 交叉熵损失函数
- 平均绝对百分比误差
1.均方误差损失函数
均方误差(MSE)损失函数是预测向量中的条目与实际真值向量之间的平方差之和。
2.交叉熵损失函数
回归和分类是前馈网络广受欢迎的两个领域。在分类任务中，我们处理概率预测，这意味着神经网络的输出必须在0和1之间的范围内。而可以衡量预测概率与代表实际类别的标签之间的误差的损失函数称为交叉熵损失函数。
3.平均绝对百分比误差
最后，我们来看看平均绝对百分比误差(MAPE)损失函数。这种损失函数在深度学习中并没有得到太多关注。在大多数情况下，我们用它来衡量神经网络在需求预测任务中的性能。
知道损失函数后，在使用损失函数时，请记住以下关键原则。
损失函数使用原则
1、损失函数衡量神经网络模型在执行特定任务时的好坏程度。为了使神经网络更好，我们必须在反向传播步骤中最小化损失函数的值。
2、当使用神经网络预测概率时，只在分类任务中使用交叉熵损失函数。
3、对于回归任务，想让网络预测连续数时，就必须使用均方误差损失函数。
4、我们在需求预测期间使用平均绝对百分比误差损失函数来关注网络在训练期间的性能。
