机器学习和深度学习模型通常用于解决回归和分类问题。在监督学习问题中，在训练过程中，模型学习如何将输入映射到实际概率输出。而这一过程会涉及到一些损失函数，其中就有交叉熵。
交叉熵是什么
交叉熵是对给定随机变量或事件集的两个概率分布之间差异的度量。
交叉熵作为损失函数通常用于优化分类模型，损失越低，模型越好。因此交叉熵损失是最重要的成本函数。将每个预测类别概率与实际类别期望输出0或1进行比较，并计算损失，根据概率与实际预期值的差距，对于接近1的大差异产生大分数，对于趋于0的小差异产生小分数。在模型训练期间，分数越小，模型越好，完美模型的交叉熵损失为0。
交叉熵的算法最小化
可以通过优化构成模型预测的参数来最小化损失函数。这样做的典型算法方法是在跨越的参数空间上进行梯度下降。
