《机器学习实战》 ──   Machine learning in action

紫色线代表蓝色曲线下的面积，估计概率分布（橙色线），实际概率分布（红色线）

在上面我提到的图中，你会注意到，随着估计的概率分布偏离实际/期望的概率分布，交叉熵增加，反之亦然。因此，我们可以说，最小化交叉熵将使我们更接近实际/期望的分布，这就是我们想要的。这就是为什么我们尝试降低交叉熵，以使我们的预测概率分布最终接近实际分布的原因。因此，我们得到交叉熵损失的公式为：

在只有两个类的二分类问题的情况下，我们将其命名为二分类交叉熵损失，以上公式变为：