《机器学习实战》 ──   Machine learning in action

现在，如果每个结果的实际概率为p_i 却有人将概率估计为q_i 怎么办。在这种情况下，每个事件都将以p_i的概率发生，但是公式里的自信息就要改成q_i（因为人们以为结果的概率是q_i ）。现在，在这种情况下，加权平均自信息就变为了交叉熵c，它可以写成：

交叉熵总是大于熵，并且仅在以下情况下才与熵相同 p_i=q_i ，你可以观看 https://www.desmos.com/calculator/zytm2sf56e 的插图来帮助理解。