Cross Entropy

基于相同事件测度的两个概率分布 $p$ 和 $q$ 的交叉熵是指， 当基于一个“非自然”（相对于“真实”分布 $p$ 而言）的概率分布 $q$ 进行编码时， 在事件集合中唯一标识一个事件所需要的平均比特数。

给定两个概率分布 $p$ 和 $q$ ， $p$ 相对于 $q$ 的交叉熵定义为：

$$ \mathcal{H}(p,q)=E_{p}[-\log q] $$

其中 $\mathcal{H}(p)$ 是 $p$ 的# 熵。

对于离散分布 $p$ 和 $q$ ， $$ \mathcal{H}(p,q)=-\sum_{x}p(x)\log{q(x)} $$

大多数情况下，我们需要在不知道分布 $p$ 的情况下计算其交叉熵。 交叉熵的蒙特卡罗估计为： $$ \mathcal{H}(T,q)=-\sum_{i=1}^{N}\frac{1}{N}\log_{2}q(x_i) $$