Cross Entropy

基于相同事件测度的两个概率分布 $p$ 和 $q$ 的交叉熵是指， 当基于一个“非自然”（相对于“真实”分布 $p$ 而言）的概率分布 $q$ 进行编码时， 在事件集合中唯一标识一个事件所需要的平均比特数。

给定两个概率分布 $p$ 和 $q$ ， $p$ 相对于 $q$ 的交叉熵定义为：

$$\mathcal{H}(p,q)=E_p[-\log q]$$

其中 $\mathcal{H}(p)$ 是 $p$ 的熵。

对于离散分布 $p$ 和 $q$ ，

$$\mathcal{H}(p,q)=-\sum _{x}p(x)\log q(x)$$

大多数情况下，我们需要在不知道分布 $p$ 的情况下计算其交叉熵。 交叉熵的蒙特卡罗估计为：

$$\mathcal{H}(T,q)=-\sum _{i=1}^N\frac{1}{N}{\log }_{2}q(x_i)$$