交叉熵、KL散度、JS散度

本文主要是介绍交叉熵、KL散度、JS散度，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

信息量

符号$x$的信息量定义为$x$出现概率的倒数，单位比特
$$I(x)=\log \frac{1}{P(x)}$$

熵

平均信息量
$$H(P)=\sum P(x)\log \frac{1}{P(x)}$$

交叉熵

$$H(P,Q)=\sum P(x)\log \frac{1}{Q(x)}$$

相对熵（KL散度）

$$D_{KL}(P||Q)=H(P,Q)-H(P)=\sum P(x)\log \frac{P(x)}{Q(x)}$$

JS散度

$$D_{JS}(P||Q)=\frac{1}{2}{D}_{KL}(P||\frac{P+Q}{2})+\frac{1}{2}{D}_{KL}(Q||\frac{P+Q}{2})$$

这篇关于交叉熵、KL散度、JS散度的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---