1. KL散度 KL散度（Kullback-Leibler divergence），也称为相对熵（relative entropy），是由Solomon Kullback和Richard Leibler在1951年引入的一种衡量两个概率分布之间差异的方法。KL散度不是一种距离度量，因为它不满足距离度量的对称性和三角不等式的要求。但是，它仍然被广泛用于量化两个概率分布之间的“接近程度”。 在