最近需要比较两个集合的KL散度，特意翻了一下PRML中的相关章节，做个小结。如果不够的化还得翻information theory的书TAT 离散随机变量的信息量 首先从最简单的离散随机变量 X ∈ { x 1 , x 2 , . . . x M } X\in\{x_1,x_2,...x_M\} X∈{x1​,x2​,...xM​}说起，假设 P r ( x i ) = p i Pr(x_i)