在概率论和信息论中，两个随机变量的互信息衡量了两个变量之间相互依赖的程度。通俗来说可以理解为两个变量交叠的信息，对于两个随机变量，互信息衡量了一个随机变量平均传达了多少关于另一个的信息。 正式地，两个离散随机变量X和Y的互信息可以定义为： 其中是和的联合概率分布函数，而和分别是和的边缘概率函数分布。 在连续随机变量的情形下，求和被替换成了二重定积分： 其中是和的联合概率密度函数，而和分