本文主要是介绍熵的相关概念及相互关系（信息熵，条件熵，相对熵，交叉熵，最大似然估计），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
熵：系统混乱程度的度量，系统越混乱，熵越大。
信息熵：信息量的大小的度量，用于描述随机变量的不确定度。事件的不确定性越大，则信息量越大，信息熵越大。定义如下：
条件熵：表示在已知随机变量X的条件下随机变量Y的不确定性。定义如下：
另外，，说明描述X和Y所需的信息（H(X,Y)
这篇关于熵的相关概念及相互关系（信息熵，条件熵，相对熵，交叉熵，最大似然估计）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
