本文主要是介绍信息量，信息熵，信息增益概念的理解和计算，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
信息量，信息熵，信息增益概念的理解和计算
- 信息量
- 信息熵
- 信息增益
- 条件熵
你好！让我们聊一聊 信息量，信息熵，信息增益的概念和公式，这对以后学习决策树会有很大的帮助。
信息量
某个具体事件发生的产生的信息量往往和他发生的概率成反比，即发生的概率越小，产生的信息量越大。
信息熵
信息熵是随机变量所有取值的均值之和，信息熵是正数，信息熵越小，表示事情的不确定性越小，熵的计算公式如下：
信息增益
信息增益=信息熵-条件熵
信息熵指在一个待分类集合熵值
条件熵指在一个按照某个特征分类后，分别计算每个类别的熵值，按照特征分类比例求出的均值
信息增益代表在某个特征的条件下，事件发生的不确定性减少的程度，那下面我们就介绍条件熵和他的计算公式。
信息增益计算公式：
条件熵
条件熵是在某个特征条件下按照概率某个条件分类之后的分别计算熵，在计算出的均值
`
这篇关于信息量，信息熵，信息增益概念的理解和计算的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
