本文主要是介绍机器学习-有监督学习-分类算法：最大熵模型【迭代过程计算量巨大，实际应用比较难；scikit-learn甚至都没有最大熵模型对应的类库】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了。
- 它和逻辑回归类似，都是属于对数线性分类模型。
- 在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。
- 而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。
理解了最大熵模型，对逻辑回归，支持向量机以及决策树算法都会加深理解。本文就对最大熵模型的原理做一个小结。
一、熵和条件熵
熵度量了事物的不确定性，越不确定的事物，它的熵就越大。具体的，随机变量X的熵的表达式如下：
H ( X ) = − ∑
这篇关于机器学习-有监督学习-分类算法：最大熵模型【迭代过程计算量巨大，实际应用比较难；scikit-learn甚至都没有最大熵模型对应的类库】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
