先验概率、似然函数、后验概率、贝叶斯公式

本文主要是介绍先验概率、似然函数、后验概率、贝叶斯公式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

转自：http://www.sigvc.org/why/book/3dp/chap10.8.1.htm

联合概率的乘法公式：

（如果随机变量是独立的，则）

由乘法公式可得条件概率公式：，

全概率公式：，其中

（，则可轻易推导出上式）

贝叶斯公式：

又名后验概率公式、逆概率公式：后验概率＝似然函数×先验概率/证据因子。解释如下，假设我们根据“手臂是否很长”这个随机变量（取值为“手臂很长”或“手臂不长”）的观测样本数据来分析远处一个生物是猩猩类别还是人类类别（假设总共只有这2种类别）。我们身处一个人迹罕至的深山老林里，且之前就有很多报道说这里有猩猩出没，所以无需观测样本数据就知道是猩猩的先验概率（Prior Probability）较大，比如根据历史数据估计有70%＝0.7。接着，我们得到了的观测样本数据：“手臂很长”──而猩猩类别表现为这种特征的类条件概率，或者说这种“可能性”即似然（Likelihood）较大，相比于人类表现为“手臂很长”的似然。所以经这次观测之后加强了我们的判断：是一只猩猩的后验概率（Posterior Probability）变得比先验概率更大，超过了之前的70%！反之，如果观测发现这个生物的手臂不长，而猩猩类别表现为“手臂不长”的似然较小，则会减弱我们的判断，是猩猩的后验概率将小于70%。因此，后验概率包含了先验信息以及观测样本数据提供的后验信息，对先验概率进行了修正，更接近真实情况。此外，证据因子（Evidence，也被称为归一化常数）可仅看成一个权值因子，以保证各类别的后验概率总和为1从而满足概率条件。