chi-square, McNemar‘ exact, Mantel-Haenszel, Kappa, Fisher exact test区别

1，chi-square test

卡方检验分为三种类型：
1，卡方拟合优度检验。主要用于下面两种情况：1），判断某一组数是否服从某个分布；2），判断某一组数是否以某个期望的频率出现（如果期望的频率服从某个分布，那就跟1一样了）。

零假设H0: 种类1,2，…n发生的概率分别为p1,p2,…pn；

备择假设HA：种类1,2，…n发生的概率不同于H0中的概率。

卡方统计量计算如下：

统计检验过程如下：

例子：

2，卡方独立性检验。适用于对一组数据采用两个不同的分类变量进行分类，检验这两个分类变量是否有相关性。

3，卡方齐性检验。检验几组不同的样本是否来自同一个总体，检验的重点在于比较不同的组。

Note：卡方齐性检验要求两组或者多组样本彼此间是相互独立的

三者区别：卡方拟合优度检验的重点在于某一组数是否服从某个分布。卡方独立性检验只有一组数，但是有两个不同的分类变量。卡方齐性检验有多组不同的数。

举个例子说明卡方独立性检验和卡方齐性检验的区别：

2， McNemar’ exact test

也叫做配对卡方检验。适用于2*2的表格。常用来比较两种机器学习模型的效果是否相同。

3，Mantel-Haenszel test

Mantel-Haenszel test是McNemar’ exact test的泛化，它能用于多个2*2表格的检验。

#### 例子：

4，Kappa test

与McNemar检验一样，可以用来进行两种机器学习模型或两种治疗方法的比较。二者区别：1、Kappa检验旨在评价两种方法是否存在一致性；McNemar检验主要确定两种方法诊断结果是否有差别；2、Kappa检验会利用列联表的全部数据，而McNemar检验只利用“不一致“数据；3、Kappa检验可计算Kappa值用于评价一致性大小，而McNemar检验只能给出两种方法差别是否具有统计学意义的判断。

Kappa值判断标准：Kappa≥0.75，说明两种方法诊断结果一致性较好; 0.4≤Kappa<0.75，说明两种方法诊断结果一致性一般; Kappa<0.4，说明两种方法诊断结果一致性较差。

例子：

5，Fisher exact test

如果2*2的表格中理论频数有一个小于5，则应该用fisher’s exact test，否则，要用chi-square test。

详细过程参考https://blog.csdn.net/linkequa/article/details/88189582