Spark Mllib之相关性计算和假设检验

本文主要是介绍Spark Mllib之相关性计算和假设检验，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Spark Mllib之相关性计算和假设检验

原创： 小小虫

一、皮尔逊相关性和斯皮尔曼相关性

1.1 皮尔逊相关性

要理解 Pearson 相关系数，首先要理解协方差（Covariance）。协方差表示两个变量 X，Y 间相互关系的数字特征，其计算公式为：

Pearson 相关系数公式如下：

由公式可知，Pearson 相关系数是用协方差除以两个变量的标准差得到的，虽然协方差能反映两个随机变量的相关程度（协方差大于0的时候表示两者正相关，小于0的时候表示两者负相关），但其数值上受量纲的影响很大，不能简单地从协方差的数值大小给出变量相关程度的判断。为了消除这种量纲的影响，于是就有了相关系数的概念。

这篇关于Spark Mllib之相关性计算和假设检验的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---