计算特征相关性的方法，特征提取的方法，如何判断特征是否重要

本文主要是介绍计算特征相关性的方法，特征提取的方法，如何判断特征是否重要，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

计算特征相关性可以用皮尔逊系数

(公式及含义解释：表示两组数据的线性关系程度，取值为[-1,1])，衡量的是变量之间的线性相关性，简单快速，但是只对线性关系敏感，非线性不适合；计算特征相关性的指标还有互信息MIC和距离相关系数(Python gist包)，取值为[0,1]。

特征工程中包含特征选择和特征提取(区别)，特征选择用的是Lasso，OMP，WOMP(特征排序)算法(流程讲清楚)，特征提取用的是PCA降维；构造每维特征与label之间的相关性，衡量特征和相应变量即label之间的关系，计算预测输出和实际输出的误差值，误差小的说明该特征对于拟合建模贡献较大，即说明特征比较重要，常用的有卡方检验。特征选择的wrapper型更符合现在的主流，例如回归模型，SVM，决策树，随机森林等机器学习模型python方法本身就有对特征打分的机制，模型可输出系数，系数越大代表特征越重要。解决的是特征冗余和多重共线性问题。随机森林RF模型的特征选择方法是平均不纯度减少(mean decrease impurity)和平均准确率减少(mean decrease accuracy)：平均不纯度减少在分类时采用的是基尼不纯度或信息增益，在回归时采用的是方差或最小二乘拟合，存在关联特征的打分不稳定的缺点；平均准确率减少采用的是打乱特征的顺序，看对模型准确率的影响。