本文主要是介绍机器学习之样本不均衡,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
样本不平衡问题在很多场景中存在,例如欺诈检测,风控识别,在这些样本中,负样本(一般为存在问题的样本)的数量一般远少于正样本(正常样本)。
上采样(过采样)和下采样(负采样)策略是解决类别不平衡问题的基本方法之一。
上采样即增加少数类样本的数量,对小类的数据样本进行过采样来增加小类的数据样本个数,即采样的个数大于该类样本的个数。
这种方法的缺点是如果样本特征少而可能导致过拟合的问题;
下采样即减少多数类样本以获取相对平衡的数据集,对大类的数据样本进行欠采样来减少大类的数据样本个数,即采样的个数少于该类样本的个数。
这种方法的缺点是会丢失多数类样本中的一些重要信息。
上采样代码
from imblearn.over_sampling import SMOTE
# 定义SMOTE模型,random_state相当于随机数种子的作用
print(Counter(y))
smo = SMOTE(random_state=42)
X_smo, y_smo = smo.fit_sample(X, y)
print(Counter(y_smo))
下采样代码
from imblearn.under_sampling import RandomUnderSampler
# 同理,也可使用ratio来指定下采样的比例
print(Counter(y))
rus = RandomUnderSampler(ratio={0: 500 }, random_state=0)
X_rus, y_rus = rus.fit_sample(X, y)
print(Counter(y_smo))
这篇关于机器学习之样本不均衡的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!