本文主要是介绍机器学习之SMOTE重采样--解决样本标签不均匀问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一、SMOTE原理
通常在处理分类问题中数据不平衡类别。使用SMOTE算法对其中的少数类别进行过采样,以使其与多数类别的样本数量相当或更接近。SMOTE的全称是Synthetic Minority Over-Sampling Technique 即“人工少数类过采样法”,非直接对少数类进行重采样,而是设计算法来人工合成一些新的少数样本。
二、使用
1.安装库
python提供了就是一个处理不均衡数据的imblearn库;其基于机器学习常用sklearn开发而成,使用方法和sklearn库十分相似,上手非常容易。imblearn库对不平衡数据的主要处理方法主要分为如下四种:
- 欠采样
- 过采样
- 联合采样
- 集成采样
包含了各种常用的不平衡数据处理方法,例如:随机过采样,SMOTE及其变形方法,tom-links欠采样,编辑最近邻欠采样方法等等。
pip3 install imbalanced-learn
2. 使用
安装完之后就可以从imblearn 导出SMOTE算法了:
from imblearn.over_sampling import SMOTEsm = SMOTE(
sampling_strategy = ‘auto’,
random_state = None, ## 随机器设定
k_neighbors = 5, ## 用相近的 5 个样本(中的一个)生成正样本
m_neighbors = 10, ## 当使用 kind={'borderline1', 'borderline2', 'svm'}
out_step = ‘0.5’, ## 当使用 kind = 'svm'
kind = 'regular', ## 随机选取少数类的样本
– borderline1: 最近邻中的随机样本b与该少数类样本a来自于不同的类
– borderline2: 随机样本b可以是属于任何一个类的样本;
– svm:使用支持向量机分类器产生支持向量然后再生成新的少数类样本
svm_estimator = SVC(), ## svm 分类器的选取
n_jobs = 1, ## 使用的例程数,为-1时使用全部CPU
ratio=None
)
仅用正样本的K近邻生成新正样本是正是SMOTE方法,考虑到(SMOTE的最终目的是分清正负样本的边界),所以需要对样本生成进行优化
3. 优化
SMOTE优化bordeline1方法
Dgr = [] # 危险集
for i in 正样本:1) 计算点 i 在训练集 D 上的 m 个最近邻。x = i 的最近邻中属于负样本的数量2) 如果 x = m,则 p 是一个噪声next3) 如果 0 ≤ x ≤ m/2, 则说明p很安全next4) 如果 m/2 ≤ x ≤ m, 那么点p就很危险了,我们需要在这个点附近生成一些新的少数类点Dgr.append(x)
最后,对于每个在危险集(Dgr)中的点,使用SMOTE算法生成新的样本
SMOTE优化 borderline2 方法简述
前面1-4步骤均同 borderline1 方法
在最后进行SMOTE的时候:
采用了 比例分配 生成新样本
for i in Dgr:1) 正样本 K 个近邻2) 负样本 K 个近邻3) 正样本 K 个近邻选取 alpha 比例的样本点 和 i 作随机的线性插值 ==>> 新正样本点4) 负样本K个近邻选取 (1 - alpha) 比例的样本点 和 i 作随机的线性插值 ==>> 新正样本点
三、例子
Original dataset shape Counter({1: 900, 0: 100})
Resampled dataset shape Counter({0: 900, 1: 900})
from imblearn.over_sampling import SMOTE
from sklearn.datasets import make_classification
from collections import Counter
import matplotlib.pyplot as plt# 创建一个不平衡的数据集
X, y = make_classification(n_classes=2, class_sep=2,weights=[0.1, 0.9], n_informative=3, n_redundant=1,flip_y=0, n_features=20, n_clusters_per_class=1,n_samples=1000, random_state=10)print('Original dataset shape %s' % Counter(y))# 使用SMOTE算法平衡数据集
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X, y)print('Resampled dataset shape %s' % Counter(y_resampled))# 可视化原始数据集和平衡后的数据集
plt.figure(figsize=(16, 6))plt.subplot(1, 2, 1)
plt.scatter(X[:, 0], X[:, 1], c=y, marker='o', cmap='coolwarm', alpha=0.6)
plt.title('Original Dataset')plt.subplot(1, 2, 2)
plt.scatter(X_resampled[:, 0], X_resampled[:, 1], c=y_resampled, marker='o', cmap='coolwarm', alpha=0.6)
plt.title('Resampled Dataset')plt.tight_layout()
plt.show()
这个示例中,首先生成一个不平衡的二分类数据集,然后使用SMOTE算法来生成新的合成样本,使得两个类别的样本数量相等。最后原始数据集和平衡后的数据集进行可视化展示。
这篇关于机器学习之SMOTE重采样--解决样本标签不均匀问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!