一类学习（OCSVM）

本文主要是介绍一类学习（OCSVM），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

20201102 -

0. 引言

我记得我第一次接触一类学习的时候，是在一本讲解异常流量的书上。大概18年的时候，当时有一个需求，就是所处的场景下，只能拥有一类数据，而其他类的数据，要不获取不到，要不获取了也不具备什么代表性，总体上就是这么一个场景。由此接触到了一类学习，而一类学习中，比较著名的就是基于SVM的解决方法，关于SVM的讲解，可以看博客中另外一篇文章《支持向量机SVM的学习》，那么本篇文章就来具体讲讲一类SVM是一个什么套路。

本篇文章主要参考了两篇国外的博客来进行学习，分别是数学原理角度和代码角度，而且第二篇文章是从一类学习应对非均衡数据样本的情况的角度，下面开始。

1. 一类SVM原理简单介绍

该部分主要参考文章[1]，强烈建议读者阅读原文，跟着原作者的思路来学习。

1.1 一类SVM的应用场景

一般来说，普通机器学习的方法都是针对二分类或者多分类，通过不同的模型，依赖于不同的方法，寻找类别之间的分界面，从而实现最终的分类效果。但是有时候，你只拥有一类数据，或者说其他类别的数据非常少（异常检测场景，或者说样本不均衡场景），此时如何来应对呢？当然非均衡样本数据场景下还有别的解决方案，那么针对只有一类数据的场景，怎么办，正如前面引言中所说，此时可以使用一类学习的方法。
需要注意的是，一类学习是指训练过程中，只有一类数据，通过算法寻求出可以代表这部分数据的模型，从而在检测过程中，输出数据样本是否属于该类别。

1.2 一类SVM的实现方法

在文章[1]中，要具体学习一类SVM的话，需要SVM的知识，特别是目标函数最终的结果等内容。这里再简单记录一下。下面的公式是带有核函数的软边界SVM：
$\mathop{\text {min}}\limits_{w,b,\xi_i} \frac{\|w\|^2}{2}+C\sum_{i=1}^{n}\xi_i \\ \text {subject to:} \\ y_i(w^T\phi(x_i)+b)\geq1-\xi_i\qquad \text{for all} \quad i=1,...,n \\ \phi_i\geq0 \qquad\text{for all} \quad i= 1,...,n$
通过拉格朗日算子来解决这个最小化问题，最终的决策函数为
$f(x)=\text{sgn}(\sum_{i=1}^{n}\alpha_i y_iK(x,x_i)+b)$

1.2.1 OSSVM（ $\nu-\text{SVM}$ ）

第一种一类SVM的实现方法，通过将数据与原始空间的原点进行分开，同时最大化生成的超平面和原点的距离。此时的二次编程最小化问题变为了：
$\mathop{\text {min}}\limits_{w,\xi_i,\rho}\frac{1}{2}\|w\|^2+\frac{1}{\nu n}\sum_{i=1}^{n}\xi_i-\rho \\ \text {subject to:} \\ (w\cdot \phi(x_i))\geq\rho-\xi_i \qquad \text{for all}\quad i =1,..,n \\ \xi_i\geq 0 \qquad\text{for all}\quad i = 1,...,n$
在原始的SVM计算过程中， $C$ 负责控制平滑度，而在上述公式中，由 $\nu$ 来负责这个工作：

控制了异常点的比例上限（训练数据中）
同时还是训练数据中作为支持向量的数据量的下届

因此这种方法也被称为 $\nu-\text{SVM}$ ，不过我在很多论文中，看到他被称为OCSVM。在使用拉格朗四算子来解决这个问题的时候，得到的决策函数如下：
$f(x)=\text {sgn}((w\cdot\phi(x_i)) - \rho)=\text {sng}(\sum_{i=1}^{n}\alpha_i K(x,x_i)-\rho)$
还是那句话，这种方法是找到一个超平面，而这个超平面拥有着与原始空间中原点最远的距离。通过控制 $\nu$ 来调整异常点的比例。之前的时候，做实验的时候也调整过这部分内容，这个参数并不是那么容易调整。

1.2.2 SVDD

另一种一类SVM的方法是创建一个能够包围全部数据的曲面，在三维空间中就是一个超球体，该方法全称叫做Support Vector Data Description(SVDD)，通过获取一个能够环绕数据的球形边界，最终训练目标是最小化这个超球体的体积，从而减少异常点被包围在内的数量。
那么，用数学原理来描述，就是要找到一个超球体，这个超球体通过两个参数控制：中心位置 $\textbf a$ 和半径 $R$ ，这个半径就是中心到在边界上支持向量的距离。类似前面原始的SVM，该方法通过所有的数据点到达中心的距离都小于 $R$ ，为了实现软边界分类，通过变量 $\xi_i$ 和惩罚因子 $C$ 来控制。此时最小化的问题为：
$\mathop {\text min}\limits_{R,\textbf a}R^2+C\sum_{i=1}^{n}\xi_i \\ \text {subject to:}\\ \|x_i-\text a\|^2\leq R^2+\xi_i \qquad \text {for all}\quad i = 1,...,n \\ \xi_i\geq0 \qquad \text {for all}\quad i = 1,...,n$
当利用拉格朗日算子解决上述问题之后，新的数据点 $z$ 将通过是否小于等于半径来实现，通过高斯核来作为距离函数，那么决策函数如下：
$\|z-\textbf x\|^2=\sum_{i=1}^{n}\alpha_i \exp\left(\frac{-\|z-x_i\|^2}{\sigma^2}\right)\geq-\frac{R^2}{2}+C_R$
在之前的论文还是某些文章中看到过，当使用高斯核的时候，SVDD和OCSVM是等价的，但是这个需要再权威的书籍确认下。

1.2.3 小节

在文章[1]的后面，就是利用matlab进行编程了，由于对matlab并不熟悉，这里不再展开。从这里基本上已经明白了大致的原理。不过，因为OCSVM在sklearn中是直接存在的，但SVDD并没有，可能需要别的库来实现。
不过，还是要说，这里仅仅是记录了公式，也没有展开分析，后续还是要找一些相关文章，看看他们推导的过程，不需要记住，但是知道有这样一个过程也足够了。

2. 基于一类SVM的异常点检测方法（从非均衡样本切入）

该部分主要参考文章[2]，这篇文章的视角并不是从数学原理上来介绍，算是一篇实践的文章；而且他切入问题的视角，是为了解决样本分布不均衡问题。这篇文章好的原因，是因为他把样本不均衡的问题进行了大致的解释，而且逐步通过多种方法实现了对比，这样的学习路径就更轻松，也更容易让人接收。

2.1 样本不均衡问题

样本不均衡问题很常见，最直观的例子就是异常检测，一般正常的数据比较读，而异常数据相对来说比较少。假设两种数据都有了标签，那么就可以通过传统的监督方法来实现分类，但是这种方式非常容易造成一个假象，那就是分类器的性能非常好；这种假象就是因为某个类别的数量特别多造成的，而他自己因为数量优势把整体的性能硬性提高了，实际上数量比较少的类别可能直接全军覆没了。（这仅仅是直观感受，还是要通过实际的数据来查看，但大致上是这么个原理。）特别是当这个不均衡比例非常大的时候，这种情况就更明显了。
一般来说，处理这种样本不均衡的问题，通常有三种手段：

为类别设置权值，数量小的类别权值大（权值体现在误分类导致的损失大小）
通过降采样或者升采样的手段重新均衡数据集
利用异常检测的算法

2.2 前两种方法的效果

文章[2]是通过一个金融数据来进行检测，其中包括五个特征，一个标签标识是否为异常，其中异常的数据占比大概为2%左右，非常不均衡的数据。那么先来训练一个罗切斯特回归的模型，来看看他的AUC效果。
在这里插入图片描述
看起来好像挺好，但是实际上，可以查看他的混淆矩阵，如下图。

仅仅由28%的异常数据被准确识别，这样的小姑是无法接受的。

2.2.1 类别加权值

clf = LogisticRegression(class_weight={0:1,1:5})

通过调整这个数值比例，能够出现这个异常类别识别效果提升的过程。但当提升到一定程度的时候，发现这种方法最然提高了异常类别的识别履，但是最终也导致正常的识别性能下降。

2.2.2 均衡数据集

from imblearn.under_sampling import RandomUnderSampler 
rus = RandomUnderSampler() 
X_resampled, y_resampled = rus.fit_sample(X_train, y_train) 
clf = LogisticRegression() 
clf.fit(X_resampled, y_resampled)

通过一个专门的库来进行降采样和升采样的操作。需要注意的是，一定要再分开数据集之后再进行这个操作。但是实际上这种操作并不能缓解这个数据的问题。本质上是因为，这种操作在导致这个数据发生了重叠。
在这里插入图片描述
所以说，并不是这个方法不对，而是并不适合这个数据集。文章给出了解释说，只有两个类被之间存在着明显的平面划分时才会有效果。

2.3 一类学习SVM

为了使用OCSVM，文章首先查看了两两组合的数据分布图，如下：
在这里插入图片描述
在上图中的第五个图中，两种颜色的点都混合在了一起，文章给出解释，说这样的特征就不具备一定的预测性；但是我比较持怀疑态度，虽然从他们两个组合在一起呈现出来混合的状态，但是这两个特征和其他特征一起看的时候，还是有效果的，所以我不是很赞同他的说法。但还是看他的效果怎么样。一类学习的模型仅仅需要一个类别的数据，那么这里使用正常数据来训练，而且结合前面说的特征不行的问题，这里将这两个特征去掉，代码如下：

from sklearn.svm import OneClassSVM 
train, test = train_test_split(data, test_size=.2) 
train_normal = train[train['y']==0] 
train_outliers = train[train['y']==1] 
outlier_prop = len(train_outliers) / len(train_normal) 
svm = OneClassSVM(kernel='rbf', nu=outlier_prop, gamma=0.000001) svm.fit(train_normal[['x1','x4','x5']])

这里调整的参数是nu，也就是前面公式的 $\nu$ ，直接设置为了整体训练数据的这个异常比例，其实我感觉这样设置是不对的，因为实际上，训练过程的数据中，并没有异常的内容，这里持怀疑态度。

#绘制原始异常数据
x = test['x1'] 
y = test['x4'] 
plt.scatter(x, y, alpha=0.7, c=test['y']) 
plt.xlabel('x1') 
plt.ylabel('x4')#绘制预测效果数据
x = test['x1'] 
y = test['x4'] 
y_pred = svm.predict(test[['x1','x4','x5']]) 
colors = np.array(['#377eb8', '#ff7f00']) 
plt.scatter(x, y, alpha=0.7, c=colors[(y_pred + 1) // 2]) plt.xlabel('x1') 
plt.ylabel('x4')