有自监督和有判别力训练的域外意图检测（Out-of-Scope Intent Detection with Self-Supervision andDiscriminative Training）阅读

open-world（开放世界）领域中时常能够见到如下几个任务：

 OD: Outlier Detection, “离群检测”

Outlier Detection（OD，离群检测） 的任务旨在检测出给定数据集中与其他样本显著不同的样本，其中这种不同既可以来源于covariate shift也可以来源于semantic shift。

 AD: Anomaly Detection, “异常检测”

Anomaly Detection(AD，异常检测)任务旨在找出测试集中所有偏离“预设的正常样本”的异常样本。这种偏移可能是来源于covariate shift或者semantic shift。该任务通常假设另一种偏移类型不存在。这两种不同的样本偏移类型对应着“异常检测”的两个子任务：“感知上的异常检测”sensory AD，和“语义上的异常检测”semantic AD。

 ND: Novelty Detection, “新类检测”

Novelty Detection（ND，新类检测 )的任务旨在找出测试集中不属于训练集中任何类别的“新类”样本，检测到的“新类”样本通常会为下一步增量学习(incremental learning) 提供更多的学习样本，或者作为全新的类型进行探索研究。

OSR: Open Set Recognition, “开集识别”

“开集识别”(Open Set Recognition, OSR)要求多分类器同时达到如下两个要求：（1） 对测试集中属于“已知类别“的进行准确分类；“已知类别”代表训练集中存在的类别。 （2）检测出”未知”类别， “未知类别”不属于训练集中任何类别。

OOD Detection: Out-of-Distribution Detection, “分布外检测

定义：OOD Detection（分布外检测）任务，和新类识别类似，是在找出测试集中不属于训练集中任何类别的“新类”样本。但是在新类识别的基础上，同时完成多分类任务。相比于“开集识别”，“分布外检测”的训练集可以是单类别的也可以是多类别的。

解决方法

解决“广义分布外检测”中各个任务的方法。因为它们各个任务的目标大体相同，各个任务的解法自然也是相似的。解法基本分为四大类：

· Density-based Methods 基于密度估计的方法

· Reconstruction-based Methods 基于重构的方法

· Classification-based Methods 基于分类的方法

· Distance-based Methods 基于距离的方法

1. 使用一个confifidence score，来决定了一个话语超出范围的可能性。eg:
                   m binary Sigmoid classififiers for m known classes
                   respectively and select a threshold to reject OOD
2. 第二组通过重建损失来识别范围外的句子.eg:  
                   build an autoencoder to encode and decode in-scope utterances
                   and obtain reconstruction loss by comparing input embeddings
                   with decoded ones.
3. 利用异常值检测算法。                                                                                                                          eg: local outlier factor (LOF)/robust covariance estimators

Methodology

 问题定义部分，给出问题的定义：给定K个类别，未知意图检测模型去预测一句话中的意图，这句话可能包含的是已经知道的意图或者是未知域的意图。可以总结为是一个（K+1）个类别的意图。

论文作者的方法概述：

本质上是通过利用自监督方法和开放域数据来构建域外的样本从而在训练结果形成一个（K+1）-way的分类任务。同时，作者提出的方法并没有对数据分布进行假设。

接下来从representation learning（表示学习）、construction of pseudo outliers（伪异常值的构建）和discriminative training（鉴别性训练）三个方面对论文提出的方法进行阐述。

representation learning（表示学习）

在这一个部分主要是使用到了Bert这一预训练模型，将特殊分类标记[CLS]的d维输出向量作为语句u的表示。公式如下：（公式非常好理解）

 其中：

BERT 的输入可以包含一个句子对 (句子 A 和句子 B)，也可以是单个句子（句子A）。其中还包括了一些有特殊作用的标志位：（这个可以查阅资料做一下了解）

1. [CLS] 标志放在第一个句子的首位，经过 BERT 得到的的表征向量 C 可以用于后续的分类任务。
2. [SEP] 标志用于分开两个输入句子，例如输入句子 A 和 B，要在句子 A和句子B 后面增加 [SEP] 标志。
3. [UNK]标志指的是未知字符
4. [MASK] 标志用于遮盖句子中的一些单词，将单词用 [MASK] 遮盖之后，再利用 BERT 输出的 [MASK] 向量预测单词是什么。

Construction of Outliers（构建异常值）

论文中构造了两种不同类型的 pseudo outliers（伪异常值 ）用于训练阶段：一种是由自监督产生的 synthetic outliers（合成异常值 ），另一个是很容易获得的open-domain outliers（开放域异常值）。

Synthetic Outliers by Self-Supervision（通过自监督获得的合成异常值）

该方法假设存在的outliers在特征空间中是接近inliers的。基于这个假设提出一个自监督(self-supervised)的方法来生成  “hard” outliers（这里我理解的就是生成的伪异常值）。主要是随机选择两个inliers进行convex combination （凸组合）【此处凸组合是啥我也不清楚】来生成新的 synthetic outliers。

 公式1代表生成的异常值， 是一个从均匀分布中采样的值，公式2代表生成的所有异常值的集合。

Open-Domain Outliers（开放域异常值）

该方法的假设一些容易区分的outliers是远离inliers的，因此在其他kaifang数据集上的样本由于分布不同，可以作为outliers。于是通过模拟真实世界的outliers来构造open-domain outliers。采样的数据集包括SQuaD 2.0，Yelp和IMDB等对话系统数据集。

但是 synthetic outliers在提高训练(K+1)-way的意图分类器的泛化能力方面比open-domain outliers更有效。

Discriminative Training（有判别力的训练）

使用意图标签集训练了一个（K+1）-way的分类器。同时使用了一个多层感知网络作为特征空间中的分类器。【此处我认为可以选择不同的分类器，多层感知网络可能略有些简单，同时要注意这个分类器在论文中提到是需要满足可微条件的】。最终使用一个交叉熵损失来训练模型：

Experiments

Datasets and Baselines

这部分数据集可能以后会用到，码住！

Result  and  Analysis

 Conclusion

我认为本篇论文的方法本质上是一个数据增强(data augment)的方法。主要使用了一个对域内意图(inliers)进行凸组合(convex combination)来构建outliers和采样其他公开数据作为域外意图(outliers)来进行数据增强。

思考：这种增强方法是否可以使用对比学习来代替，尤其是对域内意图进行处理的时候，使用对比学习。