RoNID：通过生成可靠标签与聚类友好型表征来实现新意图的发现

论文地址：https://arxiv.org/abs/2404.08977

原文地址：intents-are-not-going-away-ronid-is-a-new-intent-discovery-framework

2024 年 4 月 26 日

问题

传统的聊天机器人系统严重依赖意图。意图完全基于预先定义的（通常是经过深思熟虑的）假设，即用户想要进行的对话。

因此，传统意图的能力有限，只能识别预定义和受限的意图类别。解决聊天机器人这一问题的尝试包括域外检测和知识库回退，这些方法最近已演变成 RAG 方法。

新的用户意图不断从面向客户的实施中出现，这些新意图通常来自向组织引入的新产品和服务。或者系统故障、产品缺陷或产品或服务上线问题等等。

这些新的意图需要动态地发现和聚集。 RoNiD 旨在创建一个框架，其中通过弱监督包括 RLHF，在该框架中识别新意图并确认伪标签。

介绍

该研究的重点是建立可靠的伪标签并获得聚类友好的判别表示。

使用的两个模型是：

1. 可靠的伪标签生成模块
2. 聚类友好的表示学习模块。

文本描述了一个名为 RoNID 的过程，它生成可靠的合成标签和聚类友好的表示。

简单来说，这意味着 RoNID 创建准确的标签并以更易于理解的方式组织数据。这是通过两个主要步骤完成的：

标签生成

RoNID通过解决特定问题为数据分配准确的标签；这有助于为进一步分析提供明确的指导。

表征学习

RoNID 组织数据，以便相似的项目被分组在一起（聚类紧凑性），而不同的组被很好地分开（聚类间分离）。此步骤可以更轻松地查看数据中的模式和差异。

通过重复这些步骤，RoNID 创建了一个具有准确标签和组织良好的数据的可靠模型。测试表明，该方法大大优于以前的技术，在各种基准测试中将结果提高了 1 到 4 个点。

意图与对话

准确理解和识别用户意图对于下游面向任务的对话系统非常重要，它直接影响用户体验。如果意图识别不正确，则呈现给用户的对话流与用户的意图不匹配。

随后，用户试图从一个流程转移到另一个流程；如果没有计划好这种转移，用户会感到更加沮丧。

Out-Of-Domain

上面的场景（a）展示了已知意图和新意图是如何被分组的。而场景（b）展示了RoNID方法，其中已知意图和新的/未知的意图是基于可靠的伪标签和聚类表征被分离的。

NID

半监督 NID 通常采用 k-means 算法进行伪标签分配并学习判别意图特征。

RoNID 框架通过在一个步骤中解决特定问题来获得可靠的伪标签，在另一个步骤中，它通过组合不同类型的损失来学习以一种易于理解的方式组织数据。

最后

在这项研究中，研究人员引入了针对 NID 问题的 EM-optimised RoNID 框架。它由两个主要部分组成：可靠的伪标签生成模块和聚类友好的表示学习模块。

伪标签生成模块通过解决特定问题分配精确的伪标签来确保准确的监督。表示学习模块通过关注簇内和簇间差异来提高表示的质量。这有助于区分已知意图和新意图。

他们的实验表明 RoNID 是有效的，并且比以前最先进的方法表现得更好。

RoNID 使用迭代方法通过创建可靠的伪标签并将数据组织到集群中来提高模型性能。

该方法包括三个主要步骤：

1. 首先，使用标记和未标记数据预训练特征提取器，以实现更好的知识迁移。
2. 然后，通过解决特定问题来提高伪标签的准确性。
3. 最后，引入簇内和簇间对比学习，为已知和新颖的意图创建不同的表示簇。

为了给表示学习模块提供高质量的监督信号，该研究提出生成可靠的伪标签来指导模型训练，从而将无监督训练样本转化为伪监督样本。