VLDB-2020 论文简析:检测和预防众包数据中的混淆标签-Detecting and Preventing Confused Labels in Crowdsourced Data

研究背景

• 如今，众包通常用于解决类似AI相关的问题，例如对象分类以及为机器学习（ML）算法生成带标签的训练数据。
• 因为观察的混淆，或者是因为两个对象是相似的，或者因为任务描述解释的差异，众包工作者可能将i类的对象与j类的对象混淆，导致众包工作者标记的数据可能且通常会带有偏差或噪声。
  例如：如下图所示，摩纳哥国旗、波兰国旗和印度尼西亚国旗，红薯和山药，演员Rami Said Malek和皇后乐队主唱Freddie Mercury，通常是因为它们是相似的，导致在众包任务中工作人员出现观察混淆，从而辨别错误。
  
  正如上述例子展示的那样，即使整体工作人员的准确性都非常高，但这些错误在不被注意的情况下，也很可能出现混淆，因为这不是一个全面的问题，只针对某些类。如果不被发现和未纠正，这导致一些类的标签总是错误的。

研究目标

• （从任务设计者的角度）在标识给出类标签并清晰的地方识别任务标签中的混淆。例如：在用旗帜或食物或著名演员的名字来标记图片的任务中识别混淆。
• 在众包过程的早期发现混乱（即在少数投票之后），这样就可以尽早提醒任务设计者并改进任务；
• 能够处理众包标签，以检测和纠正混淆标签。

问题挑战

针对上述情况，对象分类任务中混淆错误的真值发现问题的解决具有以下困难挑战：

• ① 一个能检测混淆错误的真值发现模型
  需要扩展现有的真值发现模型，使其能够对可能的混淆错误进行建模和推理，但是没有任何现有真相发现模型的解决方案能够做到这一点。
• ② 需要指定源和对象之间的所有概率依赖关系
• ③ 计算上的时间、空间复杂度考虑
  为了检测和考虑混淆错误，需要测试所有可能的混淆，并查看其中哪些可能存在混淆。这是一个计算上昂贵的操作，它需要搜索指数数量的状态可能性(Nc个可能的混淆观察有2^Nc个状态)。
• ④ 研究针对的是在一组可能被混淆的类中的情况。
  必须从数据中学习模型参数的数量和类型并且能够在工人、物品和标签的数量上进行缩放，才能有效地做到这一点。

作者贡献

• 将问题建模为一个分类任务，并引入了“聚类”（ 生成的聚类就是假设的互相混淆的对象组）的概念，通过显式建模混淆来扩展这个基本模型。然后