本文主要是介绍VLDB-2020 论文简析:检测和预防众包数据中的混淆标签-Detecting and Preventing Confused Labels in Crowdsourced Data,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
VLDB2020论文简析:检测和预防众包数据中的混淆标签-Detecting and Preventing Confused Labels in Crowdsourced Data
- 研究背景
- 研究目标
- 问题挑战
- 作者贡献
- 总体模型
- 1 真值发现器的生成模型
- 2 检测混淆观测的推理算法(MCMC-C)
- 3 基于MV的贪婪算法
- 数据集
- 实验分析
- 困惑/思考
研究背景
- 如今,众包通常用于解决类似AI相关的问题,例如对象分类以及为机器学习(ML)算法生成带标签的训练数据。
- 因为观察的混淆,或者是因为两个对象是相似的,或者因为任务描述解释的差异,众包工作者可能将i类的对象与j类的对象混淆,导致众包工作者标记的数据可能且通常会带有偏差或噪声。
例如:如下图所示,摩纳哥国旗、波兰国旗和印度尼西亚国旗,红薯和山药,演员Rami Said Malek和皇后乐队主唱Freddie Mercury,通常是因为它们是相似的,导致在众包任务中工作人员出现观察混淆,从而辨别错误。
正如上述例子展示的那样,即使整体工作人员的准确性都非常高,但这些错误在不被注意的情况下,也很可能出现混淆,因为这不是一个全面的问题,只针对某些类。如果不被发现和未纠正,这导致一些类的标签总是错误的。
研究目标
- (从任务设计者的角度)在标识给出类标签并清晰的地方识别任务标签中的混淆。例如:在用旗帜或食物或著名演员的名字来标记图片的任务中识别混淆。
- 在众包过程的早期发现混乱(即在少数投票之后),这样就可以尽早提醒任务设计者并改进任务;
- 能够处理众包标签,以检测和纠正混淆标签。
问题挑战
针对上述情况,对象分类任务中混淆错误的真值发现问题的解决具有以下困难挑战:
- ① 一个能检测混淆错误的真值发现模型
需要扩展现有的真值发现模型,使其能够对可能的混淆错误进行建模和推理,但是没有任何现有真相发现模型的解决方案能够做到这一点。 - ② 需要指定源和对象之间的所有概率依赖关系
- ③ 计算上的时间、空间复杂度考虑
为了检测和考虑混淆错误,需要测试所有可能的混淆,并查看其中哪些可能存在混淆。这是一个计算上昂贵的操作,它需要搜索指数数量的状态可能性(Nc个可能的混淆观察有2^Nc个状态)。 - ④ 研究针对的是在一组可能被混淆的类中的情况。
必须从数据中学习模型参数的数量和类型并且能够在工人、物品和标签的数量上进行缩放,才能有效地做到这一点。
作者贡献
- 将问题建模为一个分类任务,并引入了“聚类”( 生成的聚类就是假设的互相混淆的对象组)的概念,通过显式建模混淆来扩展这个基本模型。然后
这篇关于VLDB-2020 论文简析:检测和预防众包数据中的混淆标签-Detecting and Preventing Confused Labels in Crowdsourced Data的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!