Label Enhancement for Label Distribution Learning--文献笔记

IEEE(2021)

摘要

        标签分布比单标签注释和多标签注释都更通用。它涵盖了一定数量的标签，代表每个标签描述实例的程度。通过标签分布标记的实例的学习过程称为标签分布学习（LDL）。不幸的是，由于难以直接获得标签分布，许多训练集只包含简单的逻辑标签而不是标签分布。为了解决这个问题，一种方法是利用特征空间的拓扑信息和标签之间的相关性，从训练集中的逻辑标签中恢复标签分布。这种从逻辑标签中恢复标签分布的过程被定义为标签增强（LE），它增强了训练集中的监督信息。本文提出了一种新的 LE 算法，称为图形拉普拉斯标签增强 Graph Laplacian Label Enhancement (GLLE)。在一个人工数据集和 14 个真实世界数据集上的实验结果表明 GLLE 优于几种现有的 LE 算法。

介绍

        模糊学习是最近机器学习和数据挖掘研究的热门话题。学习过程本质上是建立从实例到标签的映射。本文主要关注映射的标签端的模糊性，即一个实例不一定映射到一个标签。多标签学习 (MLL) [Tsoumakas and Katakis, 2006] 研究每个示例由单个实例表示同时与一组标签相关联的问题，任务是学习映射实例的多标签预测器到相关的标签集 [Gibaja and V entura, 2015;张和周，2014]。在过去的十年中，多标签学习技术已被广泛用于从具有丰富语义的数据中学习，例如文本 [Rubin et al., 2012]、图像 [Cabral et al., 2011]、音频 [Lo et al. , 2011]、视频 [Wang et al., 2011] 等。

        在大多数监督数据中，一个实例 x 被赋予 lyx ∈ {0, 1} 到每个可能的标签 y，表示 y 是否描述 x。在本文中，lyx 被称为逻辑标签，因为 lyx 反映了标签与实例之间的逻辑关系。逻辑标签回答了“哪个标签可以描述实例”这一基本问题，但不涉及每个标签的明确相对重要性。为了解决这个问题，一个更自然的标注实例 x 的方法是为每个可能的标签 y 分配一个实数 dyx，表示 y 描述 x 的程度。不失一般性，假设 dyx ∈ [0, 1]。进一步假设标签集是完整的，即使用集合中的所有标签总是可以完整地描述实例。那么，P y dyx = 1。这样的 dyx 称为 y 对 x 的描述度。对于一个特定的实例，所有标签的描述度构成一个实值向量，称为标签分布，它比逻辑标签更全面地描述了该实例。因此，由标签分布标记的实例的学习过程称为标签分布学习（LDL）[Geng，2016]。在大多数监督学习问题中，标签分布比逻辑标签更普遍，因为标签与实例的相关性或不相关性本质上主要在三个方面是相对的。

         1.相关标签和不相关标签之间的区别是相对的。将标签集分成与实例相关的和不相关的标签实际上是对实际问题的简化。在许多情况下，相关标签和不相关标签之间的界限并不明确。例如，在面部表情的情绪分析中，面部表情通常传达基本情绪的复杂混合（例如，快乐、悲伤、惊讶、愤怒、厌恶和恐惧）[Zhou et al., 2015]。如图 1a 所示，对于一个表情，不同的基本情绪表现出不同的强度。相关和不相关情绪之间的划分取决于阈值的选择。但是没有绝对主观的标准来确定阈值。

        2.当多个标签与一个实例相关联时，它们之间的相对重要性更有可能是不同的，而不是完全相等的。例如，在图 1b 中，一个自然场景图像可能同时使用标签天空、水、建筑物和云进行注释，但每个标签对该图像的相对重要性是不同的。

        3. 每个不相关标签的“不相关性”可能非常不同。例如，在图 1c 中，对于汽车，标签飞机比标签罐更不相关。

        然而，在大多数训练集中，标签分布不是明确可用的。很难直接获得标签分布，因为量化描述度的过程是昂贵的。因此，我们需要一种通过利用特征空间中的拓扑信息和标签之间的相关性从训练集中的逻辑标签中恢复标签分布的方法。这个过程在本文中称为标签增强（LE）。 LE 通过利用每个标签的相对重要性来加强训练集中的监督信息。在标签分布恢复后，可以通过利用标签分布来实现更有效的监督学习 [Li et al., 2015;侯等人，2016]

        请注意，虽然现有文献中没有明确定义 LE 的概念，但已经提出了一些与 LE 功能相似的方法。例如，通过使用头部姿态估计 [Geng and Xia, 2014] 和面部年龄估计 [Geng et al., 2014] 中的先验知识，将逻辑标签转移到以粗略真实标签为中心的离散化二元高斯标签分布。一些作品 [Gayar et al., 2006; Jiang et al., 2006] 建立标签的隶属度，可以构成标签分布。一些作品 [Li et al., 2015; Hou et al., 2016] 通过图建立实例和标签之间的关系，并将逻辑标签转换为标签分布。

        本文的其余部分安排如下。首先，LE 的公式和 LE 算法的细节在第 2 节中提出。之后，比较实验的结果在第 3 节中报告。最后，在第 4 节中得出结论。      

4 结论

        本文展示了标签增强，它增强了训练集中的监督信息。 LE可以通过利用特征空间的拓扑信息和标签之间的相关性从训练集中的逻辑标签中恢复标签分布。为了解决针对 LE 问题，我们介绍了可用于 LE 的现有算法，并提出了一种称为 GLLE 的新方法。广泛的比较研究清楚地验证了 GLLE 相对于其他 LE 算法的优势以及在逻辑标记数据集上进行 LE 预处理后 LDL 的有效性。未来，我们将探索是否存在更好的方法来恢复标签分布