【论文笔记:Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling】

本文主要是介绍【论文笔记:Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling

  • 基于结构化预测的选择性伪标记的无监督域自适应
    • Introduction
    • Related Work
    • Proposed Method
    • Experiments and Results

基于结构化预测的选择性伪标记的无监督域自适应

论文链接

Introduction

结构化预测灵感来源: 目标域样本在深度特征空间中可以很好地聚类
无监督领域自适应要解决的问题: 将在有标签源域上训练的模型直接用于无标签目标域,不进行领域自适应时,性能降低
原因:两个域之间数据分布差异导致域偏移
无监督领域自适应: 试图学习一个联合子空间对齐源域和目标域(两个域样本都可以投影到这个公共空间中)
采用不同的算法提高目标域样本在这些子空间中的可分性

  1. 预训练模型提取特征促进基于特征的转换
  2. 深度学习模型以端到端的方式学习域不变的特征(GRL&GAN–不同的对抗实现方式)

转换学习: 可以探索测试数据(目标域数据可以利用) <——UDA
一种可行的方法:为目标域分配伪标签
伪标签的准确性:

现有方法存在的问题(动机):

  • 训练分类器时忽略目标域下的结构信息,对目标域样本独立进行伪标记
    proposed method: 通过无监督学习(K-means)来探索这种结构信息
    试图通过监督局部保持投影(SLPP)使用标记源数据和伪标记目标数据来学习域不变子空间。通过结构化预测和逐步选择,提高了伪标记的准确性。
  • 提出了一种新的用于无监督领域自适应的迭代学习算法,该算法使用基于SLPP的子空间学习和选择性伪标签策略
  • 采用结构化预测来探索目标域内的结构信息,以促进伪标记和域对齐的准确性。

Related Work

UDA早期工作:

  1. 旨在对齐源域和目标域的边缘分布
  2. 在边缘分布对齐情况下,由于目标域条件分布可能与源域条件分布发生错位,不能保证良好分类效果
    缺乏标记的目标域样本
    使用伪标签策略使得允许用传统的监督学习算法对齐源域和目标域条件分布

处理目标域中无标记样本问题的方法

  • 不使用伪标签: 最小化MMD,对齐边缘分布;梯度反转层或生成对抗损失

虽然这些模型可以学习域不变特征,且特征对源域具有判别性,但是由于条件分布没有明确对齐,因此无法确保目标样本的可分性

域对称网络: 促进特征和类别在源域和目标域之间的联合分布对齐

  • 没有选择性的伪标签: 为目标域内所有样本分配伪标签
    • 硬标签
     + 在每个未标记的样本上分配一个伪标签而不考虑置信度(利用源样本训练的分类器)+ 通过迭代学习,伪标记有望更精确+  ==迭代初始阶段弱分类器错误标记样本会对后续学习造成严重损害==
    
    • 软标签
     + 分配给定目标样本x的每个类P(c|x)的条件概率+ 伪标签向量+ 软标签可以在学习迭代过程中更新,通过选择概率最高的类可以得到最终分类结果+ 软标签自然适用于神经网络,其输出通量是一个条件概率的向量(eg:MADA  使用目标样本的软伪标签来确定该样本应该关注多少不同类特定域判别器)
    
  • 带选择的伪标签:
    • 缓解错误标记(硬标签)的另一种方法

    • 同样考虑了目标样本标记的置信度

    • 实现:

      • 选择目标样本的一个子集进行伪标签分配
      • 在下次迭代中,只将这些伪标记的目标样本与源样本相结合
    • 原理思想:一开始分类器是弱分类器,只有一小部分目标样本可以被正确分类;分类器在每次学习迭代后变得更强时可将更多目标样本正确分类,因此应该进行伪标记并参与学习过程

    • 算法关键因素:伪标签样本选择标准

    • 简单->难的策略
    • 选择相似度得分高于一个阈值的目标样本进行伪标记,并在学习迭代后更新阈值,从而选择更多未标记目标样本
    • 局限性: 存在偏向于“容易类”的风险,在第一次迭代中,被选择的样本可能会被这些“容易”类主导,学习到的模型严重偏向于“容易”类
    • 按分类的样本选择策略: 每个类都要独立选择样本,以便进行伪标记的目标样本有助于在学习过程中对每个类的条件分布对齐

Proposed Method

探索未标记样本内部结构信息来选择性伪标记
目标: 对齐条件分布

  • 使用监督局部保持投影(SLPP)学习投影矩阵P,将两个域的样本映射到相同的潜在子空间中;子空间中,来自同一个类的样本更接近,无论他们来自哪个域;在子空间中使用最近邻等分类器对目标样本进行分类。通过将伪标记样本和标记样本结合更新投影矩阵P,采用迭代学习过程交替改进投影学习和伪标记
  • NCP(最近类原型): 通过平均在同一空间中来自同一类的源样本的投影计算
  • 目标样本通过测量到这些类原型的距离来进行伪标记
  • 这个方法忽略的目标域内在结构信息,导致次优化伪标记结果
  • proposed : 通过聚类分析来探索目标域背后的结构信息,目标样本的簇通过结构化预测与源类进行匹配;目标样本可以可以根据他们所属的聚类进行集体标记,计算目标样本到聚类中心的距离作为选择性伪标签的标准,靠近聚类中心的样本更有可能被选择进行伪标记并参与下次学习迭代的投影学习。与NCP方法本质不同,两种方式结合更有利于学习。
  • 降维
  • 高维特征含有很多冗余信息
  • 使用PCA降维,采用L2归一化
  • 域对齐
  • PCA和归一化学习得到的低维特征空间表现出良好的域对齐性,但是由于进行的无监督学习,没有足够的判别性
  • 为促进两个域的类对齐,使用监督局部保持投影(SLPP)学习域不变但是具有判别性的子空间 Z。
  • SLPP的目标是学习投影矩阵P,需要利用源域和目标域的标记样本 (其中距离度量方法类似MMD)
    伪标记方法:
  • NCP(最近类原型)
  • SP(结构化预测)
  • NCP没有考虑目标样本内在结构
  • 实现
  • 使用K-means在所有目标样本的投影向量上生成|Y|个簇(集群中心使用NCP中计算公式计算初始化)
  • 在来自目标域的簇上和来自源域的类之间进行一对一的匹配,从而所有的簇和类原型的所有匹配对的距离之和最小化
  • SPL(选择性伪标签迭代学习)
  • 使用迭代学习策略交替学习域对齐的投影矩阵P和改进目标样本的伪标记
  • 虽然上述两种伪标记方法能够为下一次迭代中的投影学习提供有用的伪标记目标样本,它们在本质上是不同的
  • 通过最近的类原型进行伪标记倾向于向接近源数据的样本输出高概率,而结构化预测对接近目标域的聚类中心的样本是可信的,无论它们离源域有多远。通过等式的简单组合来利用这两种方法的互补性。
  • 算法流程图

在这里插入图片描述

在这里插入图片描述

Experiments and Results

  1. 与最先进方法的比较
  2. 消融实验
  3. 超参数

这篇关于【论文笔记:Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/577964

相关文章

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题的方法。运筹学的一个重要分支。2

【C++学习笔记 20】C++中的智能指针

智能指针的功能 在上一篇笔记提到了在栈和堆上创建变量的区别,使用new关键字创建变量时,需要搭配delete关键字销毁变量。而智能指针的作用就是调用new分配内存时,不必自己去调用delete,甚至不用调用new。 智能指针实际上就是对原始指针的包装。 unique_ptr 最简单的智能指针,是一种作用域指针,意思是当指针超出该作用域时,会自动调用delete。它名为unique的原因是这个

查看提交历史 —— Git 学习笔记 11

查看提交历史 查看提交历史 不带任何选项的git log-p选项--stat 选项--pretty=oneline选项--pretty=format选项git log常用选项列表参考资料 在提交了若干更新,又或者克隆了某个项目之后,你也许想回顾下提交历史。 完成这个任务最简单而又有效的 工具是 git log 命令。 接下来的例子会用一个用于演示的 simplegit

记录每次更新到仓库 —— Git 学习笔记 10

记录每次更新到仓库 文章目录 文件的状态三个区域检查当前文件状态跟踪新文件取消跟踪(un-tracking)文件重新跟踪(re-tracking)文件暂存已修改文件忽略某些文件查看已暂存和未暂存的修改提交更新跳过暂存区删除文件移动文件参考资料 咱们接着很多天以前的 取得Git仓库 这篇文章继续说。 文件的状态 不管是通过哪种方法,现在我们已经有了一个仓库,并从这个仓