论文笔记：Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning

2023-10-09 07:40
文章标签 笔记 论文 action based skeleton representation learning unsupervised hierarchical contrast

本文主要是介绍论文笔记：Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 Intro

  • 3D骨架识别问题
    • 早期以完全监督的方式训练网络
      • ——>需要大量人工标注的骨架数据，花费昂贵，且很是费时
    • 无监督的3D骨架表示学习在近年来被不断研究
      • 早期的无监督工作主要聚焦于生成式方法
        • 将3D骨架动作编码后，在不同的代理任务（比如骨架重构、骨架着色）的指导下解码，以达到学习特征表示的方法
        • 但这类方法效果有限
      • 性能更好、机制更简单的对比学习成为了近些年的主流
        • 通常将3D骨架动作表示为实例级别的特征（instance-level），然后进行实例之间的整体对比学习
  • 这篇论文认为，3D骨架动作具有层次结构，如果仅使用实例级别的特征进行对比学习，效果可能是次优的
    • 3D骨架动作作为序列，时间维度上可以看作帧 (frame) 的集合，空间维度上可以看作节点 (joint) 的集合。
    • 同时帧或节点是基本元素，可以构建为更大粒度的元素，如片段 (clip) 或部件 (part)
  • 论文提出用于无监督 3D 骨架动作表示学习的层级对比框架 HiCo
    • HiCo 通过层级编码器网络将 3D 骨架动作序列编码为部件级 (part-level)、片段级 (clip-level)、域级 (domain-level)和实例级特征，并在这几个层次上分层地进行多级对比。

2 模型

 

2.1 层次编码网络

层级编码网络包括时间和空间两个分支，分别从时间域和空间域以多粒度方式编码得到多个特征。

2.1.1 片段级特征表示

  • 从不同长度的片段中提取特征

  • 给定T帧J个节点的3D骨架动作序列X \in R^{T\times J \times 3}

    • 首先将其重新排列成帧列表的形式X^c \in R^{T\times 3J}V_n^c=Temporal\_Max\_Pooling(Seq2Seq(X_n^c))

    • 然后使用一个MLP，作为帧Embedding，将帧信息映射到高维空间

  •  为了得到不同长度的 clip，这里使用下采样UDM (Unified Downsampling Module)
    • 通过一维卷积加一维最大池化的可训练方式缩短序列长度
    • 每一层UDM捕获各帧kernel size大小的时间维度信息
    • 通过不断调用 UDM，就得到时间维度越来越短的序列
    • 这样不同粒度 clip 包含不同时间尺度的信息，具有较强的互补性。
  • 得到各个X_n^c之后，使用 seq2seq 模型建模时间上的依赖关系，再通过时间维度上的最大池化将帧级特征聚合为视频级特征

  • 对每个粒度的clip都计算相应的视频级特征，然后拼接起来，得到片段级特征

2.1.2 部件级特征表示

  • 空间分支在空间域上提取不同空间粒度特征，形成部件级特征表示。
  • 给定T帧J个节点的3D骨架动作序列X \in R^{T\times J \times 3}
    • 重新排列乘节点列表X^P \in R^{J \times 3T}
  • 然后使用同样的方式，得到

 2.2 域级和实例级特征表示

  •  将不同粒度的片段级特征融合为时间域特征，将不同粒度的部件级特征融合为空间域特征
  • 再将这两个域级特征融合为实例级特征，由此得到了多层级结构的多特征表示。
  • 论文中，F只是concatenate

 2.3 层次对比

总的优化目标由底下几部分共同组成

2.3.1 实例级对比

  • 和之前的经典对比学习任务是类似的，在实例级特征上进行实例对比学习
  • 在不同数据增强下的同一个样本的两个实例级特征和其他样本的实例级特征间进行正负样本判别

2.3.2  域级对比（时间域+空间域）

  • 论文认为不管时间域还是空间域都是同一样本的不同表示，应有相同的高级语义信息，可以用来相互作为监督信号，所以将它们看作互为正样本。
  • 使用跨域的对比方法，是希望时间域和空间域特征在嵌入空间中尽可能接近

 2.3.3 片段级和部件级对比

  • 在片段级和部件级上，不同粒度特征也类似地应有相同的高级语义信息，互为正样本。
  • 由于不同粒度的特征数量较多，作者做了简化处理，将最小粒度的特征（L=1）作为 query 去匹配其他样本。

3 实验

这篇关于论文笔记：Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/171340。

相关文章

Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题的方法。运筹学的一个重要分支。2
阅读更多...
【C++学习笔记 20】C++中的智能指针

【C++学习笔记 20】C++中的智能指针

智能指针的功能 在上一篇笔记提到了在栈和堆上创建变量的区别，使用new关键字创建变量时，需要搭配delete关键字销毁变量。而智能指针的作用就是调用new分配内存时，不必自己去调用delete，甚至不用调用new。 智能指针实际上就是对原始指针的包装。 unique_ptr 最简单的智能指针，是一种作用域指针，意思是当指针超出该作用域时，会自动调用delete。它名为unique的原因是这个
阅读更多...
查看提交历史 —— Git 学习笔记 11

查看提交历史 —— Git 学习笔记 11

查看提交历史 查看提交历史 不带任何选项的git log-p选项--stat 选项--pretty=oneline选项--pretty=format选项git log常用选项列表参考资料 在提交了若干更新，又或者克隆了某个项目之后，你也许想回顾下提交历史。 完成这个任务最简单而又有效的 工具是 git log 命令。 接下来的例子会用一个用于演示的 simplegit
阅读更多...
记录每次更新到仓库 —— Git 学习笔记 10

记录每次更新到仓库 —— Git 学习笔记 10

记录每次更新到仓库 文章目录 文件的状态三个区域检查当前文件状态跟踪新文件取消跟踪（un-tracking）文件重新跟踪（re-tracking）文件暂存已修改文件忽略某些文件查看已暂存和未暂存的修改提交更新跳过暂存区删除文件移动文件参考资料 咱们接着很多天以前的 取得Git仓库 这篇文章继续说。 文件的状态 不管是通过哪种方法，现在我们已经有了一个仓库，并从这个仓
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2