Few-shot 3D Point Cloud Semantic Segmentation 论文简记

2024-06-10 08:18

本文主要是介绍Few-shot 3D Point Cloud Semantic Segmentation 论文简记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Few-shot 3D Point Cloud Semantic Segmentation 论文简记

摘要

已有的点云语义分割方法需要大量的标签,点云逐点标记是困难的,另外对新的类别较差的泛化性。因此本文提出一个显著感知的多原型转化few-shot 分割方法。
具体地,每个类可以表示为多个原型来建模复杂分布地点云数据。然后,设计一个标签传播方法,来探索标注点和未标记点的多原型亲和度,以及未标注点之间的亲和度。最后,显著感知的多尺度特征学习网络建模点之间的语义相关性和几何相关性。

1. 解决关键问题

  • 推广到新的类别 s.t. 不需要强的监督信号,并且生成新的类别。
  • 目前一些弱监督或者半监督的方法忽略了泛化性的问题,即使使用元学习策略也会面临两个关键问题:1)从支持集中学到可表示新类的可区别性的特征是困难的;2)如何有效这些特征表示信息进行细分类。

2. 方法思路简记

本文主要是利用元学习的方法,预训练网络,在支撑集和查询集上进行fine-tunning。
下面以3-Way 5-Shot 为例说明论文的主要方法:根据类别信息(首字母顺序)划分训练集和测试集。划分支撑集和查询集,支撑集包含3个类别的点云(还包含属于该类别点的mask),每个类别5个样本。查询集中有T个样本和对应标签。训练过程是通过S集来预测Q集中每个点的类别分布:S集和Q集分别通过Embedding网络提取特征。在Embedding中对DGCNN加入attention,其实就是一种空间attention。提取到了每个点云中每个点的特征。作者认为一个Prototype不能很好的表示点云的类,所以引入多个Prototype。因此,就需要一个多Prototype生成器。根据这些Prototype要挖掘S和Q以及S-S,Q-Q之间的特征相似性,引入了KNN graph。通过构建的相似性来预测Q的标签,Q的标签和真实的标签提供交叉熵损失来训练网络。
结构入下:
在这里插入图片描述
多Prototype生成器:作者将其转为一个聚类问题解决,通俗一些:随机种子数(n个),特征最远距离方法获取n个簇中心,在特征空间中计算每个点应该分配到哪个种子表示的簇上(距离近),该簇对应点的特征均值就是一个Prototype,于是就有了n个prototype。相当于对之前的方法直接求均值变为了对最大距离分布的特征簇的均值。
标签传播:构建一个类内和类间的图(KNN),相似度矩阵是所有类别的n个原型和所有查询点(T个样本,每个样本M个点)相互之间的相似度(高斯相似度),相应的生成所有点的标签。对其正则化,约束预测的标签分布。

3. 实验结果:

在这里插入图片描述

这篇关于Few-shot 3D Point Cloud Semantic Segmentation 论文简记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1047628

相关文章

SpringCloud负载均衡spring-cloud-starter-loadbalancer解读

《SpringCloud负载均衡spring-cloud-starter-loadbalancer解读》:本文主要介绍SpringCloud负载均衡spring-cloud-starter-loa... 目录简述主要特点使用负载均衡算法1. 轮询负载均衡策略(Round Robin)2. 随机负载均衡策略(

Spring、Spring Boot、Spring Cloud 的区别与联系分析

《Spring、SpringBoot、SpringCloud的区别与联系分析》Spring、SpringBoot和SpringCloud是Java开发中常用的框架,分别针对企业级应用开发、快速开... 目录1. Spring 框架2. Spring Boot3. Spring Cloud总结1. Sprin

Spring Cloud之注册中心Nacos的使用详解

《SpringCloud之注册中心Nacos的使用详解》本文介绍SpringCloudAlibaba中的Nacos组件,对比了Nacos与Eureka的区别,展示了如何在项目中引入SpringClo... 目录Naacos服务注册/服务发现引⼊Spring Cloud Alibaba依赖引入Naco编程s依

Spring Cloud Hystrix原理与注意事项小结

《SpringCloudHystrix原理与注意事项小结》本文介绍了Hystrix的基本概念、工作原理以及其在实际开发中的应用方式,通过对Hystrix的深入学习,开发者可以在分布式系统中实现精细... 目录一、Spring Cloud Hystrix概述和设计目标(一)Spring Cloud Hystr

Spring Boot 3 整合 Spring Cloud Gateway实践过程

《SpringBoot3整合SpringCloudGateway实践过程》本文介绍了如何使用SpringCloudAlibaba2023.0.0.0版本构建一个微服务网关,包括统一路由、限... 目录引子为什么需要微服务网关实践1.统一路由2.限流防刷3.登录鉴权小结引子当前微服务架构已成为中大型系统的标

Spring Cloud LoadBalancer 负载均衡详解

《SpringCloudLoadBalancer负载均衡详解》本文介绍了如何在SpringCloud中使用SpringCloudLoadBalancer实现客户端负载均衡,并详细讲解了轮询策略和... 目录1. 在 idea 上运行多个服务2. 问题引入3. 负载均衡4. Spring Cloud Load

Sentinel 断路器在Spring Cloud使用详解

《Sentinel断路器在SpringCloud使用详解》Sentinel是阿里巴巴开源的一款微服务流量控制组件,主要以流量为切入点,从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、... 目录Sentinel 介绍同类对比Hystrix:Sentinel:微服务雪崩问题问题原因问题解决方案请

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快