Pointnet学习以及对代码的实现

2024-06-03 16:28
文章标签 代码 实现 学习 pointnet

本文主要是介绍Pointnet学习以及对代码的实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

由于点云不是常规数据格式,通常将此类数据转换为规则的 3D 体素网格或图像集合,然后再用神经网络进行处理。数据表示转换使生成的数据过于庞大。

PointNet是第一个直接处理原始点云的方法。只有全连接层和最大池化层,PointNet网络在推理速度上具有强大的领先优势,并且可以很容易地在CPU上并行化。

应对点云的无序性有三种方案:

方案1:排序

高维空间的排序,不可稳定

方案2:假如有N个点,N!种排列训练一个RNN。

2015年《Order Matters: Sequence to sequence for sets》证明RNN网络对序列的排序还是有要求的。

方案3:设计对称函数,因为输入顺序对于对称函数没有影响。比如:加法、乘法

PointNet使用的最大池化,是对称函数。

分类网络以n个点为输入,应用输入和特征变换,然后通过最大池化聚合点特征。输出是 k 个类的分类分数。

Pointnet网络的搭建(tensorflow版):

class PointNet(Model):def __init__(self):super(PointNet, self).__init__()self.MLP64 = layers.Conv1D(filters=64, kernel_size=1, strides=1, padding="valid", activation="relu")self.MLP1024 = layers.Conv1D(filters=1024, kernel_size=1, strides=1, padding="valid", activation="relu")self.Dense10 = layers.Dense(10, activation="softmax")def call(self, inputs, training=None, mask=None):x = self.MLP64(inputs)#(Batch,1,1000,64)print(x.shape)x = self.MLP1024(x)#(Batch,1,1000,1024)print(x.shape)x = tf.reduce_max(x, axis=1)#(Batch,1,1024)print(x.shape)x = layers.Flatten()(x)x = self.Dense10(x)#(Batch,10)print(x.shape)return xmodel = PointNet()
input_shape = (1, 1000, 3)
model.build(input_shape)
model.summary()

这是我看pointnet论文后复现的分类网络,由于以前总是对图像进行2D卷积,这里对输入的理解还不深刻。采用了(B,H,W,C)的输入结构,因为是每个点有3个特征,所以将其处理为(B,1,W,C)的结构。但后期发现其比较复杂,所以改进了一下,使用(B,Len,C)的输入结构。

在深度学习中,处理点云数据(Point Cloud Data)或3D形状数据与传统的2D图像数据有所不同。

原始输入结构: (B, H, W, C)

  • B:代表批次大小(Batch Size),即一次输入到网络中的样本数量。
  • H 和 W:在2D图像中,它们分别代表图像的高度(Height)和宽度(Width)。但在处理点云数据时,由于点云本质上是一组无序的点集合,所以这里的 H 和 W 可能并不是直观意义上的“高度”和“宽度”。在某些情况下,它们可能被用来表示某种形式的网格化点云,但这并不是PointNet的初衷。
  • C:代表通道数(Channels),对于RGB图像来说,C=3(红、绿、蓝)。但在点云数据中,每个点可能有多个特征,比如三维坐标(x, y, z)以及其他属性(如颜色、密度等)。

转换为 (B, 1, W, C)

  • 将 H 设置为 1 可能是为了尝试将点云数据强制适配到更常见的4D张量结构(即 (B, H, W, C)),但这并不是处理点云数据的最佳方式。因为点云数据中的点是无序的,并且没有固定的网格结构。

改进后的输入结构: (B, Len, C)

  • B:仍然代表批次大小。
  • Len:代表每个样本中点的数量(Length of points)。这是处理点云数据的更自然的方式,因为它直接反映了点云数据的特点——即一组无序的点集合。
  • C:仍然代表每个点的特征通道数。

使用 (B, Len, C) 的输入结构可以更直接地处理点云数据,并且符合PointNet的设计初衷。

def Point_MLP(inputs, num_filters, use_bn=True, activation='relu'):x = layers.Conv1D(num_filters, kernel_size=1, activation=activation, padding='valid')(inputs)if use_bn:x = tf.keras.layers.BatchNormalization()(x)x = tf.keras.layers.Activation(activation)(x)return xdef Model_Point(point_num, feature_num, mode):inputs = layers.Input(shape=(point_num, feature_num))x64 = Point_MLP(inputs, 64) #(B,N,64)x512 = Point_MLP(x64, 512)x1024 = Point_MLP(x512, 1024) #(B,N,1024)gloable = tf.reduce_max(x1024, axis=1) #(None, 1024)if mode == "clc":x = layers.Flatten()(gloable)x = layers.Dense(10, activation="softmax")(x)model = Model(inputs=inputs, outputs=x)if mode == "seg":global_feature_tiled = tf.tile(tf.expand_dims(gloable, 1), [1, tf.shape(x512)[1], 1])concatenated_features = tf.concat([x512, global_feature_tiled], axis=2)#concatenated_features 的形状是 (batch_size, num_points, local_feature_dim + global_feature_dim)model = Model(inputs=inputs, outputs=concatenated_features)return modelPointNet = Model_Point(10000, 3, mode="clc")
PointNet.summary()

这篇关于Pointnet学习以及对代码的实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1027507

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo