基于GraspNet熟悉点云抓取代码的处理逻辑

2024-06-05 06:36

本文主要是介绍基于GraspNet熟悉点云抓取代码的处理逻辑,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

基于GraspNet熟悉点云抓取代码的处理逻辑

目录

  • 基于GraspNet熟悉点云抓取代码的处理逻辑
    • 1.数据读取逻辑
      • 1.1GraspNet数据集的预览
      • 1.2xxx
      • 1.3get_item方法读取逻辑
      • 1.4结合相机内参将depth转点云
      • 1.5筛选有效的点云数据
      • 1.5随机采样

1.数据读取逻辑

1.1GraspNet数据集的预览

公开数据集下载完全如下,其中scenes为存放的数据集(RGB、D等),grasp_label为抓取的标签,collision_label为碰撞的标签。
在这里插入图片描述
scenes中一共有100个场景的文件夹:
在这里插入图片描述
每个场景中的文件如下,根据指定相机的品牌,决定使用哪个文件夹。
在这里插入图片描述
比如,我这里使用realsense相机,realsense文件夹里面存放的就是rgb、depth(深度)、label(mask)、meta(对应每一帧图片中物体的类别索引、物体的位置姿态、相机内参、深度图像中的像素值进行标准化或缩放的因子)等数据。
在这里插入图片描述

1.2xxx

1.3get_item方法读取逻辑

与我们常见的使用opencv读取RGB图不同,在点云处理中,常用PIL库以dtype=np.float32的形式读取RGB、D、mask,并对RGB进行/255.归一化操作。
在这里插入图片描述
这里RGB就是float32型,D就是int32型。
在这里插入图片描述
mask为uint8型。
在这里插入图片描述
随后。使用scipy库对.mat数据进行读取,分别获取对应每一帧图片中物体的类别索引、物体的位置姿态、相机内参、深度图像中的像素值进行标准化或缩放的因子。
在这里插入图片描述
对应每一帧图片中物体的类别索引如下,包含场景中每个物体的类别索引。
在这里插入图片描述
物体的位置姿态如下,每个维度的含义分别为:
3表示每个物体的姿态信息在三维空间中的三个分量;
4表示每个姿态的四元数表示法中的四个参数,用于描述物体的旋转;
9意味当前帧中对应着场景中的 9 个物体。
在这里插入图片描述
intrinsic 是一个 3x3 的矩阵。在计算机视觉中,相机内参通常以矩阵形式表示,这个矩阵通常称为相机的内部参数矩阵。
在这里插入图片描述

深度图像中的像素值通常是相机到场景中物体的距离,但这些距离通常以某种方式进行了标准化或缩放,factor_depth表示缩放因子。(这也是在实际场景中相机流的深度图要➗1000的原因)
在这里插入图片描述

1.4结合相机内参将depth转点云

其实就是将上述根据数据集中读取出来的相机参数传递 xmap = np.arange(camera.width)
ymap = np.arange(camera.height)
xmap, ymap = np.meshgri给CameraInfo类。再将这个类传递给create_point_cloud_from_depth_image函数。
记住,点云的数据格式其实就是:[N,3],N表示点的个数,3表示每个点有三个坐标,通常是 (x, y, z),分别表示点在三维空间中的位置。
以这里的相机分辨率为例,那就是求3个[720, 1280],再拼接就行。
Z方向最好求,就是将深度图➗1000(缩放因子就行)。
X、Y见下方代码注释。
最后点云数据就得到了,[720, 1280, 3]

class CameraInfo():""" Camera intrisics for point cloud creation. """def __init__(self, width, height, fx, fy, cx, cy, scale):self.width = widthself.height = heightself.fx = fxself.fy = fyself.cx = cxself.cy = cyself.scale = scaledef create_point_cloud_from_depth_image(depth, camera, organized=True):assert(depth.shape[0] == camera.height and depth.shape[1] == camera.width)#创建一个长度为相机宽度的数组,表示图像中每列的 x 坐标。xmap = np.arange(camera.width)#创建一个长度为相机高度的数组,表示图像中每列的 y 坐标。ymap = np.arange(camera.height)# 通过 meshgrid 函数创建网格,得到 (x, y) 坐标的矩阵,其中 xmap 是列索引的重复,ymap 是行索引的重复#xmap, ymap的size都是[7201280]xmap, ymap = np.meshgrid(xmap, ymap)#将深度值➗缩放因子points_z = depth / camera.scale#根据像素 x 坐标、相机的主点 cx 和焦距 fx 计算每个点云点的 x 坐标。points_x = (xmap - camera.cx) * points_z / camera.fx#根据像素 y 坐标、相机的主点 cy 和焦距 fy 计算每个点云点的 y 坐标。points_y = (ymap - camera.cy) * points_z / camera.fycloud = np.stack([points_x, points_y, points_z], axis=-1)if not organized:cloud = cloud.reshape([-1, 3])return cloudcamera = CameraInfo(1280.0, 720.0, intrinsic[0][0], intrinsic[1][1], intrinsic[0][2], intrinsic[1][2], factor_depth)# generate cloud
cloud = create_point_cloud_from_depth_image(depth, camera, organized=True)

在这里插入图片描述

1.5筛选有效的点云数据

获得根据深度图以及相机参数得到的点云数据后,先根据分割的mask获取工作区域的掩码,并结合有效深度值区域综合获得有效工作区域,最后获得效的点云数据和对应的标签以及颜色信息。

def get_workspace_mask(cloud, seg, trans=None, organized=True, outlier=0):if organized:#将点云和分割标签转换为一维数组h, w, _ = cloud.shapecloud = cloud.reshape([h*w, 3])seg = seg.reshape(h*w)if trans is not None:#将点云数据从相机坐标系转换到工作台cloud = transform_point_cloud(cloud, trans)#取分割标签为正值(非背景)的点云作为前景点云foreground = cloud[seg>0]#计算前景点云的最小和最大坐标值,得到一个表示工作空间范围的边界框。xmin, ymin, zmin = foreground.min(axis=0)xmax, ymax, zmax = foreground.max(axis=0)#根据边界框和离群点阈值,生成用于筛选工作空间内点云的掩码mask_x = ((cloud[:,0] > xmin-outlier) & (cloud[:,0] < xmax+outlier))mask_y = ((cloud[:,1] > ymin-outlier) & (cloud[:,1] < ymax+outlier))mask_z = ((cloud[:,2] > zmin-outlier) & (cloud[:,2] < zmax+outlier))workspace_mask = (mask_x & mask_y & mask_z)if organized:workspace_mask = workspace_mask.reshape([h, w])return workspace_mask# get valid points
#选出有效的点云数据和对应的标签以及颜色信息
depth_mask = (depth > 0)
seg_mask = (seg > 0)
if self.remove_outlier:camera_poses = np.load(os.path.join(self.root, 'scenes', scene, self.camera, 'camera_poses.npy'))align_mat = np.load(os.path.join(self.root, 'scenes', scene, self.camera, 'cam0_wrt_table.npy'))trans = np.dot(align_mat, camera_poses[self.frameid[index]])workspace_mask = get_workspace_mask(cloud, seg, trans=trans, organized=True, outlier=0.02)mask = (depth_mask & workspace_mask)
else:mask = depth_mask
cloud_masked = cloud[mask]
color_masked = color[mask]
seg_masked = seg[mask]

1.5随机采样

点云数据的点个数一般会比较多,这里就通过随即采样,选取20000个点。

# sample points
if len(cloud_masked) >= self.num_points:idxs = np.random.choice(len(cloud_masked), self.num_points, replace=False)
else:idxs1 = np.arange(len(cloud_masked))idxs2 = np.random.choice(len(cloud_masked), self.num_points-len(cloud_masked), replace=True)idxs = np.concatenate([idxs1, idxs2], axis=0)
cloud_sampled = cloud_masked[idxs]
color_sampled = color_masked[idxs]
seg_sampled = seg_masked[idxs]
objectness_label = seg_sampled.copy()
objectness_label[objectness_label>1] = 1

在这里插入图片描述

这篇关于基于GraspNet熟悉点云抓取代码的处理逻辑的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1032325

相关文章

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

Java Response返回值的最佳处理方案

《JavaResponse返回值的最佳处理方案》在开发Web应用程序时,我们经常需要通过HTTP请求从服务器获取响应数据,这些数据可以是JSON、XML、甚至是文件,本篇文章将详细解析Java中处理... 目录摘要概述核心问题:关键技术点:源码解析示例 1:使用HttpURLConnection获取Resp

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析