【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04

2024-06-14 05:36
文章标签 抓取 安装 软件 检测 detection ros ubuntu18.04 pose 姿态 grasp gpd

本文主要是介绍【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、GPD 教程
    • 1.1、依赖要求
    • 1.2、安装GPD
    • 1.3、使用GPD
      • 1.3.1 为点云文件生成抓取
    • 1.4、参数
    • 1.5、可视
    • 1.6、神经网络的输入通道
    • 1.7、CNN框架
    • 1.8、Network Training
    • 1.9、抓取图像/描述符
    • 1.10、故障排除提示
  • 二、gpd_ros 教程
    • 2.1 安装gps_ros流程：
    • 2.2 使用gpd_ros

 
 

抓取姿态检测(GPD)是用于在3D点云中检测2指机器人手(例如，平行颚夹)的6-DOF抓取姿态(3-DOF位置和3-DOF方向)的包。GPD将点云作为输入，并产生可行抓取的姿态估计作为输出。GPD的主要优势是:

  • 适用于新颖的对象(检测不需要CAD模型)，
  • 在密集杂乱的环境中工作，并且
  • 输出6自由度抓取姿态(不仅仅是自上而下的抓取)。

GPD由两个主要步骤组成:对大量抓取候选对象进行采样，并将这些候选对象分类为可行抓取对象或不可行抓取对象。

安装过程中的参考博文：
1、ROS kinetic 升级 PCL1.9.0 以安装gpd库和gpd_ros
2、ROS 包封装 GPD【使用方法】
 

一、GPD 教程

1.1、依赖要求

在这里插入图片描述
可以参考之前的博文： 【软件安装9】OpenCV多版本安装Ubuntu18.04
                                        与 【软件安装10】PCL多版本安装Ubuntu18.04 进行提前安装对应的依赖版本。

 
 

1.2、安装GPD


// clone 如下仓库
git clone https://github.com/atenpas/gpdcd gpd
mkdir build && cd build
cmake ..
make -j// 您可以选择使用sudo make install安装GPD，以便它可以作为共享库被其他项目使用。
// 如果构建包不起作用，请尝试修改CMakeLists.txt文件中的编译器标志CMAKE_CXX_FLAGS。

 
 

1.3、使用GPD

 

1.3.1 为点云文件生成抓取

在点云文件（PCD或PLY）上运行GPD


// 在 该路径下 /home/hzx/Videos/zhihu_ws/ws_moveit/src/robot_sim/gpd/build 执行指令
./detect_grasps ../cfg/eigen_params.cfg ../tutorials/krylon.pcd

在这里插入图片描述
 

会依次输出类似于下面的屏幕截图【截图均为PCL的查看器】，该窗口是PCL查看器。您可以按【q】关闭窗口，按【h】查看其他命令列表。：

执行指令后，
首先出现标题为 Normals 的查看器1；
鼠标点击选中该查看器1，按键q，会出现标题为 Grasp candidates 的查看器2；
再次鼠标点击两个查看器中的任意一个后，按键q，会出现标题为Selected Grasps 查看器3；
最后点击三个查看器中的任意一个后，按键q，会关闭所有查看器窗口】

在这里插入图片描述

 
下面是GPD用于抓取姿势（位置和方向）的惯例的可视化。抓取位置由橙色十字表示，方向由彩色箭头表示。【坐标轴，副法线，靠近】
在这里插入图片描述

 

1.4、参数

cfg/eigen_params.cfg 中给出了参数的简要说明。

您通常希望用来提高找到的抓取次数的两个参数是workspace和num_samples。第一个将在其中搜索抓取的空间体积定义为以点云框架的原点为中心的维度为[minX，maxX，minY，maxY，minZ，maxZ]的长方体。第二个是从点云中提取的用于检测抓取的样本数量。您应该将工作空间设置得尽可能小，并将样本数量设置得尽可能多。

大部分代码都是并行化的。要提高运行时间，请将num_threads设置为计算机可用的(物理)CPU核心数。

 

1.5、可视

您可以将该套件与一个或两个深度传感器一起使用。这个包附带了两者的CAFFE模型文件。您可以在models/caffe/15channels中找到这些文件。对于单个传感器，使用single _ view _ 15 _ channels . caffe model，对于两个深度传感器，使用two_views_15_channels_[angle]。[角度]是两个传感器视图之间的角度，如下图所示。在双视图设置中，您希望在将两个点云发送到GPD之前将它们注册在一起。

在这里插入图片描述

将摄像机位置提供给配置文件( *.cfg ) 很重要，因为它使PCL能够估计正确的法线方向(指向相机)。或者，使用ROS包装器，可以提供多个摄像机位置。
在这里插入图片描述

要在一个和两个传感器视图之间切换，请更改配置文件中的参数weight_file。
 

1.6、神经网络的输入通道

该软件包带有神经网络的两种不同输入表示的权重文件，用于决定抓取是否可行:3或15个通道。默认为15个通道。但是，您可以使用3个通道来获得更好的运行时间，以弥补抓取质量的损失。有关更多详细信息，请参见下面的参考资料。
 

1.7、CNN框架

GPD附带了许多不同的分类器框架，它们利用不同的硬件并具有不同的依赖性。在框架之间切换需要运行带有附加参数的CMake。例如，要使用OpenVino框架:


cmake .. -DUSE_OPENVINO=ON

您可以使用ccmake来检查所有可能的cmake选项。

GPD支持以下三个框架:

OpenVino: installation instructions for open source version (CPUs, GPUs, FPGAs from Intel)
Caffe (GPUs from Nvidia or CPUs)
Custom LeNet implementation using the Eigen library (CPU)

可以通过对分类器接口进行子类化来添加额外的分类器。

OpenVINO
速度上推荐OpenVINO。要使用OpenVINO，您需要在编译GPD之前运行以下命令。


export InferenceEngine_DIR=/path/to/dldt/inference-engine/build/

 

1.8、Network Training

要用C++代码创建训练数据，需要安装OpenCV 3.4 Contribs。接下来，您需要编译带有DBUILD_DATA_GENERATION标志的GPD，如下所示:


cd gpd
mkdir build && cd build
cmake .. -DBUILD_DATA_GENERATION=ON
make -j

训练网络来预测抓取姿态有四个步骤。
首先，我们需要创建抓取图像。


./generate_data ../cfg/generate_data.cfg

你应该根据需要修改generate_data.cfg。

 
接下来，您需要将创建的数据库调整为train_offset和test_offset(参见generate_data的终端输出)。例如，要调整训练集的大小，请使用以下命令，并将size设置为train_offset的值。


cd pytorch
python reshape_hdf5.py pathToTrainingSet.h5 out.h5 size

 
第三步是训练一个神经网络。训练网络最简单的方法是使用现有的代码。这需要pytorch框架。要训练网络，请使用以下命令。


cd pytorch
python train_net3.py pathToTrainingSet.h5 pathToTestSet.h5 num_channels

 
第四步是将模型转换成ONNX格式。


python torch_to_onxx.py pathToPytorchModel.pwf pathToONNXModel.onnx num_channels

 
最后一步是将ONNX文件转换成OpenVINO兼容格式:tutorial。这提供了两个文件，可以通过修改CFG文件中的weight_file和model_file参数用GPD加载。

 

1.9、抓取图像/描述符

生成一些抓取姿态及其相应的图像/描述符:


./test_grasp_image ../tutorials/krylon.pcd 3456 1 ../models/lenet/15channels/params/

在这里插入图片描述

有关如何创建grasp图像的详细信息，请查看我们的期刊论文。

 

1.10、故障排除提示

Remove the cmake cache: rm CMakeCache.txt
make clean
Remove the build folder and rebuild.
Update gcc and g++ to a version > 5.

 
 

二、gpd_ros 教程

 

2.1 安装gps_ros流程：

 

1. Install GPD. Make sure to run make install to install GPD as a library.【见流程一】
 

2. 源码拉取


cd <location_of_your_workspace>/src
git clone https://github.com/atenpas/gpd_ros

 
3. 编译源码


cd <location_of_your_workspace>
catkin_make

 

2.2 使用gpd_ros

为ROS话题点云生成抓取

  • 1、首先，需要修改 gpd 文件夹中的配置文件，例如 <path_to_gpd>/cfg/ros_eigen_params.cfg， 搜索具有绝对文件路径的参数，并将其更改为系统上的实际路径【也就是有几个配置文件中有绝对路径的，就如/home/***这样的，要根据自己文件的实际路径进行修改】，下面列举了一个例子，还有还几个地方需要修改。

在这里插入图片描述

在这里插入图片描述
 

  • 2、接下来，需要修改ROS启动文件中的路径，该路径指向您在上一步中更改的配置文件，例如这一行。

在这里插入图片描述

 

  • 3、现在，您可以将GPD作为ROS节点运行。以下命令将启动一个等待ROS topic /cloud_stitched上的点云的ROS节点。一旦接收到点云，节点将在云中搜索抓取点。

roslaunch gpd_ros ur5.launch

这篇关于【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1059522。

相关文章

SpringBoot使用Apache Tika检测敏感信息

SpringBoot使用Apache Tika检测敏感信息

《SpringBoot使用ApacheTika检测敏感信息》ApacheTika是一个功能强大的内容分析工具,它能够从多种文件格式中提取文本、元数据以及其他结构化信息,下面我们来看看如何使用Ap... 目录Tika 主要特性1. 多格式支持2. 自动文件类型检测3. 文本和元数据提取4. 支持 OCR（光学
阅读更多...
龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》：本文主要介绍了安装和配置AnolisOS23.2系统，包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤，详细内容请阅读本文，希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统，旨
阅读更多...
Ubuntu系统怎么安装Warp? 新一代AI 终端神器安装使用方法

Ubuntu系统怎么安装Warp? 新一代AI 终端神器安装使用方法

《Ubuntu系统怎么安装Warp?新一代AI终端神器安装使用方法》Warp是一款使用Rust开发的现代化AI终端工具，该怎么再Ubuntu系统中安装使用呢？下面我们就来看看详细教程... Warp Terminal 是一款使用 Rust 开发的现代化「AI 终端」工具。最初它只支持 MACOS，但在 20
阅读更多...
mysql-8.0.30压缩包版安装和配置MySQL环境过程

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址：https://d
阅读更多...
LinuxMint怎么安装? Linux Mint22下载安装图文教程

LinuxMint怎么安装? Linux Mint22下载安装图文教程

《LinuxMint怎么安装?LinuxMint22下载安装图文教程》LinuxMint22发布以后，有很多新功能，很多朋友想要下载并安装，该怎么操作呢？下面我们就来看看详细安装指南... linux Mint 是一款基于 Ubuntu 的流行发行版，凭借其现代、精致、易于使用的特性，深受小伙伴们所喜爱。对
阅读更多...
Linux(Centos7)安装Mysql/Redis/MinIO方式

Linux(Centos7)安装Mysql/Redis/MinIO方式

《Linux(Centos7)安装Mysql/Redis/MinIO方式》文章总结：介绍了如何安装MySQL和Redis,以及如何配置它们为开机自启,还详细讲解了如何安装MinIO,包括配置Syste... 目录安装mysql安装Redis安装MinIO总结安装Mysql安装Redis搜索Red
阅读更多...
python安装完成后可以进行的后续步骤和注意事项小结

python安装完成后可以进行的后续步骤和注意事项小结

《python安装完成后可以进行的后续步骤和注意事项小结》本文详细介绍了安装Python3后的后续步骤,包括验证安装、配置环境、安装包、创建和运行脚本,以及使用虚拟环境,还强调了注意事项,如系统更新、... 目录验证安装配置环境（可选）安装python包创建和运行Python脚本虚拟环境（可选）注意事项安装
阅读更多...
gradle安装和环境配置全过程

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i
阅读更多...
Jsoncpp的安装与使用方式

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数
阅读更多...
mac安装redis全过程

mac安装redis全过程

《mac安装redis全过程》文章内容主要介绍了如何从官网下载指定版本的Redis,以及如何在自定义目录下安装和启动Redis,还提到了如何修改Redis的密码和配置文件,以及使用RedisInsig... 目录MAC安装Redis安装启动redis 配置redis 常用命令总结mac安装redis官网下
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2