【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04

2024-06-14 05:36
文章标签 抓取 安装 软件 检测 detection ros ubuntu18.04 pose 姿态 grasp gpd

本文主要是介绍【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、GPD 教程
    • 1.1、依赖要求
    • 1.2、安装GPD
    • 1.3、使用GPD
      • 1.3.1 为点云文件生成抓取
    • 1.4、参数
    • 1.5、可视
    • 1.6、神经网络的输入通道
    • 1.7、CNN框架
    • 1.8、Network Training
    • 1.9、抓取图像/描述符
    • 1.10、故障排除提示
  • 二、gpd_ros 教程
    • 2.1 安装gps_ros流程：
    • 2.2 使用gpd_ros

 
 

抓取姿态检测(GPD)是用于在3D点云中检测2指机器人手(例如，平行颚夹)的6-DOF抓取姿态(3-DOF位置和3-DOF方向)的包。GPD将点云作为输入，并产生可行抓取的姿态估计作为输出。GPD的主要优势是:

  • 适用于新颖的对象(检测不需要CAD模型)，
  • 在密集杂乱的环境中工作，并且
  • 输出6自由度抓取姿态(不仅仅是自上而下的抓取)。

GPD由两个主要步骤组成:对大量抓取候选对象进行采样，并将这些候选对象分类为可行抓取对象或不可行抓取对象。

安装过程中的参考博文：
1、ROS kinetic 升级 PCL1.9.0 以安装gpd库和gpd_ros
2、ROS 包封装 GPD【使用方法】
 

一、GPD 教程

1.1、依赖要求

在这里插入图片描述
可以参考之前的博文： 【软件安装9】OpenCV多版本安装Ubuntu18.04
                                        与 【软件安装10】PCL多版本安装Ubuntu18.04 进行提前安装对应的依赖版本。

 
 

1.2、安装GPD


// clone 如下仓库
git clone https://github.com/atenpas/gpdcd gpd
mkdir build && cd build
cmake ..
make -j// 您可以选择使用sudo make install安装GPD，以便它可以作为共享库被其他项目使用。
// 如果构建包不起作用，请尝试修改CMakeLists.txt文件中的编译器标志CMAKE_CXX_FLAGS。

 
 

1.3、使用GPD

 

1.3.1 为点云文件生成抓取

在点云文件（PCD或PLY）上运行GPD


// 在 该路径下 /home/hzx/Videos/zhihu_ws/ws_moveit/src/robot_sim/gpd/build 执行指令
./detect_grasps ../cfg/eigen_params.cfg ../tutorials/krylon.pcd

在这里插入图片描述
 

会依次输出类似于下面的屏幕截图【截图均为PCL的查看器】，该窗口是PCL查看器。您可以按【q】关闭窗口，按【h】查看其他命令列表。：

执行指令后，
首先出现标题为 Normals 的查看器1；
鼠标点击选中该查看器1，按键q，会出现标题为 Grasp candidates 的查看器2；
再次鼠标点击两个查看器中的任意一个后，按键q，会出现标题为Selected Grasps 查看器3；
最后点击三个查看器中的任意一个后，按键q，会关闭所有查看器窗口】

在这里插入图片描述

 
下面是GPD用于抓取姿势（位置和方向）的惯例的可视化。抓取位置由橙色十字表示，方向由彩色箭头表示。【坐标轴，副法线，靠近】
在这里插入图片描述

 

1.4、参数

cfg/eigen_params.cfg 中给出了参数的简要说明。

您通常希望用来提高找到的抓取次数的两个参数是workspace和num_samples。第一个将在其中搜索抓取的空间体积定义为以点云框架的原点为中心的维度为[minX，maxX，minY，maxY，minZ，maxZ]的长方体。第二个是从点云中提取的用于检测抓取的样本数量。您应该将工作空间设置得尽可能小，并将样本数量设置得尽可能多。

大部分代码都是并行化的。要提高运行时间，请将num_threads设置为计算机可用的(物理)CPU核心数。

 

1.5、可视

您可以将该套件与一个或两个深度传感器一起使用。这个包附带了两者的CAFFE模型文件。您可以在models/caffe/15channels中找到这些文件。对于单个传感器，使用single _ view _ 15 _ channels . caffe model，对于两个深度传感器，使用two_views_15_channels_[angle]。[角度]是两个传感器视图之间的角度，如下图所示。在双视图设置中，您希望在将两个点云发送到GPD之前将它们注册在一起。

在这里插入图片描述

将摄像机位置提供给配置文件( *.cfg ) 很重要，因为它使PCL能够估计正确的法线方向(指向相机)。或者，使用ROS包装器，可以提供多个摄像机位置。
在这里插入图片描述

要在一个和两个传感器视图之间切换，请更改配置文件中的参数weight_file。
 

1.6、神经网络的输入通道

该软件包带有神经网络的两种不同输入表示的权重文件，用于决定抓取是否可行:3或15个通道。默认为15个通道。但是，您可以使用3个通道来获得更好的运行时间，以弥补抓取质量的损失。有关更多详细信息，请参见下面的参考资料。
 

1.7、CNN框架

GPD附带了许多不同的分类器框架，它们利用不同的硬件并具有不同的依赖性。在框架之间切换需要运行带有附加参数的CMake。例如，要使用OpenVino框架:


cmake .. -DUSE_OPENVINO=ON

您可以使用ccmake来检查所有可能的cmake选项。

GPD支持以下三个框架:

OpenVino: installation instructions for open source version (CPUs, GPUs, FPGAs from Intel)
Caffe (GPUs from Nvidia or CPUs)
Custom LeNet implementation using the Eigen library (CPU)

可以通过对分类器接口进行子类化来添加额外的分类器。

OpenVINO
速度上推荐OpenVINO。要使用OpenVINO，您需要在编译GPD之前运行以下命令。


export InferenceEngine_DIR=/path/to/dldt/inference-engine/build/

 

1.8、Network Training

要用C++代码创建训练数据，需要安装OpenCV 3.4 Contribs。接下来，您需要编译带有DBUILD_DATA_GENERATION标志的GPD，如下所示:


cd gpd
mkdir build && cd build
cmake .. -DBUILD_DATA_GENERATION=ON
make -j

训练网络来预测抓取姿态有四个步骤。
首先，我们需要创建抓取图像。


./generate_data ../cfg/generate_data.cfg

你应该根据需要修改generate_data.cfg。

 
接下来，您需要将创建的数据库调整为train_offset和test_offset(参见generate_data的终端输出)。例如，要调整训练集的大小，请使用以下命令，并将size设置为train_offset的值。


cd pytorch
python reshape_hdf5.py pathToTrainingSet.h5 out.h5 size

 
第三步是训练一个神经网络。训练网络最简单的方法是使用现有的代码。这需要pytorch框架。要训练网络，请使用以下命令。


cd pytorch
python train_net3.py pathToTrainingSet.h5 pathToTestSet.h5 num_channels

 
第四步是将模型转换成ONNX格式。


python torch_to_onxx.py pathToPytorchModel.pwf pathToONNXModel.onnx num_channels

 
最后一步是将ONNX文件转换成OpenVINO兼容格式:tutorial。这提供了两个文件，可以通过修改CFG文件中的weight_file和model_file参数用GPD加载。

 

1.9、抓取图像/描述符

生成一些抓取姿态及其相应的图像/描述符:


./test_grasp_image ../tutorials/krylon.pcd 3456 1 ../models/lenet/15channels/params/

在这里插入图片描述

有关如何创建grasp图像的详细信息，请查看我们的期刊论文。

 

1.10、故障排除提示

Remove the cmake cache: rm CMakeCache.txt
make clean
Remove the build folder and rebuild.
Update gcc and g++ to a version > 5.

 
 

二、gpd_ros 教程

 

2.1 安装gps_ros流程：

 

1. Install GPD. Make sure to run make install to install GPD as a library.【见流程一】
 

2. 源码拉取


cd <location_of_your_workspace>/src
git clone https://github.com/atenpas/gpd_ros

 
3. 编译源码


cd <location_of_your_workspace>
catkin_make

 

2.2 使用gpd_ros

为ROS话题点云生成抓取

  • 1、首先，需要修改 gpd 文件夹中的配置文件，例如 <path_to_gpd>/cfg/ros_eigen_params.cfg， 搜索具有绝对文件路径的参数，并将其更改为系统上的实际路径【也就是有几个配置文件中有绝对路径的，就如/home/***这样的，要根据自己文件的实际路径进行修改】，下面列举了一个例子，还有还几个地方需要修改。

在这里插入图片描述

在这里插入图片描述
 

  • 2、接下来，需要修改ROS启动文件中的路径，该路径指向您在上一步中更改的配置文件，例如这一行。

在这里插入图片描述

 

  • 3、现在，您可以将GPD作为ROS节点运行。以下命令将启动一个等待ROS topic /cloud_stitched上的点云的ROS节点。一旦接收到点云，节点将在云中搜索抓取点。

roslaunch gpd_ros ur5.launch

这篇关于【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1059522。

相关文章

如何在Mac上安装并配置JDK环境变量详细步骤

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》：本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1：下载JDK步骤 2：安装JDK步骤 3：配置环境变量1. 编辑~/.zshrc（对于zsh
阅读更多...
如何在pycharm安装torch包

如何在pycharm安装torch包

《如何在pycharm安装torch包》：本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p
阅读更多...
在PyCharm中安装PyTorch、torchvision和OpenCV详解

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》：本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor
阅读更多...
Python Transformer 库安装配置及使用方法

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理（NLP）领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用：Pi
阅读更多...
如何解决mmcv无法安装或安装之后报错问题

如何解决mmcv无法安装或安装之后报错问题

《如何解决mmcv无法安装或安装之后报错问题》：本文主要介绍如何解决mmcv无法安装或安装之后报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mmcv无法安装或安装之后报错问题1.当我们运行YOwww.chinasem.cnLO时遇到2.找到下图所示这里3.
阅读更多...
Python 安装和配置flask, flask_cors的图文教程

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》：本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas
阅读更多...
Win11安装PostgreSQL数据库的两种方式详细步骤

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,：本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 （推荐）下载安装包1. 选择操作系统2. 跳转到EDB（PostgreSQL 的
阅读更多...
Linux系统中卸载与安装JDK的详细教程

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1
阅读更多...
Linux卸载自带jdk并安装新jdk版本的图文教程

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa
阅读更多...
MySQL Workbench 安装教程(保姆级)

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言：详细步骤：一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本，要是
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2