(3)(3.1) 英特尔Realsense深度摄像头(三)

2024-04-12 10:36

本文主要是介绍(3)(3.1) 英特尔Realsense深度摄像头(三),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

前言

10 系统概述

11 手动设置配套计算机


前言

本文介绍如何将英特尔 Realsense 深度摄像头(Intel Realsense Depth Camera)与 ArduPilot 配合使用,以实现避障(obstacle avoidance)。该方法使用在配套计算机上运行的 Python 脚本(非 ROS)向 ArduPilot 发送距离信息。


10 系统概述

简而言之,该脚本会将 Realsense 深度摄像头提供的深度图像转换成与前方障碍物的距离。AP 支持 DISTANCE_SENSOROBSTACLE_DISTANCE MAVLink 消息,前者携带单个距离,后者携带距离数组。OBSTACLE_DISTANCE 允许我们同时发送多达 72 个距离,因此我们将使用它。

  •  首先,必须对原始深度图像应用某种形式的滤波器,以避免黑洞和噪音,并改进数据以获得更稳定的结果。以下是脚本中包含的滤镜的完整列表(list of filters),你可以单独启用这些滤镜。要测试不同滤镜的设置,可以使用 librealsense 提供的 rs-depth-quality 示例或运行 opencv_depth_filtering.py 示例脚本。下图展示了原始(左)和过滤后(右)的深度图像,水平线是我们计算与障碍物距离的位置; 

  •  接下来,从输入/处理后的深度图像来看,由于信息中没有区分不同俯仰角度的区域,因此距离需要在同一水平线上(如右图所示)。我们将摄像头的水平视场划分为 72 条均匀分布的光线。沿着每条射线,我们选择与射线末端相对应的像素,并提取出深度值;
  • 随后,当飞行器上下俯仰时,障碍物线将通过补偿飞行器当前俯仰(由 MAVLink 的ATTITUDE 信息提供)保持"固定";
  • 最后,发送信息的频率应在 10Hz 或更高,这取决于飞行器的行驶速度。 

11 手动设置配套计算机

只有在尚未将 APSync 安装到配套计算机的情况下,才需要执行这些步骤。

用于配套电脑:

  •  操作系统:Ubuntu 18.04(强烈建议使用此版本,因为该版本包含最新的所需库);
  • Python 3.6 及以上版本,这也是 Ubuntu 18.04 的标准版本。使用 $ python3 -V 查看版本,应该能看到 Python 3.6.9 或更高版本;
  • librealsense:从官方资源(official source)下载或安装;
  • pyrealsense2 也是必需的。 

不同系统的安装过程有很大差异,因此请参考 github 官方页面(the official github page),了解具体系统的安装说明:

  1. Ubuntu
  2. Jetson
  3. Odroid
  4. Windows
  5. Raspbian

安装支持软件包

首先为 Ubuntu 安装 Python3(Python3 for Ubuntu)(Ubuntu 18.04 及以上版本无需安装)。然后使用 Python3命令运行英特尔提供的示例,这些示例位于 ~/librealsense/wrappers/python/examples 文件夹中。

# Update the PYTHONPATH environment variable to add the path to the pyrealsense2 library

export PYTHONPATH=$PYTHONPATH:/usr/local/lib

cd ~/librealsense/wrappers/python/examples

# You should see a stream of depth data coming from the D4xx camera.

python3 python-tutorial-1-depth.py

安装 Python3pip (pip3) 和其他支持软件包:

sudo apt-get install python3-pip

pip3 install pyrealsense2

pip3 install transformations

pip3 install dronekit

pip3 install apscheduler

pip3 install pyserial # For serial connection

pip3 install opencv-python

sudo apt -y install python3-gst-1.0 gir1.2-gst-rtsp-server-1.0 gstreamer1.0-plugins-base gstreamer1.0-plugins-ugly libx264-dev

# Only necessary if you installed the minimal version of Ubuntu

sudo apt install python3-opencv

下载主脚本 d4xx_to_mavlink.py,或克隆 vision_to_mavros 软件源并找到脚本文件夹。

cd /path/to/download # Or ROS workspace ~/catkin_ws/src

git clone https://github.com/thien94/vision_to_mavros.git

cd vision_to_mavros/script

chmod +x d4xx_to_mavlink.py

chmod +x opencv_depth_filtering.py  # Useful to test the filtering options

AP 一起使用的主要脚本是 d4xx_to_mavlink.py。第二个脚本 opencv_depth_filtering.py可用于在闲暇时测试不同的过滤选项。

修改脚本

如果没有插入监视器,可通过设置 debug_enable_default = False 禁用脚本 d4xx_to_mavlink.py 中的调试选项,或在运行脚本时添加参数 --debug_enable 0

1. 用以下命令运行脚本。

cd /path/to/script

python3 d4xx_to_mavlink.py

2. 如果启用了调试选项,请等待显示输入和处理后的深度图像。在右上角可以看到处理速度(帧/秒)。输出图像(右侧)上的水平线表示我们找到的与摄像机前方障碍物距离的直线。

设置摄像机 RGB 图像的视频馈送:

1. 脚本 d4xx_to_mavlink.py 有一个选项 RTSP_STREAMING_ENABLE。如果启用(True),Realsense 摄像机的 RGB 图像视频流将在 rtsp://<ip-address>:8554/d4xxUP2 / 配套计算机的 <ip-address> 上提供。

2.Mission Planner 中:右键单击 HUD > 视频 > 设置 GStreamer 源,这将打开 Gstreamer url 窗口。将以下示例管道输入 Gstreamer url 窗口。相应更改 <ip-address>

rtspsrc location=rtsp://<ip-address>:8554/d4xx caps=“application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264” latency=100 ! queue ! rtph264depay ! avdec_h264 ! videoconvert ! video/x-raw,format=BGRA ! appsink name=outsink

3. 视频传输的延迟取决于网络和管道配置,因此请随时调整/修改参数。

由于深度摄像头在不同设置/环境下的性能各不相同,建议在实际飞行前进一步调整脚本设置。以下是根据系统实际实验所做的一些改进:

1. 当飞行器在地面上时,深度图像的大部分可能会看到地面。在这种情况下,可在 d4xx_to_mavlink.py 脚本中减小 obstacle_line_height_ratio参数(接近零),以向上移动障碍物检测线。

2. 如果深度数据有噪声,可以通过修改obstacle_line_thickness_pixel参数来增加障碍物线的厚度。在撰写本文时,我们的想法是处理某个边界(由该参数定义)内的一组像素,并找出最低值作为物体的指示器。如果将来开发出更好的方案,这一点可以改变。

Tip

深度摄像头可与 Realsense T265 跟踪摄像头一起用于非 GPS 导航(Realsense T265 Tracking camera for non-GPS navigation)。有一些支持脚本(scripts)可以简化同时使用多个摄像头的过程。

这篇关于(3)(3.1) 英特尔Realsense深度摄像头(三)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/896889

相关文章

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错?是不是同时用了.properties和.yml?二、换个位置配置就失效?搞清楚加

Python如何将OpenCV摄像头视频流通过浏览器播放

《Python如何将OpenCV摄像头视频流通过浏览器播放》:本文主要介绍Python如何将OpenCV摄像头视频流通过浏览器播放的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完... 目录方法1:使用Flask + MJPEG流实现代码使用方法优点缺点方法2:使用WebSocket传输视

java对接海康摄像头的完整步骤记录

《java对接海康摄像头的完整步骤记录》在Java中调用海康威视摄像头通常需要使用海康威视提供的SDK,下面这篇文章主要给大家介绍了关于java对接海康摄像头的完整步骤,文中通过代码介绍的非常详细,需... 目录一、开发环境准备二、实现Java调用设备接口(一)加载动态链接库(二)结构体、接口重定义1.类型

Python中文件读取操作漏洞深度解析与防护指南

《Python中文件读取操作漏洞深度解析与防护指南》在Web应用开发中,文件操作是最基础也最危险的功能之一,这篇文章将全面剖析Python环境中常见的文件读取漏洞类型,成因及防护方案,感兴趣的小伙伴可... 目录引言一、静态资源处理中的路径穿越漏洞1.1 典型漏洞场景1.2 os.path.join()的陷

C/C++和OpenCV实现调用摄像头

《C/C++和OpenCV实现调用摄像头》本文主要介绍了C/C++和OpenCV实现调用摄像头,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录准备工作1. 打开摄像头2. 读取视频帧3. 显示视频帧4. 释放资源5. 获取和设置摄像头属性