飞行机器人专栏（十四）-- Kinect DK 人体骨骼点运动提取方法

2024-04-18 05:52
文章标签 提取 方法 十四 机器人 人体 骨骼 运动 专栏 kinect 飞行 dk

本文主要是介绍飞行机器人专栏（十四）-- Kinect DK 人体骨骼点运动提取方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

系列文章目录

Ubuntu 18.04/20.04 CV环境配置（下）--手势识别TRTpose+Kinect DK人体骨骼识别_ubuntu kinect骨骼测试-CSDN博客文章浏览阅读1.3k次。trt_pose_ros+ kinect实现手势识别和人体骨骼识别，用于机器人运动控制参考_ubuntu kinect骨骼测试https://haowang.blog.csdn.net/article/details/126761139

文章目录

目录

前言

一、Kinect DK简介

二、关键特性

1.硬件配置

尺寸和重量

2.技术特性

术语

3.功能说明

Azure Kinect 人体跟踪功能

三、 安装K4A & K4ABT SDK及ROS驱动

1. 官方SDK

Building and Dependencies

传感器 SDK

Azure Kinect 人体跟踪 SDK

2. SDK安装

Windows 安装说明

Linux 安装说明

3. 人体追踪SDK

         Azure Kinect 人体跟踪 SDK 的内容

4. 多设备连接

使用多个 Azure Kinect DK 设备的好处

5. 多设备标定

方法1-Green Screen Example

Green Screen Example

 方法2-KinectAzureDKProgramming

前言

Azure Kinect DK 是一款开发人员工具包，配有先进的 AI 传感器，提供复杂的计算机视觉和语音模型。 Kinect 将深度传感器、空间麦克风阵列与视频摄像头和方向传感器整合成一体式的小型设备，提供多种模式、选项和软件开发工具包 (SDK)。 

Azure Kinect DK 开发环境由以下多个 SDK 组成：

  • 用于访问低级别传感器和设备的传感器 SDK。
  • 用于跟踪 3D 人体的人体跟踪 SDK。
  • 用于启用麦克风访问和基于 Azure 云的语音服务的 Azure AI 语音 SDK。

此外，可将认知视觉服务与设备 RGB 相机配合使用。

Azure Kinect 传感器 SDK 提供低级别传感器访问用于完成 Azure Kinect DK 硬件传感器和设备配置。若要详细了解 Azure Kinect 传感器 SDK，请参阅使用传感器 SDK。

一、Kinect DK简介

        Azure Kinect DK是面向商业用户的一款专业体感设备：100万像素TOF深度摄像头、1200万像素高清摄像头，7麦克风圆形阵列，和方向传感器，包含了深度，视觉，声音和方向四大传感器类别。

        深度摄像头在控制访问时可以选择宽或窄两种FOV视野，所以在实际空间内获取的数据将会更为精准。可以将捕捉到的人或物的画面以深度摄像画面和三维点云效果来表现。

        同时，连接Azure云服务，进一步推进Azure Kinect DK认知服务，通过将设备上的高级传感器与Azure云端认知服务相结合，开发更准确的视觉和语音模型，并使用Azure机器学习服务来训练模型 。

Azure Kinect DK 文档 | Microsoft LearnAzure Kinect DK 是一款开发人员工具包，配有先进的 AI 传感器，提供复杂的计算机视觉和语音模型。 Kinect 将深度传感器、带有视频摄像头的空间麦克风阵列和方向传感器整合成一体式的小型设备，提供多种模式、选项和 SDK。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/

二、关键特性

1.硬件配置

尺寸和重量

Azure Kinect 设备的尺寸和重量如下。

  • 尺寸：103 x 39 x 126 毫米
  • 重量：440 克

 

2.技术特性

  • 相机视野

术语

整篇文章使用了以下缩写术语。

  • NFOV（窄视场深度模式）
  • WFOV（宽视场深度模式）
  • FOV（视场）
  • FPS（每秒帧数）
  • IMU（惯性测量单元）
  • FoI（专业范围）

 

3.功能说明

Azure Kinect 人体跟踪功能

随附的 SDK 提供以下人体跟踪功能：

  • 提供人体图像分段。
  • 包含 FOV 中每个不完整或完整人体的在解剖学上正确的骨干。
  • 提供每个人体的唯一标识。
  • 可跟踪人体在不同时间的位置。

三、 安装K4A & K4ABT SDK及ROS驱动

GitHub - microsoft/Azure-Kinect-Sensor-SDK: A cross platform (Linux and Windows) user mode SDK to read data from your Azure Kinect device.A cross platform (Linux and Windows) user mode SDK to read data from your Azure Kinect device. - microsoft/Azure-Kinect-Sensor-SDKicon-default.png?t=N7T8https://github.com/Microsoft/Azure-Kinect-Sensor-SDKAzure Kinect 传感器 SDK 下载 | Microsoft Learn了解如何在 Windows 和 Linux 中下载和安装 Azure Kinect 传感器 SDK。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/sensor-sdk-download

1. 官方SDK

Building and Dependencies

This information is for how to build your own copy of the SDK binaries. Most users of the Azure Kinect DK should not need to re-build the SDK, if you just need to use the SDK see usage for more information. If you need to build from source, you have to clone the repository instead of downloading the Zip file to ensure all the submodule dependencies in place.

Azure-Kinect-Sensor-SDK/docs/building.md at develop · microsoft/Azure-Kinect-Sensor-SDK · GitHubA cross platform (Linux and Windows) user mode SDK to read data from your Azure Kinect device. - Azure-Kinect-Sensor-SDK/docs/building.md at develop · microsoft/Azure-Kinect-Sensor-SDKicon-default.png?t=N7T8https://github.com/microsoft/Azure-Kinect-Sensor-SDK/blob/develop/docs/building.md

传感器 SDK 提供以下功能，这些功能一经安装即可在 Azure Kinect DK 上运行：

  • 深度相机访问和模式控制（被动 IR 模式，以及宽视场和窄视场深度模式）
  • RGB 相机访问和控制（例如曝光和白平衡）
  • 运动传感器（陀螺仪和加速度传感器）访问
  • 同步的深度 RGB 相机流，相机之间的延迟可配置
  • 外部设备同步控制，设备之间的延迟偏移量可配置
  • 用于处理图像分辨率、时间戳等的相机帧元数据访问。
  • 设备校准数据访问

关于 Azure Kinect 传感器 SDK | Microsoft Learn概述 Azure Kinect 传感器软件开发工具包 (SDK) 及其功能和工具。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/about-sensor-sdk

传感器 SDK

  • 下载传感器 SDK。
  • GitHub 上已提供传感器 SDK 的开放源代码。
  • 有关用法详细信息，请参阅传感器 SDK API 文档。

Azure Kinect 人体跟踪 SDK

人体跟踪 SDK 包含 Windows 库和运行时，在 Azure Kinect DK 硬件上使用时可以跟踪 3D 人体。

2. SDK安装

Windows 安装说明

可在此处找到最新版和旧版 Azure Kinect 传感器 SDK 和固件的安装详细信息。

可在此处找到源代码。

 备注

安装 SDK 时，请记住要安装到的路径。 例如，“C:\Program Files\Azure Kinect SDK 1.2”。 你将在此路径中找到文章中提到的工具。

 

Linux 安装说明

        目前，唯一支持的分发版是 Ubuntu 18.04。 若要请求对其他分发版的支持，请参阅此页。

        首先，需要遵照此处的说明，配置 Microsoft 的包存储库。

现在，可以安装所需的包。 k4a-tools 包中包含 Azure Kinect 查看器、Azure Kinect 录制器和 Azure Kinect 固件工具。 若要安装该包，请运行：

sudo apt install k4a-tools

        此命令安装该工具正常工作所需的依赖项包，包括最新版本的 libk4a<major>.<minor>。 你将需要添加 udev 规则来访问 Azure Kinect DK，而不必成为根用户。 有关说明，请参阅 Linux 设备设置。 也可以根用户身份启动那些使用设备的应用程序。

libk4a<major>.<minor>-dev 包中包含针对 libk4a 生成应用程序/可执行文件的头文件以及 CMake 文件。

libk4a<major>.<minor> 包中包含运行依赖于 libk4a 的应用程序/可执行文件所需的共享对象。

基本教程需要 libk4a<major>.<minor>-dev 包。 若要安装该包，请运行：

sudo apt install libk4a<major>.<minor>-dev

如果该命令成功，则表示 SDK 可供使用。

请确保安装与 libk4a<major>.<minor>-dev 匹配的 libk4a<major>.<minor> 版本。 例如，如果你安装 libk4a1.4.1-dev 包，则请安装包含共享对象文件匹配版本的相应 libk4a1.4.1 包。 有关 libk4a 的最新版本，请参见下一部分的链接。

3. 人体追踪SDK

Azure Kinect Body Tracking SDK: Welcomeicon-default.png?t=N7T8https://microsoft.github.io/Azure-Kinect-Body-Tracking/release/1.1.x/index.html

         https://learn.microsoft.com/zh-cn/azure/kinect-dk/body-sdk-download

Azure Kinect 人体跟踪 SDK 的内容

  • 使用 Azure Kinect DK 生成人体跟踪应用程序所需的标头和库。
  • 使用 Azure Kinect DK 的人体跟踪应用程序所需的可再发行 DLL。
  • 示例人体跟踪应用程序。

4. 多设备连接

同步多个 Azure Kinect DK 设备 | Microsoft Learn本文探讨多设备同步的优势，以及如何设置要同步的设备。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/multi-camera-sync

每个 Azure Kinect DK 设备附带 3.5 毫米同步端口（输入同步和输出同步），可将多个设备链接在一起。 连接设备后，软件可以协调设备之间的触发定时。

本文将介绍如何连接和同步设备。

使用多个 Azure Kinect DK 设备的好处

使用多个 Azure Kinect DK 设备的原因有很多，包括：

  • 填补遮挡区域。 尽管 Azure Kinect DK 数据转换生成的是单个图像，但两个相机（深度和 RGB 相机）实际上保持着较小的一段距离。 这种偏移使得遮挡成为可能。 遮挡是指前景对象阻挡了设备上两个相机之一的背景对象的部分视角。 在生成的彩色图像中，前景对象看上去像是在背景对象上投射了一个阴影。
    例如，在下图中，左侧相机可看到灰色像素“P2”。但是，白色前景对象会阻止右侧相机 IR 横梁。 右侧相机无法获取“P2”的数据。附加的同步设备可以提供遮挡的数据。
  • 扫描三维对象。
  • 将有效帧速率提升至 30 帧/秒 (FPS) 以上的值。
  • 捕获同一场景的多个 4K 彩色图像，所有图像都在曝光中心时间点的 100 微秒 (μs) 内对齐。
  • 增大相机的空间覆盖范围。

5. 多设备标定

方法1-Green Screen Example

Green Screen Example

The goal of the green screen example is to demonstrate best practices for using multiple Azure Kinect DK devices, with an emphasis on synchronization and calibration (the 'green screen' code is only a small portion of the logic). In particular, the green screen application showcases a physical limitation of the hardware and how it can be mostly addressed using another device.

Azure-Kinect-Sensor-SDK/examples/green_screen at develop · microsoft/Azure-Kinect-Sensor-SDK · GitHub

 编译：CMakelists.tst

# Copyright (c) Microsoft Corporation. All rights reserved.
# Licensed under the MIT License.
cmake_minimum_required(VERSION 3.5)
project(kinextdk_example LANGUAGES C CXX)############################
#### AZURE KINECT SDK ######
############################message("Finding K4A SDK binaries")# Disable cached locations for K4A SDK binaries.
# Do this to force the search logic to happen correctly.
# If we don't disable these cached directories, we
# won't be able to tell the difference between the ext/sdk location
# and the system installed version on linux. Since we have to treat these
# differently (one needs install, one doesn't) we must disable the cache
# so that find_package(k4a) will fail in all cases if not installed via the .deb.
unset(k4a_DIR CACHE)# Force running the Findk4a.cmake module
find_package(k4a  REQUIRED)
find_package(OpenCV REQUIRED)
set(K4A_LIBS k4a::k4a;k4a::k4arecord)# This reads the K4A_LIBS and K4A_INSTALL_REQUIRED variables and decides how to install
# the various shared objects / DLLs##################################
###### END AZURE KINECT SDK ######
##################################
include_directories(${OpenCV_INCLUDE_DIRS})add_executable(green_screen main.cpp)
target_link_libraries(green_screen PRIVATE k4a::k4a  ${OpenCV_LIBS})

 

mkdir build && cd build
cmake .. -DOpenCV_REQUIRED=ON
make

 方法2-KinectAzureDKProgramming

 [Calibration] Overlay point cloud from two cameras · Issue #803 · microsoft/Azure-Kinect-Sensor-SDK · GitHubHi I have tried to modify the green_screen example to allow the display of point clouds obtained from two sync cameras but couldn't get the point cloud to overlay correctly. Is there be any sample code on overlaying the point cloud from ...icon-default.png?t=N7T8https://github.com/microsoft/Azure-Kinect-Sensor-SDK/issues/803

GitHub - forestsen/KinectAzureDKProgramming: Samples about Kinect Azure DK programmingSamples about Kinect Azure DK programming. Contribute to forestsen/KinectAzureDKProgramming development by creating an account on GitHub.icon-default.png?t=N7T8https://github.com/forestsen/KinectAzureDKProgramming

  1. Aruco_TwoKinects_Calibration_Extrinsics

    Using ArUco library to calibrate the extrinsic matrix between Two Kinects. We will get two csv files stored two transformation matrix which are "sub => master" and "sub => marker".

  2. OneKinect_Recording_RGB_DEPTH_IR

    Record the rgb+depth+ir stream into the mkv video file.

  3. OneKinect_Playback_RGB_DEPTH_IR

    Playback the mkv video file using opencv.

  4. Open3D_OneKinect

    Using the Open3D to open the azure kinect device and show the rgb + depth image or the point cloud based on the open3d's visualization class.

GitHub - forestsen/K4aGrabber: Kinect Azure DK Grabber of PCL (Point Cloud Library).Kinect Azure DK Grabber of PCL (Point Cloud Library). - forestsen/K4aGrabbericon-default.png?t=N7T8https://github.com/forestsen/K4aGrabber

这篇关于飞行机器人专栏（十四）-- Kinect DK 人体骨骼点运动提取方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/913927。

相关文章

Java学习手册之Filter和Listener使用方法

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》：本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter（过滤器）1. Filter 的工作原理2. Filter 的配置与使用二、Listen
阅读更多...
Pandas统计每行数据中的空值的方法示例

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据（NaN值）是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值？为什么要统计空值？准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处
阅读更多...
Windows 上如果忘记了 MySQL 密码 重置密码的两种方法

Windows 上如果忘记了 MySQL 密码 重置密码的两种方法

《Windows上如果忘记了MySQL密码重置密码的两种方法》：本文主要介绍Windows上如果忘记了MySQL密码重置密码的两种方法,本文通过两种方法结合实例代码给大家介绍的非常详细,感... 目录方法 1：以跳过权限验证模式启动 mysql 并重置密码方法 2：使用 my.ini 文件的临时配置在 Wi
阅读更多...
MySQL重复数据处理的七种高效方法

MySQL重复数据处理的七种高效方法

《MySQL重复数据处理的七种高效方法》你是不是也曾遇到过这样的烦恼：明明系统测试时一切正常,上线后却频频出现重复数据,大批量导数据时,总有那么几条不听话的记录导致整个事务莫名回滚,今天,我就跟大家分... 目录1. 重复数据插入问题分析1.1 问题本质1.2 常见场景图2. 基础解决方案：使用异常捕获3.
阅读更多...
最详细安装 PostgreSQL方法及常见问题解决

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》：本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.
阅读更多...
SQL中redo log 刷⼊磁盘的常见方法

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例（伪代码）在数据库系统中，r
阅读更多...
使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取
阅读更多...
Python实现图片分割的多种方法总结

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)
阅读更多...
Java中Switch Case多个条件处理方法举例

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,：本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1：合并相同代码的多个case示例2：通过字符串合并多个case进阶用法使用
阅读更多...
Python中__init__方法使用的深度解析

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程（OOP）体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2