飞行机器人专栏（十四）-- Kinect DK 人体骨骼点运动提取方法

2024-04-18 05:52
文章标签 提取 方法 十四 机器人 人体 骨骼 运动 专栏 kinect 飞行 dk

本文主要是介绍飞行机器人专栏（十四）-- Kinect DK 人体骨骼点运动提取方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

系列文章目录

Ubuntu 18.04/20.04 CV环境配置（下）--手势识别TRTpose+Kinect DK人体骨骼识别_ubuntu kinect骨骼测试-CSDN博客文章浏览阅读1.3k次。trt_pose_ros+ kinect实现手势识别和人体骨骼识别，用于机器人运动控制参考_ubuntu kinect骨骼测试https://haowang.blog.csdn.net/article/details/126761139

文章目录

目录

前言

一、Kinect DK简介

二、关键特性

1.硬件配置

尺寸和重量

2.技术特性

术语

3.功能说明

Azure Kinect 人体跟踪功能

三、 安装K4A & K4ABT SDK及ROS驱动

1. 官方SDK

Building and Dependencies

传感器 SDK

Azure Kinect 人体跟踪 SDK

2. SDK安装

Windows 安装说明

Linux 安装说明

3. 人体追踪SDK

         Azure Kinect 人体跟踪 SDK 的内容

4. 多设备连接

使用多个 Azure Kinect DK 设备的好处

5. 多设备标定

方法1-Green Screen Example

Green Screen Example

 方法2-KinectAzureDKProgramming

前言

Azure Kinect DK 是一款开发人员工具包，配有先进的 AI 传感器，提供复杂的计算机视觉和语音模型。 Kinect 将深度传感器、空间麦克风阵列与视频摄像头和方向传感器整合成一体式的小型设备，提供多种模式、选项和软件开发工具包 (SDK)。 

Azure Kinect DK 开发环境由以下多个 SDK 组成：

  • 用于访问低级别传感器和设备的传感器 SDK。
  • 用于跟踪 3D 人体的人体跟踪 SDK。
  • 用于启用麦克风访问和基于 Azure 云的语音服务的 Azure AI 语音 SDK。

此外，可将认知视觉服务与设备 RGB 相机配合使用。

Azure Kinect 传感器 SDK 提供低级别传感器访问用于完成 Azure Kinect DK 硬件传感器和设备配置。若要详细了解 Azure Kinect 传感器 SDK，请参阅使用传感器 SDK。

一、Kinect DK简介

        Azure Kinect DK是面向商业用户的一款专业体感设备：100万像素TOF深度摄像头、1200万像素高清摄像头，7麦克风圆形阵列，和方向传感器，包含了深度，视觉，声音和方向四大传感器类别。

        深度摄像头在控制访问时可以选择宽或窄两种FOV视野，所以在实际空间内获取的数据将会更为精准。可以将捕捉到的人或物的画面以深度摄像画面和三维点云效果来表现。

        同时，连接Azure云服务，进一步推进Azure Kinect DK认知服务，通过将设备上的高级传感器与Azure云端认知服务相结合，开发更准确的视觉和语音模型，并使用Azure机器学习服务来训练模型 。

Azure Kinect DK 文档 | Microsoft LearnAzure Kinect DK 是一款开发人员工具包，配有先进的 AI 传感器，提供复杂的计算机视觉和语音模型。 Kinect 将深度传感器、带有视频摄像头的空间麦克风阵列和方向传感器整合成一体式的小型设备，提供多种模式、选项和 SDK。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/

二、关键特性

1.硬件配置

尺寸和重量

Azure Kinect 设备的尺寸和重量如下。

  • 尺寸：103 x 39 x 126 毫米
  • 重量：440 克

 

2.技术特性

  • 相机视野

术语

整篇文章使用了以下缩写术语。

  • NFOV（窄视场深度模式）
  • WFOV（宽视场深度模式）
  • FOV（视场）
  • FPS（每秒帧数）
  • IMU（惯性测量单元）
  • FoI（专业范围）

 

3.功能说明

Azure Kinect 人体跟踪功能

随附的 SDK 提供以下人体跟踪功能：

  • 提供人体图像分段。
  • 包含 FOV 中每个不完整或完整人体的在解剖学上正确的骨干。
  • 提供每个人体的唯一标识。
  • 可跟踪人体在不同时间的位置。

三、 安装K4A & K4ABT SDK及ROS驱动

GitHub - microsoft/Azure-Kinect-Sensor-SDK: A cross platform (Linux and Windows) user mode SDK to read data from your Azure Kinect device.A cross platform (Linux and Windows) user mode SDK to read data from your Azure Kinect device. - microsoft/Azure-Kinect-Sensor-SDKicon-default.png?t=N7T8https://github.com/Microsoft/Azure-Kinect-Sensor-SDKAzure Kinect 传感器 SDK 下载 | Microsoft Learn了解如何在 Windows 和 Linux 中下载和安装 Azure Kinect 传感器 SDK。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/sensor-sdk-download

1. 官方SDK

Building and Dependencies

This information is for how to build your own copy of the SDK binaries. Most users of the Azure Kinect DK should not need to re-build the SDK, if you just need to use the SDK see usage for more information. If you need to build from source, you have to clone the repository instead of downloading the Zip file to ensure all the submodule dependencies in place.

Azure-Kinect-Sensor-SDK/docs/building.md at develop · microsoft/Azure-Kinect-Sensor-SDK · GitHubA cross platform (Linux and Windows) user mode SDK to read data from your Azure Kinect device. - Azure-Kinect-Sensor-SDK/docs/building.md at develop · microsoft/Azure-Kinect-Sensor-SDKicon-default.png?t=N7T8https://github.com/microsoft/Azure-Kinect-Sensor-SDK/blob/develop/docs/building.md

传感器 SDK 提供以下功能，这些功能一经安装即可在 Azure Kinect DK 上运行：

  • 深度相机访问和模式控制（被动 IR 模式，以及宽视场和窄视场深度模式）
  • RGB 相机访问和控制（例如曝光和白平衡）
  • 运动传感器（陀螺仪和加速度传感器）访问
  • 同步的深度 RGB 相机流，相机之间的延迟可配置
  • 外部设备同步控制，设备之间的延迟偏移量可配置
  • 用于处理图像分辨率、时间戳等的相机帧元数据访问。
  • 设备校准数据访问

关于 Azure Kinect 传感器 SDK | Microsoft Learn概述 Azure Kinect 传感器软件开发工具包 (SDK) 及其功能和工具。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/about-sensor-sdk

传感器 SDK

  • 下载传感器 SDK。
  • GitHub 上已提供传感器 SDK 的开放源代码。
  • 有关用法详细信息，请参阅传感器 SDK API 文档。

Azure Kinect 人体跟踪 SDK

人体跟踪 SDK 包含 Windows 库和运行时，在 Azure Kinect DK 硬件上使用时可以跟踪 3D 人体。

2. SDK安装

Windows 安装说明

可在此处找到最新版和旧版 Azure Kinect 传感器 SDK 和固件的安装详细信息。

可在此处找到源代码。

 备注

安装 SDK 时，请记住要安装到的路径。 例如，“C:\Program Files\Azure Kinect SDK 1.2”。 你将在此路径中找到文章中提到的工具。

 

Linux 安装说明

        目前，唯一支持的分发版是 Ubuntu 18.04。 若要请求对其他分发版的支持，请参阅此页。

        首先，需要遵照此处的说明，配置 Microsoft 的包存储库。

现在，可以安装所需的包。 k4a-tools 包中包含 Azure Kinect 查看器、Azure Kinect 录制器和 Azure Kinect 固件工具。 若要安装该包，请运行：

sudo apt install k4a-tools

        此命令安装该工具正常工作所需的依赖项包，包括最新版本的 libk4a<major>.<minor>。 你将需要添加 udev 规则来访问 Azure Kinect DK，而不必成为根用户。 有关说明，请参阅 Linux 设备设置。 也可以根用户身份启动那些使用设备的应用程序。

libk4a<major>.<minor>-dev 包中包含针对 libk4a 生成应用程序/可执行文件的头文件以及 CMake 文件。

libk4a<major>.<minor> 包中包含运行依赖于 libk4a 的应用程序/可执行文件所需的共享对象。

基本教程需要 libk4a<major>.<minor>-dev 包。 若要安装该包，请运行：

sudo apt install libk4a<major>.<minor>-dev

如果该命令成功，则表示 SDK 可供使用。

请确保安装与 libk4a<major>.<minor>-dev 匹配的 libk4a<major>.<minor> 版本。 例如，如果你安装 libk4a1.4.1-dev 包，则请安装包含共享对象文件匹配版本的相应 libk4a1.4.1 包。 有关 libk4a 的最新版本，请参见下一部分的链接。

3. 人体追踪SDK

Azure Kinect Body Tracking SDK: Welcomeicon-default.png?t=N7T8https://microsoft.github.io/Azure-Kinect-Body-Tracking/release/1.1.x/index.html

         https://learn.microsoft.com/zh-cn/azure/kinect-dk/body-sdk-download

Azure Kinect 人体跟踪 SDK 的内容

  • 使用 Azure Kinect DK 生成人体跟踪应用程序所需的标头和库。
  • 使用 Azure Kinect DK 的人体跟踪应用程序所需的可再发行 DLL。
  • 示例人体跟踪应用程序。

4. 多设备连接

同步多个 Azure Kinect DK 设备 | Microsoft Learn本文探讨多设备同步的优势，以及如何设置要同步的设备。icon-default.png?t=N7T8https://learn.microsoft.com/zh-cn/azure/kinect-dk/multi-camera-sync

每个 Azure Kinect DK 设备附带 3.5 毫米同步端口（输入同步和输出同步），可将多个设备链接在一起。 连接设备后，软件可以协调设备之间的触发定时。

本文将介绍如何连接和同步设备。

使用多个 Azure Kinect DK 设备的好处

使用多个 Azure Kinect DK 设备的原因有很多，包括：

  • 填补遮挡区域。 尽管 Azure Kinect DK 数据转换生成的是单个图像，但两个相机（深度和 RGB 相机）实际上保持着较小的一段距离。 这种偏移使得遮挡成为可能。 遮挡是指前景对象阻挡了设备上两个相机之一的背景对象的部分视角。 在生成的彩色图像中，前景对象看上去像是在背景对象上投射了一个阴影。
    例如，在下图中，左侧相机可看到灰色像素“P2”。但是，白色前景对象会阻止右侧相机 IR 横梁。 右侧相机无法获取“P2”的数据。附加的同步设备可以提供遮挡的数据。
  • 扫描三维对象。
  • 将有效帧速率提升至 30 帧/秒 (FPS) 以上的值。
  • 捕获同一场景的多个 4K 彩色图像，所有图像都在曝光中心时间点的 100 微秒 (μs) 内对齐。
  • 增大相机的空间覆盖范围。

5. 多设备标定

方法1-Green Screen Example

Green Screen Example

The goal of the green screen example is to demonstrate best practices for using multiple Azure Kinect DK devices, with an emphasis on synchronization and calibration (the 'green screen' code is only a small portion of the logic). In particular, the green screen application showcases a physical limitation of the hardware and how it can be mostly addressed using another device.

Azure-Kinect-Sensor-SDK/examples/green_screen at develop · microsoft/Azure-Kinect-Sensor-SDK · GitHub

 编译：CMakelists.tst

# Copyright (c) Microsoft Corporation. All rights reserved.
# Licensed under the MIT License.
cmake_minimum_required(VERSION 3.5)
project(kinextdk_example LANGUAGES C CXX)############################
#### AZURE KINECT SDK ######
############################message("Finding K4A SDK binaries")# Disable cached locations for K4A SDK binaries.
# Do this to force the search logic to happen correctly.
# If we don't disable these cached directories, we
# won't be able to tell the difference between the ext/sdk location
# and the system installed version on linux. Since we have to treat these
# differently (one needs install, one doesn't) we must disable the cache
# so that find_package(k4a) will fail in all cases if not installed via the .deb.
unset(k4a_DIR CACHE)# Force running the Findk4a.cmake module
find_package(k4a  REQUIRED)
find_package(OpenCV REQUIRED)
set(K4A_LIBS k4a::k4a;k4a::k4arecord)# This reads the K4A_LIBS and K4A_INSTALL_REQUIRED variables and decides how to install
# the various shared objects / DLLs##################################
###### END AZURE KINECT SDK ######
##################################
include_directories(${OpenCV_INCLUDE_DIRS})add_executable(green_screen main.cpp)
target_link_libraries(green_screen PRIVATE k4a::k4a  ${OpenCV_LIBS})

 

mkdir build && cd build
cmake .. -DOpenCV_REQUIRED=ON
make

 方法2-KinectAzureDKProgramming

 [Calibration] Overlay point cloud from two cameras · Issue #803 · microsoft/Azure-Kinect-Sensor-SDK · GitHubHi I have tried to modify the green_screen example to allow the display of point clouds obtained from two sync cameras but couldn't get the point cloud to overlay correctly. Is there be any sample code on overlaying the point cloud from ...icon-default.png?t=N7T8https://github.com/microsoft/Azure-Kinect-Sensor-SDK/issues/803

GitHub - forestsen/KinectAzureDKProgramming: Samples about Kinect Azure DK programmingSamples about Kinect Azure DK programming. Contribute to forestsen/KinectAzureDKProgramming development by creating an account on GitHub.icon-default.png?t=N7T8https://github.com/forestsen/KinectAzureDKProgramming

  1. Aruco_TwoKinects_Calibration_Extrinsics

    Using ArUco library to calibrate the extrinsic matrix between Two Kinects. We will get two csv files stored two transformation matrix which are "sub => master" and "sub => marker".

  2. OneKinect_Recording_RGB_DEPTH_IR

    Record the rgb+depth+ir stream into the mkv video file.

  3. OneKinect_Playback_RGB_DEPTH_IR

    Playback the mkv video file using opencv.

  4. Open3D_OneKinect

    Using the Open3D to open the azure kinect device and show the rgb + depth image or the point cloud based on the open3d's visualization class.

GitHub - forestsen/K4aGrabber: Kinect Azure DK Grabber of PCL (Point Cloud Library).Kinect Azure DK Grabber of PCL (Point Cloud Library). - forestsen/K4aGrabbericon-default.png?t=N7T8https://github.com/forestsen/K4aGrabber

这篇关于飞行机器人专栏（十四）-- Kinect DK 人体骨骼点运动提取方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/913927。

相关文章

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

原文链接： https://tecdat.cn/?p=37628 6月16日，小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞，这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示，公司准备量产，并计划今年四季度开启预售小鹏汇天分体式飞行汽车，探索分体式飞行汽车城际通勤。阅读原文，获取专题报告合集全文，解锁文末271份飞行汽车相关行业研究报告。 据悉，业内人士对飞行汽车行业
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
浅谈主机加固，六种有效的主机加固方法

浅谈主机加固，六种有效的主机加固方法

在数字化时代，数据的价值不言而喻，但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露，企业的数据安全面临着前所未有的挑战。为了应对这些挑战，一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案，采用先进的安全容器中间件技术，构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限，即使在管理员权限被恶意利用的情况下，也能确保服务器的安全稳定运行。 普适主机加固措施：
阅读更多...
webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？WebM作为一种新兴的视频编码格式，近年来逐渐进入大众视野，其背后承载着诸多优势，但同时也伴随着不容忽视的局限性，首要挑战在于其兼容性边界，尽管WebM已广泛适应于众多网站与软件平台，但在特定应用环境或老旧设备上，其兼容难题依旧凸显，为用户体验带来不便，再者，WebM格式的非普适性也体现在编辑流程上，由于它并非行业内的通用标准，编辑过程中可能会遭遇格式不兼容的障碍，导致操
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
【北交大信息所AI-Max2】使用方法

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡，拥有登录权限的账号密码，一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 （如果是1集群把75改成66） 交互式开发 执行器选Terminal 密码随便设一个（需记住） 工作空间：私有数据、全部文件 加速器选GeForce_RTX_2080_Ti
阅读更多...
【VUE】跨域问题的概念，以及解决方法。

【VUE】跨域问题的概念，以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略，该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同，则需要服务器显式地允许这种跨域请求。一般在springbo
阅读更多...
AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代，文本到语音（Text-to-Speech, TTS）技术已成为人机交互的关键桥梁，无论是为视障人士提供辅助阅读，还是为智能助手注入声音的灵魂，TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术，再到现今的深度学习解决方案，TTS 技术经历了一段长足的进步。这篇文章将带您穿越时
阅读更多...
模版方法模式template method

模版方法模式template method

学习笔记，原文链接 https://refactoringguru.cn/design-patterns/template-method 超类中定义了一个算法的框架， 允许子类在不修改结构的情况下重写算法的特定步骤。 上层接口有默认实现的方法和子类需要自己实现的方法
阅读更多...
使用JS/Jquery获得父窗口的几个方法(笔记)

使用JS/Jquery获得父窗口的几个方法(笔记)

<pre name="code" class="javascript">取父窗口的元素方法：$(selector, window.parent.document);那么你取父窗口的父窗口的元素就可以用：$(selector, window.parent.parent.document);如题： $(selector, window.top.document);//获得顶级窗口里面的元素 $(
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2