X86与FPGA相结合,基于PIB的AI开发——人体姿态识别

2024-04-25 06:04

本文主要是介绍X86与FPGA相结合,基于PIB的AI开发——人体姿态识别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

人体姿态估计是计算机视觉领域中用于理解和分析人类行为的一个关键技术。它主要涉及到检测和识别图像或视频中人体的各个关键点,并预测这些关键点之间的空间关系,从而构建出人体的骨架模型。

本文将介绍基于PIB板的人体姿态估计案例。这是一个交互式的实时人姿态识别的Openvino案例展示,它是在Intel X86 i7 CPU和 Cyclone V GT FPGA之间进行异构计算。

1. 系统组成

系统主要由一套PIB板、一套D8M + lvds TX 子卡+ LVDS线以及一台HDMI显示器组成。

PIB是一个基于Intel x86 i7 CPU和 Cyclone V GT FPGA 的智能开发平台,结合FPGA可重配置和CPU的软件可编程能力。

PIB板主要分为FPGA基板和CM模块。PIB 规格如下:

CPU

Intel 11th Core i7

HDMI x1

Ethernet x1 (I219)

USB3.0 x3, USB2.0 x1

Audio Jack x1

SATA x1, mSATAx1, M.2 for Wifi x1

RS232 x2, RS485 x1 (shared with FPGA)

20-pin GPIO Header x1 

FPGA

Serial configuration device: EPCQ256

External JTAG header

1GB DDR3 SDRAM(32-bit data bus)

Gigabit Ethernet x4

LVDS Camera x4, MIPI Camera x2

RS232 x2, RS485 x1, CAN x2

20-pin GPIO Header

9-axis sensor

FPGA_RST Button x1, KEY x2, green LED x2

Four 50MHz clock sources

FPGA基板

图片

图片

CM模块

图片

图片

D8M

D8M-GPIO 是一个 2x20 pin GPIO 接口的八百万素摄像头套件。套件内包含了 MIPI Camera Module 以及MIPI decoder。

MIPI Camera module 撷取影像后输出 MIPI 影像讯号封包,该影像讯号封包经过 MIPI decoder 转换成 10-bits parallel 的 bayer pattern,最终由 2x20 pin GPIO connector 输出。MIPI Camera Module 并内建了控制焦距的音圈马达 ( Voice Coil Motor;VCM ),开发者可透过 I2C 来控制对焦距离。

lvds TX 子卡

接口转换子卡,将GPIO槽口转lvds接口。

图片

2. OpenVINO简介

OpenVINO是Intel推出的开放可视化推理及神经网络优化工具包,运用OpenVINO 可以很轻松的将各种优化后的AI模型部署到 CPU+ FPGA上,从而降低了开发成本和开发时间,还提高了设计性能。

OpenVINO主要特点有:

  • 支持在边缘设备上进行CNN深度学习推理

  • 支持跨Intel计算机视觉加速器的异构加速执行,CPU,英特尔集成图形化,英特尔神经计算棒及FPG。

  • 使用统一的API 通过易于使用的计算机视觉函数和预先优化的内核加速上市时间。

  • 包括对OpenCV*, OpenCL™, and OpenVX*等对算机视觉标准的优化调用。

图片

OpenVINO包含深度学习部署工具包,该工具包主要分以下两个模块:

  • 模型优化器:基于Python的命令行工具从主流的深度学习框架(如caffe,TensorFlow, Apache MXNet等)导入训练过的模型。输入训练模型,优化网络拓扑,并将其转换为IR(中间表示)文件。

  • 推理引擎:推理引擎使用统一的API在您选择的平台(如CPU, GPU, VPU, FPGA)等提供优化的推理解决方案,来进行异构处理和异步执行以节省开发时间。

OpenVINO工作流程

以下是使用 OpenVINO优化并部署训练后的模型的步骤:

1. 为您的框架配置模型优化器

2. 转换训练后的模型,根据训练的网络拓扑、权重和偏置值生成模型的优化中间表示 (IR)文件

3. 通过验证应用程序或示例应用程序,在目标环境中使用推理引擎以中间表示格式测试模型

4. 在应用程序中集成推理引擎,以在目标环境中部署模型

图片

本案例也是直接用Intel openvino预训练好的模型,将人体姿态估计demo部署到PIB的过程。

3. 硬件设计

下图所示为PIB RTL设计系统框图,CPU可通过PCIE_DMA_Ctl子系统中的PCIe Gen2 x1配置Camera子系统,LVDS camera 拍摄到的图像数据会由 Camera 子系统进行处理,然后存储到 DDR3 内存中,CPU 可通过 PCIE_DMA_Ctl 子系统中的 PCIe Gen2x4 读取 DDR3 中的图像数据。

图片

4. 应用程序

如下是人体姿态识别的应用程序流程图:

图片

5. 测试步骤

1. 将D8M-GPIO子卡连接到LVDS-TX子卡上。

图片

2. 将GMSL线缆连接到LVDS-TX子卡的J2接口。

图片

3. 将GMSL线缆的另一端连接到PIB底板的LVDS0(J4)接口。

图片

4. 保持SW1处于OFF,然后将24V/5A电源适配器的插头插到PIB底板的DC_IN(J20)接口,开机PIB系统。

图片

5. PIB系统启动后,显示器上会显示输入密码的界面,输入密码(terasic)进入系统桌面。

图片

4. 视频演示

视频请参考原文:X86与FPGA相结合,基于PIB的AI开发——人体姿态识别

这篇关于X86与FPGA相结合,基于PIB的AI开发——人体姿态识别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/933865

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推