X86与FPGA相结合,基于PIB的AI开发——人体姿态识别

2024-04-25 06:04

本文主要是介绍X86与FPGA相结合,基于PIB的AI开发——人体姿态识别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

人体姿态估计是计算机视觉领域中用于理解和分析人类行为的一个关键技术。它主要涉及到检测和识别图像或视频中人体的各个关键点,并预测这些关键点之间的空间关系,从而构建出人体的骨架模型。

本文将介绍基于PIB板的人体姿态估计案例。这是一个交互式的实时人姿态识别的Openvino案例展示,它是在Intel X86 i7 CPU和 Cyclone V GT FPGA之间进行异构计算。

1. 系统组成

系统主要由一套PIB板、一套D8M + lvds TX 子卡+ LVDS线以及一台HDMI显示器组成。

PIB是一个基于Intel x86 i7 CPU和 Cyclone V GT FPGA 的智能开发平台,结合FPGA可重配置和CPU的软件可编程能力。

PIB板主要分为FPGA基板和CM模块。PIB 规格如下:

CPU

Intel 11th Core i7

HDMI x1

Ethernet x1 (I219)

USB3.0 x3, USB2.0 x1

Audio Jack x1

SATA x1, mSATAx1, M.2 for Wifi x1

RS232 x2, RS485 x1 (shared with FPGA)

20-pin GPIO Header x1 

FPGA

Serial configuration device: EPCQ256

External JTAG header

1GB DDR3 SDRAM(32-bit data bus)

Gigabit Ethernet x4

LVDS Camera x4, MIPI Camera x2

RS232 x2, RS485 x1, CAN x2

20-pin GPIO Header

9-axis sensor

FPGA_RST Button x1, KEY x2, green LED x2

Four 50MHz clock sources

FPGA基板

图片

图片

CM模块

图片

图片

D8M

D8M-GPIO 是一个 2x20 pin GPIO 接口的八百万素摄像头套件。套件内包含了 MIPI Camera Module 以及MIPI decoder。

MIPI Camera module 撷取影像后输出 MIPI 影像讯号封包,该影像讯号封包经过 MIPI decoder 转换成 10-bits parallel 的 bayer pattern,最终由 2x20 pin GPIO connector 输出。MIPI Camera Module 并内建了控制焦距的音圈马达 ( Voice Coil Motor;VCM ),开发者可透过 I2C 来控制对焦距离。

lvds TX 子卡

接口转换子卡,将GPIO槽口转lvds接口。

图片

2. OpenVINO简介

OpenVINO是Intel推出的开放可视化推理及神经网络优化工具包,运用OpenVINO 可以很轻松的将各种优化后的AI模型部署到 CPU+ FPGA上,从而降低了开发成本和开发时间,还提高了设计性能。

OpenVINO主要特点有:

  • 支持在边缘设备上进行CNN深度学习推理

  • 支持跨Intel计算机视觉加速器的异构加速执行,CPU,英特尔集成图形化,英特尔神经计算棒及FPG。

  • 使用统一的API 通过易于使用的计算机视觉函数和预先优化的内核加速上市时间。

  • 包括对OpenCV*, OpenCL™, and OpenVX*等对算机视觉标准的优化调用。

图片

OpenVINO包含深度学习部署工具包,该工具包主要分以下两个模块:

  • 模型优化器:基于Python的命令行工具从主流的深度学习框架(如caffe,TensorFlow, Apache MXNet等)导入训练过的模型。输入训练模型,优化网络拓扑,并将其转换为IR(中间表示)文件。

  • 推理引擎:推理引擎使用统一的API在您选择的平台(如CPU, GPU, VPU, FPGA)等提供优化的推理解决方案,来进行异构处理和异步执行以节省开发时间。

OpenVINO工作流程

以下是使用 OpenVINO优化并部署训练后的模型的步骤:

1. 为您的框架配置模型优化器

2. 转换训练后的模型,根据训练的网络拓扑、权重和偏置值生成模型的优化中间表示 (IR)文件

3. 通过验证应用程序或示例应用程序,在目标环境中使用推理引擎以中间表示格式测试模型

4. 在应用程序中集成推理引擎,以在目标环境中部署模型

图片

本案例也是直接用Intel openvino预训练好的模型,将人体姿态估计demo部署到PIB的过程。

3. 硬件设计

下图所示为PIB RTL设计系统框图,CPU可通过PCIE_DMA_Ctl子系统中的PCIe Gen2 x1配置Camera子系统,LVDS camera 拍摄到的图像数据会由 Camera 子系统进行处理,然后存储到 DDR3 内存中,CPU 可通过 PCIE_DMA_Ctl 子系统中的 PCIe Gen2x4 读取 DDR3 中的图像数据。

图片

4. 应用程序

如下是人体姿态识别的应用程序流程图:

图片

5. 测试步骤

1. 将D8M-GPIO子卡连接到LVDS-TX子卡上。

图片

2. 将GMSL线缆连接到LVDS-TX子卡的J2接口。

图片

3. 将GMSL线缆的另一端连接到PIB底板的LVDS0(J4)接口。

图片

4. 保持SW1处于OFF,然后将24V/5A电源适配器的插头插到PIB底板的DC_IN(J20)接口,开机PIB系统。

图片

5. PIB系统启动后,显示器上会显示输入密码的界面,输入密码(terasic)进入系统桌面。

图片

4. 视频演示

视频请参考原文:X86与FPGA相结合,基于PIB的AI开发——人体姿态识别

这篇关于X86与FPGA相结合,基于PIB的AI开发——人体姿态识别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/933865

相关文章

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》:本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图

基于Python开发PDF转Doc格式小程序

《基于Python开发PDF转Doc格式小程序》这篇文章主要为大家详细介绍了如何基于Python开发PDF转Doc格式小程序,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 用python实现PDF转Doc格式小程序以下是一个使用Python实现PDF转DOC格式的GUI程序,采用T