开发心电疾病分类的深度学习模型并部署运行于ARM虚拟硬件平台(AVH)

本文主要是介绍开发心电疾病分类的深度学习模型并部署运行于ARM虚拟硬件平台(AVH),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一、ARM虚拟硬件平台介绍

二、心电疾病分类模型介绍

三、部署流程

3.1 基于百度云平台订阅虚拟硬件镜像

3.2 安装编译相关组件

3.1 数据加载

3.2  模型转换

方式一: tensorflow模型转换为onnx模型,onnx模型转换为TVM模型

方式二: tensorflow模型转换为tensorflow lite模型,tflite模型转换为tvm模型

3)两种方式部署的差异

3.3 环境变量配置

3.4 模型编译

3.5 模型运行

四、部署测试效果

方式一:tf->onnx->tvm

方式二:tf-tflite->tvm

五、问题QA

六、总结

七、参考文档


一、ARM虚拟硬件平台介绍

Arm 虚拟硬件平台 AVH(Arm Virtual Hardware),是ARM公司推出的虚拟硬件开发方式,通过在云平台中虚拟化流行的物联网开发套件、ARM的处理器和系统,从而扩展并加速了物联网软件开发。--通俗的讲:我们可以通过云平台来远程部署和运行程序在该硬件上(该硬件称为虚拟硬件),在该虚拟硬件平台上可以连接众多arm合作的硬件板。因此可以让我们在开发产品的前期得以在不同的硬件上进行模拟验证。

虚拟硬件平台的架构:

图中红色圈住的地方为本文所采用的开发方式:也即是基于百度云以及AVH FVP models。 

包含的硬件:

cortex-m55 、cortex-m85等。本文基于cortex-m55进行验证。

二、心电疾病分类模型介绍

   心电图(ECG)是诊断心脏疾病的关键工具,本文介绍基于心电数据进行疾病的分类的模型,该模型分类输出为7种。输入数据为10s的心电数据维数1x3600,输出维度为1x7。 模型基于TensorFlow框架训练,结构为CNN网络架构,模型训练保存输出为pb格式(model.pb)

三、部署流程

3.1 基于百度云平台订阅虚拟硬件镜像

 參考文档2进行订阅。

3.2 安装编译相关组件

1)离线下载并上传到百度云安装这些组件 

cpackget add ARM.CMSIS.5.9.0.pack

cpackget add ARM::CMSIS-DSP@1.15.0

cpackget add ARM::CMSIS-NN@4.1.0

cpackget add ARM::V2M_MPS3_SSE_300_BSP@1.4.0

cpackget add ARM::V2M_MPS3_SSE_310_BSP@1.3.0

cpackget add Keil::ARM_Compiler@1.7.2

 

参考文档2,官方提供了相对比较完整的pack包汇总的文件包,只要把这个文件下载下来,并传输到云服务器指定位置,即可自动识别,完成pack包的安装。

wget https://Arm-workshop.bj.bcebos.com/packs.tar.bz2

 

 

 

2)执行命令

  配置cmsis 

# download cmsis-toolbox
cmsis_toolbox_name="cmsis-toolbox-linux-amd64"
cmsis_toolbox_version="2.2.1"
cmsis_toolbox_url="https://github.com/Open-CMSIS-Pack/cmsis-toolbox/releases/download/${cmsis_toolbox_version}/${cmsis_toolbox_name}.tar.gz"
wget ${cmsis_toolbox_url}
tar -vxf ${cmsis_toolbox_name}.tar.gz
rm ${cmsis_toolbox_name}.tar.gz# copy to opt
mv ${cmsis_toolbox_name} ctools
rm -rf /opt/ctools
mv ctools /opt

配置tvm和onnx 

echo 'export PATH=/home/ubuntu/.local/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
pip install --upgrade pip
pip install opencv-python
pip install apache-tvm
pip install onnx

3.1 数据加载

 1)编写python文件加载心电数据,并将数据转换为input.h文件,输出数据类别数组转换为output.h文件。

2)执行转换数据程序

#Windows执行
python3 convert_ECGData.py   data/TestX_eu_MLIII.csv#linux  python3 ./convert_ECGData.py ./data/TestX_eu_MLIII.csv

2)执行 label转换程序,将标签序列转换为label.h头文件

# windows执行
python  convert_labels.py  data/TestY_eu_MLIII.csv#linux: python3  ./convert_labels.py  ./data/TestY_eu_MLIII.csv

3.2  模型转换

方式一: tensorflow模型转换为onnx模型,onnx模型转换为TVM模型

pip install tf2onnx

 1)执行以下程序进行tf到onnx模型转换:

python -m tf2onnx.convert --saved-model save/CNN --output  onnx/cnn_model.onnx

 2)重命令onnx模型

读取onnx模型输入名称

 查到輸入名称为input_1

INPUT_NODE_NAME="input_1"
sudo python rename_onnx_model.py --model  cnn_model.onnx \--origin_names ${INPUT_NODE_NAME} \--new_names x \--save_file cnn_model.onnx

3)onnx模型转换为tvm模型

TVM_TARGET="cortex-m55"
sudo python3 -m tvm.driver.tvmc compile --target=cmsis-nn,c \--target-cmsis-nn-mcpu=$TVM_TARGET \--target-c-mcpu=$TVM_TARGET \--runtime=crt \--executor=aot \--executor-aot-interface-api=c \--executor-aot-unpacked-api=1 \--pass-config tir.usmp.enable=1 \--pass-config tir.usmp.algorithm=hill_climb \--pass-config tir.disable_storage_rewrite=1 \--pass-config tir.disable_vectorize=1 \cnn_model.onnx \--output-format=mlf \--model-format=onnx \--input-shapes x:[1,3600] \--module-name=cls \--output=cls.tar

 结果:

4)解压tvm模型文件

sudo mkdir -p "${PWD}/cls"
sudo tar -xvf cls.tar -C "${PWD}/cls"

方式二: tensorflow模型转换为tensorflow lite模型,tflite模型转换为tvm模型

1)安装tflite包:

pip install pyserial==3.5 tflite=-2.1

2)查询tflite模型的输入和输出

3)更改main.c文件

4) tflite 转换为tvm

TVM_TARGET="cortex-m55"python3 -m tvm.driver.tvmc compile --target=cmsis-nn,c \--target-cmsis-nn-mcpu=$TVM_TARGET \--target-c-mcpu=$TVM_TARGET \--runtime=crt \--executor=aot \--executor-aot-interface-api=c \--executor-aot-unpacked-api=1 \--pass-config tir.usmp.enable=1 \--pass-config tir.usmp.algorithm=hill_climb \--pass-config tir.disable_storage_rewrite=1 \--pass-config tir.disable_vectorize=1 \model.tflite \--output-format=mlf \--model-format=tflite \--input-shapes serving_default_input_1:[1,3600] \--module-name=cls\--output=cls.tar

3)两种方式部署的差异

 支持TF、Pytorch、onnx转换为tvm。因此前一种方式比第二种方式多了一步转换步骤。

3.3 环境变量配置

3.4 模型编译

RUN_DEVICE_NAME="M55"
cbuild object_classification+PaddleClas$RUN_DEVICE_NAME.cprj

生成:tmp(makefile相关文件)out文件(目标文件axf)

 

3.5 模型运行

VHT_Platform="FVP_Corstone_SSE-300"
$VHT_Platform  -C cpu0.CFGDTCMSZ=15 \-C cpu0.CFGITCMSZ=15 \-C mps3_board.uart0.out_file=\"-\" \-C mps3_board.uart0.shutdown_tag=\"EXITTHESIM\" \-C mps3_board.visualisation.disable-visualisation=1 \-C mps3_board.telnetterminal0.start_telnet=0 \-C mps3_board.telnetterminal1.start_telnet=0 \-C mps3_board.telnetterminal2.start_telnet=0 \-C mps3_board.telnetterminal5.start_telnet=0 \"out/ECG_classification/PaddleClas$RUN_DEVICE_NAME/ECG_classification.axf" \--stat

四、部署测试效果

方式一:tf->onnx->tvm

方式二:tf-tflite->tvm

对比运行时间,方式二快一些,相差 7s

五、问题QA

1)出现package"tflite.Model" is not installed. Hint:"pip installtlcpack[tvmc]"

解决方式:

 安装:pip install pyserial==3.5 tflite=-2.1

参考【3】

2)找不到路径或写入文件失败

添加权限:sudo chmod -R 777 tmp

3)license error

Error: license error: License checkout for feature SG_Simulator with version 11.19 has been denied by Flex back-end. Error code: -10
Feature has expired.
Feature:       SG_Simulator
Expire date:   31-mar-2024
License path:  /opt/data.dat:/opt/arm/licenses/license.dat:
FlexNet Licensing error:-10,32License checkout for feature FM_Simulator with version 11.19 has been denied by Flex back-end. Error code: -5
No such feature exists.
Feature:       FM_Simulator
License path:  /opt/data.dat:/opt/arm/licenses/license.dat:
FlexNet Licensing error:-5,357License checkout for feature SG_Simulator with version 11.19 has been denied by Flex back-end. Error code: -10
Feature has expired.
Feature:       SG_Simulator
Expire date:   31-mar-2024
License path:  /opt/data.dat:/opt/arm/licenses/license.dat:
FlexNet Licensing error:-10,32
In file: /tmp/plgbuild/abs_build/1228881_61942/trunk/work/fastsim/Framework/scx/SCXSimulationEngine.cpp:3276

Error: license error: Simulation Engine module unavailable!
In file: /tmp/plgbuild/abs_build/1228881_61942/trunk/work/fastsim/Framework/scx/SCXSimulationEngine.cpp:2875
ERROR: uncaught exception occurred. Exception message follows:
Error: Wrong version of armctmodel. Version 11.19.25 (API Version 1.2) of the Portfolio was used to build the model. Please use identical major.minor versions of the Portfolio and the Tools.

解决方式:重新订阅新版镜像

4) 出现.x =input 错误

/home/ubuntu/ECG_classification/main.c:20:4: error: field designator 'x' does not refer to any field in type 'struct tvmgen_cls_inputs'
                .x = input,
                 ^
/home/ubuntu/ECG_classification/main.c:23:4: error: field designator 'output' does not refer to any field in type 'struct tvmgen_cls_outputs'
                .output = output,
                 ^
2 errors generated.
ninja: build stopped: subcommand failed.
error cbuild: error executing 'cmake' build
 

解决方式:更改结构体变量和模型输入输出名称一致 

六、总结

该文章完成了深度学习模型的训练、验证、模型导出,模型转换、模型部署以及相关环境配置,最终编译和运行成功。通过ARM虚拟硬件平台进行软件程序的验证是一个很好的选择。未来可以进一步尝试其它的硬件部署以验证模型的性能。

七、参考文档

【1】Virtual Hardware – Software Development Without Hardware – Arm®

【2】iot-demo

【3】1. microTVM CLI Tool — tvm 0.17.dev0 documentation

【4】Paddle-examples-for-AVH 

这篇关于开发心电疾病分类的深度学习模型并部署运行于ARM虚拟硬件平台(AVH)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1007402

相关文章

在Ubuntu上部署SpringBoot应用的操作步骤

《在Ubuntu上部署SpringBoot应用的操作步骤》随着云计算和容器化技术的普及,Linux服务器已成为部署Web应用程序的主流平台之一,Java作为一种跨平台的编程语言,具有广泛的应用场景,本... 目录一、部署准备二、安装 Java 环境1. 安装 JDK2. 验证 Java 安装三、安装 mys

基于Qt开发一个简单的OFD阅读器

《基于Qt开发一个简单的OFD阅读器》这篇文章主要为大家详细介绍了如何使用Qt框架开发一个功能强大且性能优异的OFD阅读器,文中的示例代码讲解详细,有需要的小伙伴可以参考一下... 目录摘要引言一、OFD文件格式解析二、文档结构解析三、页面渲染四、用户交互五、性能优化六、示例代码七、未来发展方向八、结论摘要

Linux使用nohup命令在后台运行脚本

《Linux使用nohup命令在后台运行脚本》在Linux或类Unix系统中,后台运行脚本是一项非常实用的技能,尤其适用于需要长时间运行的任务或服务,本文我们来看看如何使用nohup命令在后台... 目录nohup 命令简介基本用法输出重定向& 符号的作用后台进程的特点注意事项实际应用场景长时间运行的任务服

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器:基石搭建(一

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

Jenkins中自动化部署Spring Boot项目的全过程

《Jenkins中自动化部署SpringBoot项目的全过程》:本文主要介绍如何使用Jenkins从Git仓库拉取SpringBoot项目并进行自动化部署,通过配置Jenkins任务,实现项目的... 目录准备工作启动 Jenkins配置 Jenkins创建及配置任务源码管理构建触发器构建构建后操作构建任务

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

《Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)》:本文主要介绍Python基于火山引擎豆包大模型搭建QQ机器人详细的相关资料,包括开通模型、配置APIKEY鉴权和SD... 目录豆包大模型概述开通模型付费安装 SDK 环境配置 API KEY 鉴权Ark 模型接口Prompt

在 VSCode 中配置 C++ 开发环境的详细教程

《在VSCode中配置C++开发环境的详细教程》本文详细介绍了如何在VisualStudioCode(VSCode)中配置C++开发环境,包括安装必要的工具、配置编译器、设置调试环境等步骤,通... 目录如何在 VSCode 中配置 C++ 开发环境:详细教程1. 什么是 VSCode?2. 安装 VSCo

C#图表开发之Chart详解

《C#图表开发之Chart详解》C#中的Chart控件用于开发图表功能,具有Series和ChartArea两个重要属性,Series属性是SeriesCollection类型,包含多个Series对... 目录OverviChina编程ewSeries类总结OverviewC#中,开发图表功能的控件是Char

若依部署Nginx和Tomcat全过程

《若依部署Nginx和Tomcat全过程》文章总结了两种部署方法:Nginx部署和Tomcat部署,Nginx部署包括打包、将dist文件拉到指定目录、配置nginx.conf等步骤,Tomcat部署... 目录Nginx部署后端部署Tomcat部署出现问题:点击刷新404总结Nginx部署第一步:打包