手势识别4：C/C++实现手部检测和手势识别(含源码下载)

2023-11-30 00:20
文章标签 c++ 实现 源码 检测 下载 识别 手势 手部

本文主要是介绍手势识别4：C/C++实现手部检测和手势识别(含源码下载)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

手势识别4：C/C++实现手部检测和手势识别(含源码下载)

目录

手势识别4：C/C++实现手部检测和手势识别(含源码下载)

1. 前言

2. 手势识别模型（YOLOv5）

（1）手势识别模型训练

（2）将Pytorch模型转换ONNX模型

（3）将ONNX模型转换为TNN模型

3. 手势识别模型C++部署

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

（3）部署TNN模型

（4）CMake配置

（5）main源码

（6）源码编译和运行

4. 手势识别检测效果

5. 项目源码下载

6. 手势识别Android版本

7.项目推荐：手部关键点检测

1. 前言

这是手势识别项目系列之《C/C++实现手部检测和手势识别》；本篇主要分享将Python训练后的YOLOv5的手势识别模型转写成C/C++代码。我们将开发一个简易的、可实时运行的手势识别C/C++ Demo，支持one,two,ok等18种常见的通用手势动作识别，也可以根据业务需求自定义训练的手势识别的类别。C/C ++版本手势识别模型推理支持CPU和GPU加速，在GPU(OpenCL)加速下，可以达到实时的检测效果，基本满足业务的性能需求。

先展示一下手势识别检测的效果：

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/134690422

更多手势识别，手部关键点检测的系列文章请参考：

  • 手势识别1：HaGRID手势识别数据集使用说明和下载
  • 手势识别2：基于YOLOv5的手势识别系统(含手势识别数据集+训练代码)
  • 手势识别3：Android实现手部检测和手势识别（可实时运行，含Android源码）
  • 手势识别4：C/C++实现手部检测和手势识别(含源码下载)
  • 手部关键点检测1：手部关键点(手部姿势估计)数据集(含下载链接)
  • 手部关键点检测2：YOLOv5实现手部检测(含训练代码和数据集)
  • 手部关键点检测3：Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集
  • 手部关键点检测4：Android实现手部关键点检测(手部姿势估计)含源码 可实时检测
  • 手部关键点检测5：C++实现手部关键点检测(手部姿势估计)含源码 可实时检测

 ​​

2. 手势识别模型（YOLOv5）

（1）手势识别模型训练

考虑到手机端CPU/GPU性能比较弱鸡，直接部署yolov5s运行速度十分慢，所以这里Android部署仅仅考虑yolov5s05模型，yolov5s05即是在yolov5s的基础上做了模型轻量化处理，其channels通道数全部都减少一半，并且模型输入由原来的640×640降低到320×320。从性能来看，yolov5s05比yolov5s快5多倍，而mAP下降了5%（0.87605→0.82706），对于手机端，这精度还是可以接受。

官方YOLOv5:  GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite 

下面是yolov5s05和yolov5s的参数量和计算量对比：

模型input-sizeparams(M)GFLOPs手势识别mAP(0.5:0.95)
yolov5s640×6407.216.50.87605
yolov5s05320×3201.71.10.82706

yolov5s05和yolov5s训练过程完全一直，仅仅是配置文件不一样而已；碍于篇幅，本篇博客不在赘述，详细训练过程请参考：《基于YOLOv5的手势识别系统(含手势识别数据集+训练代码)》

（2）将Pytorch模型转换ONNX模型

训练好yolov5s模型后，你需要先将Pytorch模型转换为ONNX模型，并使用onnx-simplifier简化网络结构，Python版本的已经提供了ONNX转换脚本，终端输入命令如下：

# 转换yolov5s05模型
python export.py --weights "data/model/yolov5s05_320/weights/best.pt" --img-size 320 320# 转换yolov5s模型
python export.py --weights "data/model/yolov5s_640/weights/best.pt" --img-size 640 640

GitHub： https://github.com/daquexian/onnx-simplifier
Install:  pip3 install onnx-simplifier 

（3）将ONNX模型转换为TNN模型

目前在C++端上，CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署

TNN转换工具：

  • （1）将ONNX模型转换为TNN模型，请参考TNN官方说明：TNN/onnx2tnn.md at master · Tencent/TNN · GitHub
  • （2）一键转换，懒人必备：一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine   (可能存在版本问题，这个工具转换的TNN模型可能不兼容，建议还是自己build源码进行转换，2022年9约25日测试可用)

​

转换成功后，会生成两个文件(*.tnnproto和*.tnnmodel) ,下载下来后面会用到

3. 手势识别模型C++部署

项目IDE开发工具使用CLion，相关依赖库主要有OpenCV，base-utils以及TNN和OpenCL(可选)，其中OpenCV必须安装，OpenCL用于模型加速，base-utils以及TNN已经配置好，无需安装；

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置好开发环境。

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置和编译

  • 安装OpenCV：图像处理

图像处理（如读取图片，图像裁剪等）都需要使用OpenCV库进行处理

安装教程：Ubuntu18.04安装opencv和opencv_contrib

OpenCV库使用opencv-4.3.0版本，opencv_contrib库暂时未使用，可不安装

  • 安装OpenCL：模型加速

 安装教程：Ubuntu16.04 安装OpenCV&OpenCL

OpenCL用于模型GPU加速，若不使用OpenCL进行模型推理加速，纯C++推理模型，速度会特别特别慢

  • base-utils：C++库

GitHub：https://github.com/PanJinquan/base-utils （无需安装，项目已经配置了）

base_utils是个人开发常用的C++库，集成了C/C++ OpenCV等常用的算法

  • TNN：模型推理

GitHub：https://github.com/Tencent/TNN （无需安装，项目已经配置了）

由腾讯优图实验室开源的高性能、轻量级神经网络推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时借鉴了业界主流开源框架高性能和良好拓展性的特性，拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地，服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。

（3）部署TNN模型

项目模型推理采用TNN部署框架（支持多线程CPU和GPU加速推理）；图像处理采用OpenCV库，模型加速采用OpenCL，在普通电脑设备即可达到实时处理。

如果你想在这个 C++ Demo部署你自己训练的模型，你可以将训练好的Pytorch模型转换ONNX ，再转换成TNN模型，然后把原始的模型替换成你自己的TNN模型即可。

（4）CMake配置

这是CMakeLists.txt，其中主要配置OpenCV+OpenCL+base-utils+TNN这四个库，Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.5)
project(Detector)add_compile_options(-fPIC) # fix Bug: can not be used when making a shared object
set(CMAKE_CXX_FLAGS "-Wall -std=c++11 -pthread")
#set(CMAKE_CXX_FLAGS_RELEASE "-O2 -DNDEBUG")
#set(CMAKE_CXX_FLAGS_DEBUG "-g")if (NOT CMAKE_BUILD_TYPE AND NOT CMAKE_CONFIGURATION_TYPES)# -DCMAKE_BUILD_TYPE=Debug# -DCMAKE_BUILD_TYPE=Releasemessage(STATUS "No build type selected, default to Release")set(CMAKE_BUILD_TYPE "Release" CACHE STRING "Build type (default Debug)" FORCE)
endif ()# opencv set
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS} ./src/)
#MESSAGE(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")# base_utils
set(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录
add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中
include_directories(${BASE_ROOT}/base_utils/include)
include_directories(${BASE_ROOT}/base_utils/src)
MESSAGE(STATUS "BASE_ROOT = ${BASE_ROOT}")# TNN set
# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds it for you.
# Gradle automatically packages shared libraries with your APK.
# build for platform
# set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)
if (CMAKE_SYSTEM_NAME MATCHES "Android")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_ARM_ENABLE ON CACHE BOOL "" FORCE)set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread#set(TNN_HUAWEI_NPU_ENABLE OFF CACHE BOOL "" FORCE)add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPUadd_definitions(-DTNN_ARM_ENABLE)              # for Android CPUadd_definitions(-DDEBUG_ANDROID_ON)            # for Android Logadd_definitions(-DPLATFORM_ANDROID)
elseif (CMAKE_SYSTEM_NAME MATCHES "Linux")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)set(TNN_X86_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPUadd_definitions(-DDEBUG_ON)                    # for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV showadd_definitions(-DPLATFORM_LINUX)
elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPUadd_definitions(-DDEBUG_ON)                    # for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV showadd_definitions(-DPLATFORM_WINDOWS)
endif ()
set(TNN_ROOT 3rdparty/TNN)
include_directories(${TNN_ROOT}/include)
include_directories(${TNN_ROOT}/third_party/opencl/include)
add_subdirectory(${TNN_ROOT}) # 添加外部项目文件夹
set(TNN -Wl,--whole-archive TNN -Wl,--no-whole-archive)# set TNN library
MESSAGE(STATUS "TNN_ROOT = ${TNN_ROOT}")# Detector
include_directories(src)
set(SRC_LISTsrc/yolov5.cppsrc/Interpreter.cpp)
add_library(dmcv SHARED ${SRC_LIST})
target_link_libraries(dmcv ${OpenCV_LIBS} base_utils)
MESSAGE(STATUS "DIR_SRCS = ${SRC_LIST}")#add_executable(Detector src/main.cpp)
#add_executable(Detector src/main_for_detect.cpp)
add_executable(Detector src/main_for_yolov5.cpp)
target_link_libraries(Detector dmcv ${TNN} -lpthread)

（5）main源码

主程序src/main_for_yolov5.cpp中提供行手势识别的Demo，支持图片，视频和摄像头测试

//
// Created by Pan on 2018/6/24.
//#include <iostream>
#include <string>
#include <vector>
#include "file_utils.h"
#include "yolov5.h"
#include "image_utils.h"using namespace dl;
using namespace vision;
using namespace std;const int num_thread = 1;
DeviceType device = GPU; // 使用GPU运行，需要配置好OpenCL
//DeviceType device = CPU; // 使用CPU运行// 测试YOLOv5s_640
string proto_file = "../data/tnn/yolov5/yolov5s_640.opt.tnnproto";
string model_file = "../data/tnn/yolov5/yolov5s_640.opt.tnnmodel";
YOLOv5Param model_param = YOLOv5s_640;//模型参数// 测试YOLOv5s05_320
//string proto_file = "../data/tnn/yolov5/yolov5s05_320_anchor.opt.tnnproto";
//string model_file = "../data/tnn/yolov5/yolov5s05_320_anchor.opt.tnnmodel";
//YOLOv5Param model_param = YOLOv5s05_320;//模型参数// 设置检测阈值
const float scoreThresh = 0.3;
const float iouThresh = 0.3;
YOLOv5 *detector = new YOLOv5(model_file,proto_file,model_param,num_thread,device);/**** 测试图片文件* @return*/
int test_image_file() {// 测试图片string image_dir = "../data/test_image";vector<string> image_list = get_files_list(image_dir);for (string image_path:image_list) {cv::Mat bgr_image = cv::imread(image_path);if (bgr_image.empty()) continue;FrameInfo resultInfo;// 开始检测detector->detect(bgr_image, &resultInfo, scoreThresh, iouThresh);// 可视化代码detector->visualizeResult(bgr_image, &resultInfo);}printf("FINISHED.\n");return 0;
}/**** 测试视频文件* @return*/
int test_video_file() {string video_file = "../data/video/video-test.mp4"; //视频文件cv::VideoCapture cap;bool ret = get_video_capture(video_file, cap);cv::Mat frame;while (ret) {cap >> frame;if (frame.empty()) break;FrameInfo resultInfo;// 开始检测detector->detect(frame, &resultInfo, scoreThresh, iouThresh);// 可视化代码detector->visualizeResult(frame, &resultInfo, 30);}cap.release();delete detector;detector = nullptr;printf("FINISHED.\n");return 0;
}/**** 测试摄像头* @return*/
int test_camera() {int camera = 0; //摄像头ID号(请修改成自己摄像头ID号)cv::VideoCapture cap;bool ret = get_video_capture(camera, cap);cv::Mat frame;while (ret) {cap >> frame;if (frame.empty()) break;FrameInfo resultInfo;// 开始检测detector->detect(frame, &resultInfo, scoreThresh, iouThresh);// 可视化代码detector->visualizeResult(frame, &resultInfo, 10);}cap.release();delete detector;detector = nullptr;printf("FINISHED.\n");return 0;}int main() {//test_image_file();test_video_file();//test_camera();return 0;
}

（6）源码编译和运行

编译脚本，或者直接：bash build.sh

#!/usr/bin/env bash
if [ ! -d "build/" ];thenmkdir "build"
elseecho "exist build"
fi
cd build
cmake ..
make -j4
sleep 1
./Detector
  • 如果你要测试CPU运行的性能，请修改src/main_for_yolov5.cpp

DeviceType device = CPU;

  • 如果你要测试GPU运行的性能，请修改src/main_for_yolov5.cpp （需配置好OpenCL） 

DeviceType device = GPU; //默认使用GPU

纯C++推理模式需要耗时几秒的时间，而开启OpenCL加速后，GPU模式耗时仅需十几毫秒，性能极大的提高。

4. 手势识别检测效果

C++版本手势识别的检测效果与Python版本的检测效果几乎一致：

5. 项目源码下载

源码下载：C/C++实现手部检测和手势识别(含源码下载)

内容包含：

  1. 提供快速版yolov5s05手势识别，在普通手机可实时检测识别，CPU(4线程)约30ms左右，GPU约25ms左右

  2. 提供高精度版本yolov5s手势识别，CPU(4线程)约250ms左右，GPU约100ms左右

  3. ​C/C++项目源码支持图片，视频，摄像头测试

  4. 项目配置好了base-utils和TNN，而OpenCV和OpenCL需要自行编译安装

6. 手势识别Android版本

 【Android APP体验】https://download.csdn.net/download/guyuealian/86666991

 APP在普通Android手机上可以达到实时的手势识别效果，CPU(4线程)约30ms左右，GPU约25ms左右 ，基本满足业务的性能需求。

7.项目推荐：手部关键点检测

 更多项目《手部关键点检测(手部姿势估计)》系列文章请参考：

  • 手部关键点检测1：手部关键点(手部姿势估计)数据集(含下载链接)
  • 手部关键点检测2：YOLOv5实现手部检测(含训练代码和数据集)
  • 手部关键点检测3：Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集
  • 手部关键点检测4：Android实现手部关键点检测(手部姿势估计)含源码 可实时检测
  • 手部关键点检测5：C++实现手部关键点检测(手部姿势估计)含源码 可实时检测

      

      

    

这篇关于手势识别4：C/C++实现手部检测和手势识别(含源码下载)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/434893。

相关文章

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
【C++ Primer Plus习题】13.4

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<
阅读更多...
C++包装器

C++包装器

包装器 在 C++ 中，“包装器”通常指的是一种设计模式或编程技巧，用于封装其他代码或对象，使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍，可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型： 1. 函数包装器 函数包装器用于封装一个或多个函数，使其接口更统一或更便于调用。例如，std::function 是一个通用的函数包装器，它可以存储任意可调用对象（函数、函数
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
C++11第三弹：lambda表达式 | 新的类功能 | 模板的可变参数

C++11第三弹：lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页： 南桥几晴秋 🌈C++专栏： 南桥谈C++ 🌈C语言专栏： C语言学习系列 🌈Linux学习专栏： 南桥谈Linux 🌈数据结构学习专栏： 数据结构杂谈 🌈数据库学习专栏： 南桥谈MySQL 🌈Qt学习专栏： 南桥谈Qt 🌈菜鸡代码练习： 练习随想记录 🌈git学习： 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
常用的jdk下载地址

常用的jdk下载地址

jdk下载地址 安装方式可以看之前的博客： mac安装jdk oracle 版本：https://www.oracle.com/java/technologies/downloads/ Eclipse Temurin版本：https://adoptium.net/zh-CN/temurin/releases/ 阿里版本： github：https://github.com/
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2