人脸识别之bbox【det_10g】-ncnn(c++)

2024-05-12 13:04
文章标签 c++ 10g 人脸识别 ncnn bbox det

本文主要是介绍人脸识别之bbox【det_10g】-ncnn(c++),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

模型描述

det_10g是insightface 人脸框图和人脸关键点的分类,最终能够得到人脸框图bbox,分值还有人脸五官(眼x2、鼻子x1、嘴巴x2)

由于我这里没有采用最终结果,通过onnx转换为ncnn,所以后面的步骤结果丢弃了,具体可以看另外一篇博文:模型onnx转ncnn小记-CSDN博客

输入处理

在python的时候输入和ncnn(c++)入参还是有些区别

由于模型的输入是我这边选择的是1x3x640x640,所以针对输入的图片需要进行处理,首先进行等比缩放和数据的差值和归一化处理

获取结果

把输入得到如下,9个结果

通过获取(441,443,444),(464,466,467),(487,489,490)

可以分别得到步长8, 16, 32 的三组数据,可以先了解下,目标候选框bbox的基础知识

计算坐标值和过滤

需要分别计算步长8、16和32的目标数据,下面是步骤

步骤一:结果变换维度

变换维度,方便处理和理解。

他的一组数据是(441,443,444),获取的大小是:scores=》1x2x80x80、bboxs=>1x8x80x80、kps=>1x20x80x80

通过insightface的源码可以看到,num_anchors = 2,每个位置的目标框是两组,正常来说是黑白图两种,既然是同一个位置,那么可以合并一起,所以。

1、scores:1x2x80x80  意思就是有2张图 ,每张图大小是80x80,有这么多分值,我们可以通过阈值把大多数的点过滤出去,默认的阈值是0.5.

2、bboxs: 1x8x80x80 每一个分数对应的四个点(x1,y1,x2,y2)*注意这个点是距离原点的相对值,还是需要计算的,这里1x8  前面1~4 是一个矩形框的点,后面的4~8是另一张图的矩形框坐标点,就是黑白图。

3、kps:1x20x80x80 每一个分数对应的五官坐标点(x,y)*注意这个点是距离原点的相对值,还是需要计算的,这里1~10 是一组坐标点,另外的10~20是另外一张图的一组坐标点,分开计算就行。

这里获取的分数scores 需要做一个sigmoid,让他映射到0~1,方便后面和阈值比较。

具体c++的sigmoid

inline float fast_exp(float x)
{union {uint32_t i;float f;} v{};v.i = (1 << 23) * (1.4426950409 * x + 126.93490512f);return v.f;
}inline float sigmoid(float x)
{return 1.0f / (1.0f + fast_exp(-x));
}

步骤二:求出坐标值

1、坐标放大

这里的bbox和kps都需要乘以8 变换为原有的,之前处理特征值做了压缩处理,压缩了8倍

每个坐标值都x8 得到原有特征图的坐标点。

bbox= bbox *  8 

kps = kps * 8

2、求出真正的缩放值

bbox,这里的点都是一个便宜值,那么真正的坐标是怎么样的了,这里我们的这里返回特征图是80x80,由于这里的步长都是8,那么每个点就是这样排序下去,具体如下:

[0,0][8,0[16,0]...[632, 0]
[0,8][8,8][16,8]...[632, 8]
............
[0,632][8,632][16,632]...[632,632]

总共就是80x80的数据格式点

把每个点的坐标减去bbox[0]和bbox[1]得到左上角的(x1,y1) 

把每个点的坐标减去bbox[2]和bbox[3]得到右上角的(x2,y2) 

这样就得到了整个的bbox的坐标值

kps:其实也是一样,他是kps  5组x和y,分别添加上特征图的坐标点就行了,这里不需要减去

类似:bbox[0] + kps[n],bbox[1] + kps[n+1]

这样就求出kps的五个坐标点

其实应该先求出分数,然后再根据分数是否符合再求出坐标点,这样效率高点,这里为了理解过程就没有考虑效率问题了。

步骤三:分值过滤出

1、根据scores所有的分值进行过滤,过滤出大于等于0.5的阈值,得到一个分值列表

2、根据过滤的列表,把kps和bbox 也过滤下,去掉分值较低的

步骤四:重复上面的步骤

重复上面步骤,依次求出步长16和32的值,然后把结果放到一个列表,按得分份排序,方便后面的NMS计算,最终一个目标对应一个方框。

步骤五:NMS非极大值抑制

1、通过分值得到了不少的坐标点bbox,但是这些框很有可能是有重复的,这里需要用NMS进行过滤

  过滤的规则就是通过IOU进行合并,当计算出的IOU大于阈值这里的阈值是默认0.4,那么就合并候选框,当然是把分值低的合并给高的,所以为啥前面要进行排序了。

IOU其实就计算两个框相交的面积

看着复杂,其实计算还是挺简单的,比如

假设:A坐标(x1,y1)(x2,y2) B坐标(x3,y3)(x4,y4) 

上面的坐标都是左上角和右下角坐标,几个坐标可以合并成一个矩形框

A的面积:(x2-x1) *(y2-y1)

B的面积:(x4-x3)*(y4-y3)

根据上面可以求出C的宽和高:x4=(Min(x4,x2) - Max( x3,x1)) *( Min(y4,y2)-Max(y3,y1))

当然如果求出C的宽和高小于0,那么说明A和B没有相交不需要合并。

IOU=C面积/(A面积+B面积-C面积)

如果这个IOU大于我们设置的阈值这里是0.4,那么就进行合并选择得分高的

通过轮询把所有的候选框都过滤出来,就得到了最终的候选框。

具体可以查询文章 睿智的目标检测1——IOU的概念与python实例-CSDN博客

过滤坐标计算核心代码

核心部分代码:(这里没有进行转换了,直接采用mat计算,通过分值过滤,最后计算出人脸关键点和bbox边框)这样效率会稍微高点。

记得模型得出来的bbox和特征值,都是一个偏离值,最后需要乘以步长,然后如果需要再原图进行展示的话,还需要对应特征图640x640和原图的比例展示,后面才可以得出原图的坐标

下面是得出特征图的坐标值

//bbox 1x8x80x80  1x8x40x40 kps:1x20x80x80 1x20x40x40  scores:1x2x80x80  1x2x40x40 
int FaceDef::generate_proposals(ncnn::Mat& scores_blob, ncnn::Mat& bboxes_blob, ncnn::Mat& kps_blob,std::vector<ObjectDef>& objects,int stride, float threshold,int num_class) {const int dot_num = 4;//两组坐标int w = bboxes_blob.w;int h = bboxes_blob.h;int d = bboxes_blob.d;int channels = bboxes_blob.c;int dims = bboxes_blob.dims;if (channels * num_class % dot_num != 0)//通道数不正确,必须为4个坐标return -100;if (scores_blob.w != w || scores_blob.h != h)//如果形状不一致,必须形状一直return -101;if (kps_blob.w != w || kps_blob.h != h)//如果形状不一致,必须形状一直return -101;#pragma omp parallel for num_threads(net.opt.num_threads)for (int i = 0; i < w; i++){for (int j = 0; j < h; j++){for (int k = 0; k < num_class; k++) {//2组坐标float* scores = scores_blob.channel(k).row(i);scores[j] = sigmoid(scores[j]);if (threshold > 0 && threshold > scores[j]){scores[j] = 0;//阈值判断continue;//已经被剔除,此轮无需计算}//得分ObjectDef se_info;se_info.bbox.label = se_info.mat.c = k % dot_num; se_info.mat.w = i; se_info.mat.h = j;se_info.bbox.prob = scores[j];//由于坐标点是(0,0)(8,0),(16,0) ,对应我们for循环的坐标为坐标点为(j * stride,i *stride)//xfloat* arry = bboxes_blob.channel(k * dot_num).row(i);arry[j] = se_info.bbox.rect.x = (stride * j) - (arry[j] * stride);//得出边框左上角的x//yarry = bboxes_blob.channel(k* dot_num +1).row(i);arry[j] = se_info.bbox.rect.y = (stride * i) - (arry[j] * stride);//得出边框左上角的y//warry = bboxes_blob.channel(k * dot_num +2).row(i);arry[j]  = ((stride * j) + (arry[j] * stride));//得出边框右下角的xse_info.bbox.rect.width = arry[j] - se_info.bbox.rect.x;//harry = bboxes_blob.channel(k * dot_num + 3).row(i);arry[j] = ((stride * i) + (arry[j] * stride));//得出边框右下角的yse_info.bbox.rect.height = arry[j] - se_info.bbox.rect.y;for (int q = 0; q < 10; q+=2) {//5坐标 人脸关键点//x1float* kps_arry = kps_blob.channel(k * 10 + q).row(i);kps_arry[j] = (stride * j) + (kps_arry[j] * stride);se_info.kps.points[q / 2].x = kps_arry[j];//y1kps_arry = kps_blob.channel(k * 10 + q + 1).row(i);kps_arry[j] = (stride * i) + (kps_arry[j] * stride);se_info.kps.points[q / 2].y = kps_arry[j];}objects.push_back(se_info);}}}return 0;
}

其他极大值可以采用其他的我这里是采用的yolo的,得到最终效果如下

运行效果

获取得到了人脸框图和人脸关键点

这篇关于人脸识别之bbox【det_10g】-ncnn(c++)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/982708

相关文章

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<

C++包装器

包装器 在 C++ 中,“包装器”通常指的是一种设计模式或编程技巧,用于封装其他代码或对象,使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍,可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型: 1. 函数包装器 函数包装器用于封装一个或多个函数,使其接口更统一或更便于调用。例如,std::function 是一个通用的函数包装器,它可以存储任意可调用对象(函数、函数

C++11第三弹:lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页: 南桥几晴秋 🌈C++专栏: 南桥谈C++ 🌈C语言专栏: C语言学习系列 🌈Linux学习专栏: 南桥谈Linux 🌈数据结构学习专栏: 数据结构杂谈 🌈数据库学习专栏: 南桥谈MySQL 🌈Qt学习专栏: 南桥谈Qt 🌈菜鸡代码练习: 练习随想记录 🌈git学习: 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

06 C++Lambda表达式

lambda表达式的定义 没有显式模版形参的lambda表达式 [捕获] 前属性 (形参列表) 说明符 异常 后属性 尾随类型 约束 {函数体} 有显式模版形参的lambda表达式 [捕获] <模版形参> 模版约束 前属性 (形参列表) 说明符 异常 后属性 尾随类型 约束 {函数体} 含义 捕获:包含零个或者多个捕获符的逗号分隔列表 模板形参:用于泛型lambda提供个模板形参的名

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

【C++高阶】C++类型转换全攻略:深入理解并高效应用

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C++ “ 登神长阶 ” 🤡往期回顾🤡:C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝

C++——stack、queue的实现及deque的介绍

目录 1.stack与queue的实现 1.1stack的实现  1.2 queue的实现 2.重温vector、list、stack、queue的介绍 2.1 STL标准库中stack和queue的底层结构  3.deque的简单介绍 3.1为什么选择deque作为stack和queue的底层默认容器  3.2 STL中对stack与queue的模拟实现 ①stack模拟实现

c++的初始化列表与const成员

初始化列表与const成员 const成员 使用const修饰的类、结构、联合的成员变量,在类对象创建完成前一定要初始化。 不能在构造函数中初始化const成员,因为执行构造函数时,类对象已经创建完成,只有类对象创建完成才能调用成员函数,构造函数虽然特殊但也是成员函数。 在定义const成员时进行初始化,该语法只有在C11语法标准下才支持。 初始化列表 在构造函数小括号后面,主要用于给

2024/9/8 c++ smart

1.通过自己编写的class来实现unique_ptr指针的功能 #include <iostream> using namespace std; template<class T> class unique_ptr { public:         //无参构造函数         unique_ptr();         //有参构造函数         unique_ptr(