人脸识别之bbox【det_10g】-ncnn(c++)

2024-05-12 13:04
文章标签 c++ 10g 人脸识别 ncnn bbox det

本文主要是介绍人脸识别之bbox【det_10g】-ncnn(c++),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

模型描述

det_10g是insightface 人脸框图和人脸关键点的分类,最终能够得到人脸框图bbox,分值还有人脸五官(眼x2、鼻子x1、嘴巴x2)

由于我这里没有采用最终结果,通过onnx转换为ncnn,所以后面的步骤结果丢弃了,具体可以看另外一篇博文:模型onnx转ncnn小记-CSDN博客

输入处理

在python的时候输入和ncnn(c++)入参还是有些区别

由于模型的输入是我这边选择的是1x3x640x640,所以针对输入的图片需要进行处理,首先进行等比缩放和数据的差值和归一化处理

获取结果

把输入得到如下,9个结果

通过获取(441,443,444),(464,466,467),(487,489,490)

可以分别得到步长8, 16, 32 的三组数据,可以先了解下,目标候选框bbox的基础知识

计算坐标值和过滤

需要分别计算步长8、16和32的目标数据,下面是步骤

步骤一:结果变换维度

变换维度,方便处理和理解。

他的一组数据是(441,443,444),获取的大小是:scores=》1x2x80x80、bboxs=>1x8x80x80、kps=>1x20x80x80

通过insightface的源码可以看到,num_anchors = 2,每个位置的目标框是两组,正常来说是黑白图两种,既然是同一个位置,那么可以合并一起,所以。

1、scores:1x2x80x80  意思就是有2张图 ,每张图大小是80x80,有这么多分值,我们可以通过阈值把大多数的点过滤出去,默认的阈值是0.5.

2、bboxs: 1x8x80x80 每一个分数对应的四个点(x1,y1,x2,y2)*注意这个点是距离原点的相对值,还是需要计算的,这里1x8  前面1~4 是一个矩形框的点,后面的4~8是另一张图的矩形框坐标点,就是黑白图。

3、kps:1x20x80x80 每一个分数对应的五官坐标点(x,y)*注意这个点是距离原点的相对值,还是需要计算的,这里1~10 是一组坐标点,另外的10~20是另外一张图的一组坐标点,分开计算就行。

这里获取的分数scores 需要做一个sigmoid,让他映射到0~1,方便后面和阈值比较。

具体c++的sigmoid

inline float fast_exp(float x)
{union {uint32_t i;float f;} v{};v.i = (1 << 23) * (1.4426950409 * x + 126.93490512f);return v.f;
}inline float sigmoid(float x)
{return 1.0f / (1.0f + fast_exp(-x));
}

步骤二:求出坐标值

1、坐标放大

这里的bbox和kps都需要乘以8 变换为原有的,之前处理特征值做了压缩处理,压缩了8倍

每个坐标值都x8 得到原有特征图的坐标点。

bbox= bbox *  8 

kps = kps * 8

2、求出真正的缩放值

bbox,这里的点都是一个便宜值,那么真正的坐标是怎么样的了,这里我们的这里返回特征图是80x80,由于这里的步长都是8,那么每个点就是这样排序下去,具体如下:

[0,0][8,0[16,0]...[632, 0]
[0,8][8,8][16,8]...[632, 8]
............
[0,632][8,632][16,632]...[632,632]

总共就是80x80的数据格式点

把每个点的坐标减去bbox[0]和bbox[1]得到左上角的(x1,y1) 

把每个点的坐标减去bbox[2]和bbox[3]得到右上角的(x2,y2) 

这样就得到了整个的bbox的坐标值

kps:其实也是一样,他是kps  5组x和y,分别添加上特征图的坐标点就行了,这里不需要减去

类似:bbox[0] + kps[n],bbox[1] + kps[n+1]

这样就求出kps的五个坐标点

其实应该先求出分数,然后再根据分数是否符合再求出坐标点,这样效率高点,这里为了理解过程就没有考虑效率问题了。

步骤三:分值过滤出

1、根据scores所有的分值进行过滤,过滤出大于等于0.5的阈值,得到一个分值列表

2、根据过滤的列表,把kps和bbox 也过滤下,去掉分值较低的

步骤四:重复上面的步骤

重复上面步骤,依次求出步长16和32的值,然后把结果放到一个列表,按得分份排序,方便后面的NMS计算,最终一个目标对应一个方框。

步骤五:NMS非极大值抑制

1、通过分值得到了不少的坐标点bbox,但是这些框很有可能是有重复的,这里需要用NMS进行过滤

  过滤的规则就是通过IOU进行合并,当计算出的IOU大于阈值这里的阈值是默认0.4,那么就合并候选框,当然是把分值低的合并给高的,所以为啥前面要进行排序了。

IOU其实就计算两个框相交的面积

看着复杂,其实计算还是挺简单的,比如

假设:A坐标(x1,y1)(x2,y2) B坐标(x3,y3)(x4,y4) 

上面的坐标都是左上角和右下角坐标,几个坐标可以合并成一个矩形框

A的面积:(x2-x1) *(y2-y1)

B的面积:(x4-x3)*(y4-y3)

根据上面可以求出C的宽和高:x4=(Min(x4,x2) - Max( x3,x1)) *( Min(y4,y2)-Max(y3,y1))

当然如果求出C的宽和高小于0,那么说明A和B没有相交不需要合并。

IOU=C面积/(A面积+B面积-C面积)

如果这个IOU大于我们设置的阈值这里是0.4,那么就进行合并选择得分高的

通过轮询把所有的候选框都过滤出来,就得到了最终的候选框。

具体可以查询文章 睿智的目标检测1——IOU的概念与python实例-CSDN博客

过滤坐标计算核心代码

核心部分代码:(这里没有进行转换了,直接采用mat计算,通过分值过滤,最后计算出人脸关键点和bbox边框)这样效率会稍微高点。

记得模型得出来的bbox和特征值,都是一个偏离值,最后需要乘以步长,然后如果需要再原图进行展示的话,还需要对应特征图640x640和原图的比例展示,后面才可以得出原图的坐标

下面是得出特征图的坐标值

//bbox 1x8x80x80  1x8x40x40 kps:1x20x80x80 1x20x40x40  scores:1x2x80x80  1x2x40x40 
int FaceDef::generate_proposals(ncnn::Mat& scores_blob, ncnn::Mat& bboxes_blob, ncnn::Mat& kps_blob,std::vector<ObjectDef>& objects,int stride, float threshold,int num_class) {const int dot_num = 4;//两组坐标int w = bboxes_blob.w;int h = bboxes_blob.h;int d = bboxes_blob.d;int channels = bboxes_blob.c;int dims = bboxes_blob.dims;if (channels * num_class % dot_num != 0)//通道数不正确,必须为4个坐标return -100;if (scores_blob.w != w || scores_blob.h != h)//如果形状不一致,必须形状一直return -101;if (kps_blob.w != w || kps_blob.h != h)//如果形状不一致,必须形状一直return -101;#pragma omp parallel for num_threads(net.opt.num_threads)for (int i = 0; i < w; i++){for (int j = 0; j < h; j++){for (int k = 0; k < num_class; k++) {//2组坐标float* scores = scores_blob.channel(k).row(i);scores[j] = sigmoid(scores[j]);if (threshold > 0 && threshold > scores[j]){scores[j] = 0;//阈值判断continue;//已经被剔除,此轮无需计算}//得分ObjectDef se_info;se_info.bbox.label = se_info.mat.c = k % dot_num; se_info.mat.w = i; se_info.mat.h = j;se_info.bbox.prob = scores[j];//由于坐标点是(0,0)(8,0),(16,0) ,对应我们for循环的坐标为坐标点为(j * stride,i *stride)//xfloat* arry = bboxes_blob.channel(k * dot_num).row(i);arry[j] = se_info.bbox.rect.x = (stride * j) - (arry[j] * stride);//得出边框左上角的x//yarry = bboxes_blob.channel(k* dot_num +1).row(i);arry[j] = se_info.bbox.rect.y = (stride * i) - (arry[j] * stride);//得出边框左上角的y//warry = bboxes_blob.channel(k * dot_num +2).row(i);arry[j]  = ((stride * j) + (arry[j] * stride));//得出边框右下角的xse_info.bbox.rect.width = arry[j] - se_info.bbox.rect.x;//harry = bboxes_blob.channel(k * dot_num + 3).row(i);arry[j] = ((stride * i) + (arry[j] * stride));//得出边框右下角的yse_info.bbox.rect.height = arry[j] - se_info.bbox.rect.y;for (int q = 0; q < 10; q+=2) {//5坐标 人脸关键点//x1float* kps_arry = kps_blob.channel(k * 10 + q).row(i);kps_arry[j] = (stride * j) + (kps_arry[j] * stride);se_info.kps.points[q / 2].x = kps_arry[j];//y1kps_arry = kps_blob.channel(k * 10 + q + 1).row(i);kps_arry[j] = (stride * i) + (kps_arry[j] * stride);se_info.kps.points[q / 2].y = kps_arry[j];}objects.push_back(se_info);}}}return 0;
}

其他极大值可以采用其他的我这里是采用的yolo的,得到最终效果如下

运行效果

获取得到了人脸框图和人脸关键点

这篇关于人脸识别之bbox【det_10g】-ncnn(c++)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/982708

相关文章

C++ 中的 if-constexpr语法和作用

《C++中的if-constexpr语法和作用》if-constexpr语法是C++17引入的新语法特性,也被称为常量if表达式或静态if(staticif),:本文主要介绍C++中的if-c... 目录1 if-constexpr 语法1.1 基本语法1.2 扩展说明1.2.1 条件表达式1.2.2 fa

C++中::SHCreateDirectoryEx函数使用方法

《C++中::SHCreateDirectoryEx函数使用方法》::SHCreateDirectoryEx用于创建多级目录,类似于mkdir-p命令,本文主要介绍了C++中::SHCreateDir... 目录1. 函数原型与依赖项2. 基本使用示例示例 1:创建单层目录示例 2:创建多级目录3. 关键注

C++从序列容器中删除元素的四种方法

《C++从序列容器中删除元素的四种方法》删除元素的方法在序列容器和关联容器之间是非常不同的,在序列容器中,vector和string是最常用的,但这里也会介绍deque和list以供全面了解,尽管在一... 目录一、简介二、移除给定位置的元素三、移除与某个值相等的元素3.1、序列容器vector、deque

C++常见容器获取头元素的方法大全

《C++常见容器获取头元素的方法大全》在C++编程中,容器是存储和管理数据集合的重要工具,不同的容器提供了不同的接口来访问和操作其中的元素,获取容器的头元素(即第一个元素)是常见的操作之一,本文将详细... 目录一、std::vector二、std::list三、std::deque四、std::forwa

C++字符串提取和分割的多种方法

《C++字符串提取和分割的多种方法》在C++编程中,字符串处理是一个常见的任务,尤其是在需要从字符串中提取特定数据时,本文将详细探讨如何使用C++标准库中的工具来提取和分割字符串,并分析不同方法的适用... 目录1. 字符串提取的基本方法1.1 使用 std::istringstream 和 >> 操作符示

C++原地删除有序数组重复项的N种方法

《C++原地删除有序数组重复项的N种方法》给定一个排序数组,你需要在原地删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度,不要使用额外的数组空间,你必须在原地修改输入数组并在使用O(... 目录一、问题二、问题分析三、算法实现四、问题变体:最多保留两次五、分析和代码实现5.1、问题分析5.

C++ 各种map特点对比分析

《C++各种map特点对比分析》文章比较了C++中不同类型的map(如std::map,std::unordered_map,std::multimap,std::unordered_multima... 目录特点比较C++ 示例代码 ​​​​​​代码解释特点比较1. std::map底层实现:基于红黑

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程

利用Python和C++解析gltf文件的示例详解

《利用Python和C++解析gltf文件的示例详解》gltf,全称是GLTransmissionFormat,是一种开放的3D文件格式,Python和C++是两个非常强大的工具,下面我们就来看看如何... 目录什么是gltf文件选择语言的原因安装必要的库解析gltf文件的步骤1. 读取gltf文件2. 提

C++快速排序超详细讲解

《C++快速排序超详细讲解》快速排序是一种高效的排序算法,通过分治法将数组划分为两部分,递归排序,直到整个数组有序,通过代码解析和示例,详细解释了快速排序的工作原理和实现过程,需要的朋友可以参考下... 目录一、快速排序原理二、快速排序标准代码三、代码解析四、使用while循环的快速排序1.代码代码1.由快