本文主要是介绍OpenCV自带的HAAR级联分类器对脸部(人脸、猫脸等)的检测识别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在计算机视觉领域,检测人脸等是一种很常见且非常重要的应用,我们可以先通过开放计算机视觉库OpenCV来熟悉这个人脸识别领域。另外OpenCV关于颜色的识别,可以查阅:OpenCV的HSV颜色空间在无人车中颜色识别的应用HSV颜色识别的跟踪实践https://blog.csdn.net/weixin_41896770/article/details/131746841
1、多尺度检测人脸
我们先直接对一张图片中的多个人脸进行检测,看下OpenCV自带的这个级联分类器HAAR对于人脸识别的效果怎么样:
import cv2
import numpy as npimg = cv2.imread('c.png') # (H,W,C)
imgGray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)# 使用预训练模型创建 Cascade 分类器
getCascade = lambda model_name: cv2.CascadeClassifier(cv2.data.haarcascades + model_name)# 人脸
Cascade = getCascade("haarcascade_profileface.xml")
#Cascade = getCascade("haarcascade_frontalface_alt2.xml")# 多尺度识别人脸
faces = Cascade.detectMultiScale(imgGray,1.2,3)
# 矩形标注(左上角与右下角坐标)
for (x,y,w,h) in faces:cv2.rectangle(img, (x,y), (x+w,y+h), (0,0,255) , 2)cv2.imshow("face", img)
cv2.waitKey(0)
cv2.destroyAllWindows()
如图:
虽然位置有偏差,往右移动了一些,边界框没有在中心位置,但是对目标的大概位置还是能够检测到,也就是对于脸部这个对象还是可以正确的被识别到。
其中这个haarcascade_profileface.xml文件是OpenCV自带的人脸分类器,在Windows中的位置如下(我这里是在虚拟环境pygpu中安装的OpenCV视觉库):
envs\pygpu\Lib\site-packages\cv2\data
我们将会在这个目录里面看到,还包含有其他很多的预训练模型,如图:
2、haarcascade分类器
我们知道OpenCV自带的haarcascade分类器还是挺多的,这里的cascade翻译为级联,什么意思呢?
我个人的理解是,这里的提取特征方法还是用到卷积,因为卷积可以检测到边缘,质地纹理等,而一张图里面有很多很多的特征,这个时候我们可以将它们各种尺度缩放来分别提取不同特征并分组,这样一层一层的过滤,当需要检测需要的对象时,只需将不符合的直接丢弃,减少计算,这样就可以加速得到特征。不清楚这种表达是否正确,欢迎指正。
这里的haarcascade分两部分理解,haar先提取特征,然后使用cascade来对特征进行分类。所以haarcascade_profileface.xml这个文件的意思就是提取特征之后,加载人脸分类的一个预训练模型。下划线后面跟随的profileface名称也可以知道,需要进行的分类是人脸。
接下来我们换一个对象,检测猫脸和猫的眼睛,只需要更换对应的模型即可:
2.1、猫脸
我更换为一张包含多只猫的图片,然后加载这个猫脸的预训练模型:
Cascade = getCascade("haarcascade_frontalcatface.xml")
如图:
从检测的图片中,我们可以看到第一只猫没有检测到,其余4只都很好的检测到并做了标注。
2.2、检测眼睛
除了检测脸部之外,还可以检测眼睛,同样的我们更换为眼睛分类模型:
Cascade = getCascade("haarcascade_eye.xml")
如图:
从检测图片中可以看到,除了中间的那只猫,其余的都很好的检测到了眼睛。
3、detectMultiScale
分类器创建好了之后,我们还可以做多尺度检测,先来认识下这个detectMultiScale函数:
help(detectMultiScale)
detectMultiScale(image[, scaleFactor[, minNeighbors[, flags[, minSize[, maxSize]]]]]) -> objects
参数说明:
image:CV_8U类型的矩阵,也就是8位无符号整数[0,255],其余还有16位、32位等有符号整数与浮点数,其中的字母S表示有符号整型,U表示无符号整型,F表示浮点型
scaleFactor:搜索窗口前后大小的比例系数,默认为1.1,也就是每次搜索窗口扩大10%
minNeighbors:指定每个候选矩形应该有多少个邻居的参数
minSize:检测的最小尺寸,小于该值的对象将被忽略
maxSize:检测的最大尺寸,大于该值的对象将被忽略。如果maxSize == minSize模型在单个尺度上进行评估。
对于这种多尺度的检测,还可以在一张图中检测出不同对象并标注,也就是说可以做嵌套:
faces1 = Cascade1.detectMultiScale(imgGray,1.3,2)
faces2 = Cascade2.detectMultiScale(imgGray,1.5,3)for (x,y,w,h) in faces1:cv2.rectangle(img, (x,y), (x+w,y+h), (0,0,255) , 2)for (x,y,w,h) in faces2:cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,255) , 2)
如下图,就将猫脸和眼睛都检测出来了:
4、摄像头检测
既然对于图片能够识别其中想要检测的对象,那在视频中应该也是没有问题的,我们来看下摄像头检测的效果,由于本人电脑没有摄像头,还是使用无人车上的CSI摄像头来测试下:
测试环境:JupyterLab
from jetbotmini import Camera
from jetbotmini import bgr8_to_jpeg
import traitlets
import ipywidgets.widgets as widgets
from IPython.display import display
import cv2camera = Camera.instance(width=720, height=720)
face_image = widgets.Image(format='jpeg', width=300, height=300)
face = widgets.Image(format='jpeg', width=300, height=300)
display(face_image)
display(face)face_cascade = cv2.CascadeClassifier('haarcascade_profileface.xml')
初始化摄像头与图片显示组件之后,紧接着就是实时地将摄像头接收的数据反馈到Image组件,并检测人脸以及将人脸特写,给显示出来。
while 1:frame = camera.valueframe = cv2.resize(frame, (300, 300))frame_face =frame.copy()gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)faces = face_cascade.detectMultiScale(gray)if len(faces)>0:(face_x, face_y, face_w, face_h) = faces[0]# 将检测到的人脸标记出来cv2.rectangle(frame,(face_x,face_y),(face_x+face_h,face_y+face_w),(0,255,0),2)#cv2.rectangle(frame,(face_x+10,face_y),(face_x+face_w-10,face_y+face_h+20),(0,255,0),2)frame_face = frame_face[face_y:face_y+face_h,face_x:face_x+face_w]frame_face = cv2.resize(frame_face,(300,300))face.value = bgr8_to_jpeg(frame_face)# 实时传回图像数据进行显示face_image.value = bgr8_to_jpeg(frame)
如图:
这里还多出一个显示脸部特写的组件,这里没有截图了,比较简单,用法是一样的,将识别到的脸部显示出来即可。
5、错误处理
如果在前面不使用匿名函数:
getCascade = lambda model_name: cv2.CascadeClassifier(cv2.data.haarcascades + model_name)
Cascade = getCascade("haarcascade_profileface.xml")
处理的话,而使用类似后面摄像头中的写法:
cv2.CascadeClassifier('haarcascade_profileface.xml')
如果报下面的错误:
error: OpenCV(4.6.0) D:\a\opencv-python\opencv-python\opencv\modules\objdetect\src\cascadedetect.cpp:1689: error: (-215:Assertion failed) !empty() in function 'cv::CascadeClassifier::detectMultiScale'
就是缺少这个文件,需要将haarcascade_profileface.xml模型文件拷贝到当前目录即可。
6、小结
在做图片显示的时候,有两种方式,可以是OpenCV自带的imshow方法:
cv2.imshow("face", img)
cv2.waitKey(0)
cv2.destroyAllWindows()
这种显示很简单直观,直接显示cv2.imread读取到的数据即可,另外需要注意的时,显示方法的后面需要waitkey,不然会出现程序不响应。
另外一种方法是在JupyterLab里面显示的情况,比如后面介绍的在摄像头里面的显示,这里需要注意图片的转换:
face_image = widgets.Image(format='jpeg', width=300, height=300)
display(face_image)
face_image.value = bytes(cv2.imencode('.jpg', img)[1])
这里的widgets.Image组件格式是jpeg格式,所以需要进行编码成jpeg格式之后,再转换成二进制的字节序列赋值给这个图片组件即可。
其中的字节函数bytes里面的取值范围是[0,255],比如
bytes([0,97,98,99,255]) # b'\x00abc\xff'
如果不在这个范围就会报错:
bytes([0,97,98,99,255,256])
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: bytes must be in range(0, 256)
这篇关于OpenCV自带的HAAR级联分类器对脸部(人脸、猫脸等)的检测识别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!