第14期（六月）组队学习 Task2：LBP特征描述算子-人脸检测

Task2：LBP特征描述算子-人脸检测

1 LBP特征描述算子简介

LBP（Local Binary Pattern）是一种用来描述图像局部特征的算子，具有灰度不变性和旋转不变性等优点。LBP可以用于人脸识别和目标检测，OpenCV中相关LBP特征进行人脸识别的接口，另外有LBP特征训练目标检测器的方法，虽然OpenCV实现了LBP特征的计算，但是没有提供一个单独的计算LBP特征的接口，即OpenCV中使用了LBP算法，却没有函数接口。

LBP特征用图像的局部邻域的联合分布$T$来描述图像纹理特征，假设局部邻域中像素点个数为$P(P>1)$,则纹理特征的联合分布$T$如下式所示。
$$T=t(g_c,g_0,...,g_p-1)p=1,2,...,P$$

其中$g_c$表示相应局部邻域中心像素点灰度值，$g_p$表示以中心像素点为圆心，以$R$为半径的圆内像素点灰度值。
假设中心像素点和局部邻域像素点相互独立，则纹理特征的联合分布$T$如下式所示。
$$\begin{gathered} T=t(g_c,g_0,...,g_p-1)p=1,2,...,P \\ \approx t(g_c)t(g_0-g_c,...,g_p-1-g_c) \end{gathered}$$
式中$t(g_c)$决定局部邻域的整体亮度。处理纹理特征时可以忽略它，则
$$T\approx t(g_0-g_c,...,g_p-1-g_c)p=1,2,...,P$$
纹理特征为邻域像素点和中心像素点灰度差值的联合分布函数，由于$g_p-1-g_c$ 不受亮度均值影响，即统计量$T$与灰度值无关。
特征函数如下式所示。
$$T\approx t(g_0-g_c,...,g_p-1-g_c)p=1,2,...,P$$
$$s(x)=\{\begin{array}{l}1,x\le 0\\ \\ 0,x>0\end{array}$$
LBP为二进制编码公式如下式所示
$$LB{P}_P^R=\sum _{p=0}^{P-1}s(g_p-g_c)2^p$$
原始的LBP算子定义在一个$3\ast 3$邻域内，以邻域中心像素点灰度值为阈值，相邻的8个像素点的灰度值与邻域中心像素点灰度值进行比较，如果周围像素点灰度值大于中心像素点灰度值，周围像素点的位置就被标记为1，反之，标记为0.即邻域内8个像素点与中心像素点灰度值比较后得到一个8位二进制数，将8位二进制数依次排列形成一个二进制数字，该二进制数字就是中心像素点的LBP值，LBP值反映邻域中心像素点周围区域的纹理信息。
注意只有灰度图才能计算LBP特征，彩色图需要转换为灰度图。

2 圆形LBP算子

基本LBP算子最大缺陷是只能覆盖固定半径范围内想区域，不能满足不同尺寸和频率纹理的要求，为了适应不同尺度的纹理特征，并满足灰度级和旋转不变性要求，对LBP算子进行改进，将$3\ast 3$邻域扩展到任意邻域，使用圆形邻域代替了正方形邻域，改进后的LBP算子允许在半径为$R$的圆形邻域内有任意多个像素点。$LB{P}_P^R$表示半径为$R$的圆形区域内含有$P$个采样点的LBP算子。

对于给定中心点$(x_c,y_c)$,其邻域像素点位置为$(x_p,y_p)$。$pϵP$,其采样点$(x_p,y_p)$计算过程如下式。
$$\begin{gathered} x_p=x_c+Rcos(2\pi p/P) \\ {y}_p=y_c+Rsin(2\pi p/P) \end{gathered}$$
其中$R$为采样半径，$p$是第$p$个采样点，$P$是采样数目，如果近邻点不在整数位置上，就需要进行插值运算。

3 LBP算子旋转不变性及等价模式

由于LBP算子具有灰度不变性，不具有旋转不变性，即同一幅图像，进行旋转以后，其特征会有很大的差别，影响匹配精度，对LBP算子进行改进得到具有旋转不变性的LBP特征。
改进方法是不断旋转圆形邻域得到一系列初始定义的LBP值，取最小值作为该邻域的值。


一个LBP算子可以产生不同的二进制模式，对于$LB{P}_P^R$将会产生$2^p$种模式。如果邻域是$7\ast 7$，就有$2^{36}$种模式。二进制模式太多是不利于信息的提取和识别。
实际图像中，大部分LBP模式最多只包含两次从1到0或从0到1的跳变。
等价模式是当某个局部二进制模式所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该局部二进制模式所对应的二进制就是一个等价模式，例如00000000,11111111,11100111是等价模式。
混合模式是除了等价模式之外的称为混合模式。

4 人脸检测流程

人脸检测过程采用多尺度滑窗搜索方式，每个尺度通过一定步长截取大小为$20\ast 20$的窗口，然后将窗口放到分类器中判断是不是人脸，如果是人脸，该窗口就通过所有分类器，否则该窗口会在某一级分类器被排除。

5参考代码

#coding:utf-8
import cv2 as cv
# 读取原始图像
img= cv.imread('test.jpg')
face_cascade=cv.CascadeClassifier('haarcascade_frontalface_default.xml')
face_cascade.load('D:/binchen/tkinter1/txzq1/Lib/site-packages/cv2/data/haarcascade_frontalface_default.xml')
# 检测⼈脸
# 灰度处理
gray = cv.cvtColor(img, code=cv.COLOR_BGR2GRAY)
# 检查⼈脸 按照1.1倍放到 周围最⼩像素为5
face_zone = face_cascade.detectMultiScale(gray, scaleFactor = 2, minNeighbors = 2) # maxSize =
(55,55)
print ('识别⼈脸的信息： \n',face_zone)
# 绘制矩形和圆形检测⼈脸
for x, y, w, h in face_zone:cv.rectangle(img, pt1 = (x, y), pt2 = (x+w, y+h), color = [0,0,255], thickness=2) ##绘制矩形⼈脸区域
# 绘制圆形⼈脸区域 radius表示半径
cv.circle(img, center = (x + w//2, y + h//2), radius = w//2, color = [0,255,0], thickness = 2)
# 设置图⽚可以⼿动调节⼤⼩
cv.namedWindow("result", 0)
# 显示图⽚
cv.imshow("result", img)
# 等待显示 设置任意键退出程序
cv.waitKey(0)
cv.destroyAllWindows()