基于opencv和QT的瞳孔精确检测程序

本文为作者为毕业设计所写的瞳孔精确检测程序，转载请注明作者和出处http://blog.csdn.net/zyx1990412/article/details/51219076。

本篇博客是在作者的前两篇博客 《基于QT和opencv的摄像头（本地图片）读取并输出程序》和《 基于opencv和QT的人脸（人眼）检测程序》的基础上进行开发的。主要原理是:针对已经检测到的人眼区域图像，利用边缘检测和Hough变换实现瞳孔的精确检测。

首先建立一个图像处理类，对每一帧图像进行处理。

class ImgProcess
{private:Mat inimg;//输入图像Mat outimg;//输出结果Mat Leye;Mat Reye;Mat Leye_G;Mat Reye_G;CvRect drawing_box;public:vector<Vec3f> Lcircles;vector<Vec3f> Rcircles;ImgProcess(Mat image):inimg(image),drawing_box(cvRect(0, 0, 50, 20)){}void EyeDetect();//人眼检测Mat Outputimg();//输出结果void DivideEye();//分左右眼Mat OutLeye();//输出结果Mat OutReye();Mat EdgeDetect(Mat &edgeimg);//边缘检测void EyeEdge();//分别检测左右眼vector<Vec3f> Hough(Mat &midImage);//hough变换void FindCenter();//定位中心Mat PlotC(vector<Vec3f> circles,Mat &midImage);//画HOUGH变换的检测结果
};#endif // IMGPROCESS_H

1．检测人眼

    在图像处理时，首先利用上一篇博客所得到的人眼检测函数检测得到人眼区域。实现人眼检测的函数voidEyeDetect();

void ImgProcess::EyeDetect()
{detectAndDisplay( inimg,drawing_box );outimg=inimg;
}

其中的detectAndDisplay函数为:

void  detectAndDisplay( Mat &frame,CvRect &box )
{string face_cascade_name = "haarcascade_mcs_eyepair_big.xml";//导入已经训练完成的样本CascadeClassifier face_cascade;//建立分类器string window_name = "camera";if( !face_cascade.load( face_cascade_name ) ){printf("[error] no cascade\n");}std::vector<Rect> faces;//用于保存检测结果的向量Mat frame_gray;cvtColor( frame, frame_gray, CV_BGR2GRAY );//转换成灰度图equalizeHist( frame_gray, frame_gray );//直方图均值化face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0|CV_HAAR_SCALE_IMAGE, Size(30, 30) );//用于检测人眼的函数//画方框for( int i = 0; i < faces.size(); i++ ){Point centera( faces[i].x, faces[i].y);Point centerb( faces[i].x + faces[i].width, faces[i].y + faces[i].height );rectangle(frame,centera,centerb,Scalar(255,0,0));box=faces[0];}//imshow( window_name, frame );
}

运行完人眼检测函数后，检测结果将在label上显示出来，如图一。需要说明的是，opencv自带的检测函数存在误检或者漏检的情况，即检测到多个人眼区域（多讲眉毛部分检测为人眼），或者检测不到人眼。所以函数将检测到的第一个向量放入drawing_box中；如果没有检测到，就不赋值。另外需要注意的是，在佩戴眼镜的情况下，检测效果不是十分明显。

图一

2．左右眼图像分割

drawing_box是一个矩形数据结构，里面共有四个量，drawing_box.x和drawing_box.y分别是矩形框的x和y坐标，drawing_box.width和drawing_box.Height分别是矩形框的宽度和高度。检测到人眼区域后，利用voidDivideEye()函数将人眼区域分成左右眼两个区域，方便后续计算。其中leye_box表示左眼的矩形框，Leye表示左眼的图像，reye_box表示右眼的矩形框，Reye表示右眼的图像。

void ImgProcess::DivideEye()
{if (drawing_box.width>0){CvRect leye_box;leye_box.x=drawing_box.x+1;leye_box.y=drawing_box.y+1;leye_box.height=drawing_box.height-1;leye_box.width=floor(drawing_box.width/2)-1;CvRect reye_box;reye_box.x=leye_box.x+leye_box.width;reye_box.y=drawing_box.y+1;reye_box.height=drawing_box.height-1;reye_box.width=leye_box.width-1;Leye=inimg(leye_box);Reye=inimg(reye_box);
//    imshow("L",Leye);
//    imshow("R",Reye);}
}

3．图像边缘检测

    本文利用canny算法对图像进行边缘检测，canny算法的原理就不详细介绍了，大家可以自行查阅网上的资料，本文直接使用opencv自带的检测函数进行检测。单个图像的边缘检测ImgProcess::EdgeDetect：首先将图像由彩色图转换成灰度图，然后进行高斯平滑，接着进行直方图均值化，最后利用canny函数进行边缘检测。这几个函数的用法和参数设置网上都有介绍，其中canny函数最重要的是低阈值和高阈值的设置，本文的参数是通过多次测试得出的结果。参数的设置与光照和背景都有较大的关系，本文的参数适用于作者所在是环境（图一的背景），在其他环境下是否适用，还需要读者自行探索。

Mat ImgProcess::EdgeDetect(Mat &edgeimg)
{Mat edgeout;cvtColor(edgeimg,edgeimg,CV_BGR2GRAY);// 彩色图转换成灰度图GaussianBlur( edgeimg,edgeimg, Size(9, 9), 2, 2 );// 高斯平滑equalizeHist( edgeimg, edgeimg );//直方图均值化Canny(edgeimg,edgeout,100,200,3);//输入图像,输出图像,低阈值,高阈值，opencv建议是低阈值的3倍,内部sobel滤波器大小return edgeout;
}

然后建立一个函数对左右眼图片分别调用边缘检测函数

void ImgProcess::EyeEdge()
{Leye_G=EdgeDetect(Leye);   Reye_G=EdgeDetect(Reye);//imshow("L",Leye_G);//imshow("R",Reye_G);
}

检测结果如图二所示

vector<Vec3f> ImgProcess::Hough(Mat &midImage)
{vector<Vec3f> circles;HoughCircles( midImage, circles, CV_HOUGH_GRADIENT,1.5, 5, 100, 20, drawing_box.height/4, drawing_box.height/3 );return circles;
}

Mat ImgProcess::PlotC(vector<Vec3f> circles,Mat &midImage){for( size_t i = 0; i < circles.size(); i++ ){Point center(cvRound(circles[i][0]), cvRound(circles[i][1]));int radius = cvRound(circles[i][2]);//cout<<i<<":"<<circles[i][0]<<","<<circles[i][1]<<","<<circles[i][2]<<endl;//绘制圆心cvRound进行四舍五入circle( midImage, center, 1, Scalar(255,0,0), -1,8);//绘制圆轮廓circle( midImage, center, radius, Scalar(255,0,0), 1,8 );}return midImage;}

最后分别建立一个对左右眼进行hough变换的函数对上述两个函数进行调用：

voidImgProcess::FindCenter()
{Lcircles=Hough(Leye_G);Rcircles=Hough(Reye_G);Leye=PlotC(Lcircles,Leye);Reye=PlotC(Rcircles,Reye);
}

最终的检测结果如图三所示。从结果中可以发现，检测结果不是非常稳定，存在漏检和误检的情况，这可能是参数设置的问题。利用本文所设置的参数，基本可以实现瞳孔的精确检测，通过调整人脸相对于摄像头的位置，一定可以检测到瞳孔，但是检测结果不一定是连续的。在误检的情况中，即使存在多余的检测结果，但是正确的结果也同时存在（如图三右图），说明正确相对于误检的结果，是最稳定的。

图三

在上一篇《基于QT和opencv的摄像头（本地图片）读取并输出程序》的程序中的图像处理函数的位置，对上述函数进行调用，可以得到图四所得的结果。

ImgProcess pro(frame);//建立视频处理类
pro.EyeDetect();//人眼检测Mat image=pro.Outputimg();//输出检测图像imshow( "camera", image );QImage img=Mat2QImage(image);//将mat格式转换为Qimage格式ui->label->setPixmap(QPixmap::fromImage(img));//将结果在label上显示//ui->label->setScaledContents(true);//使图像尺寸与label大小匹配pro.DivideEye();//分成左右眼pro.EyeEdge();//瞳孔边缘检测pro.FindCenter();//hough变换求圆心Mat mleye=pro.OutLeye();//输出瞳孔定位结果QImage qleye=Mat2QImage(mleye);ui->label_2->setPixmap(QPixmap::fromImage(qleye));//ui->label_2->setScaledContents(true);Mat mreye=pro.OutReye();QImage qreye=Mat2QImage(mreye);ui->label_3->setPixmap(QPixmap::fromImage(qreye));//ui->label_3->setScaledContents(true);

图四

本篇博客介绍的是对opencv自带的图像处理函数的应用，下一篇《基于QT和opencv的瞳孔定位及跟踪程序》将介绍对检测到的数据进行检测的处理，实现瞳孔的定位和跟踪功能。整个图像处理类函数和类的调用函数将在下一篇完整给出。