OpenCV-利用颜色、形态学和最大稳定极值区域MSER实现车牌区域检测

要想提取车牌号，首先要定位车牌区域，本文分别三种方法用，即颜色、形态学和最大稳定极值区域MSER的方法，对车牌区域进行判定。说得是三种方法，其实并无多大的区别。

方法一：利用颜色提取车牌区域的思路：
1.求得原图像的sobel边缘sobelMat
2.在HSV空间上通过对色调H、饱和度S、明度V进行约束条件的限制获得图像中满足车牌背景底色的区域，得到图像bw_blue
3.通过对图像中每一个像素进行决策来判断其是否是车牌边缘，得到图像bw_blue_edge
4.对bw_blue_edge进行形态学闭操作，将那些小洞，小孔之类的连接起来，进而使图形中矩形更像矩形
5.对连通区域的轮廓进行检测，如果有车牌，车牌肯定占一个轮廓

6.对每一个轮廓求其外接矩形，并进行检测，从而把最像车牌的区域检测出来

代码实现：

//提取竖直的Sobel边缘
bool SobelVerEdge(cv::Mat image, cv::Mat &result)
{CV_Assert(image.channels() == 1);image.convertTo(image, CV_32FC1);//水平方向的Sobel算子cv::Mat sobelx = (cv::Mat_<float>(3, 3) << -0.125, 0, 0.125, -0.25, 0, 0.25, -0.125, 0, 0.125);cv::Mat ConResMat;//卷积运算cv::filter2D(image, ConResMat, image.type(), sobelx);//计算梯度的幅度cv::Mat graMagMat;cv::multiply(ConResMat, ConResMat, graMagMat);//根据梯度幅度及参数设置阈值int scaleVal = 4;double thresh = scaleVal * cv::mean(graMagMat).val[0];cv::Mat resulttemp = cv::Mat::zeros(graMagMat.size(), graMagMat.type());float* pDataMag = (float*)graMagMat.data;float* pDataRes = (float*)resulttemp.data;int rows = ConResMat.rows, cols = ConResMat.cols;for (int i = 1; i < rows - 1; i++){for (int j = 1; j < cols - 1; j++){//计算该点梯度与水平或垂直梯度值大小的比较结果bool b1 = pDataMag[i * cols + j] > pDataMag[i * cols + j - 1];bool b2 = pDataMag[i * cols + j] > pDataMag[i * cols + j + 1];bool b3 = pDataMag[i * cols + j] > pDataMag[(i - 1) * cols + j];bool b4 = pDataMag[i * cols + j] > pDataMag[(i + 1) * cols + j];//判断邻域梯度是否满足大于水平或垂直梯度，并根据自适应阈值参数进行二值化pDataRes[i * cols + j] = 255 * ((pDataMag[i * cols + j] > thresh) && ((b1 && b2) || (b3 && b4)));}}resulttemp.convertTo(resulttemp, CV_8UC1);result = resulttemp.clone();return true;
}cv::Mat getPlateArea(cv::Mat image, cv::Mat sobelMat)
{cv::Mat imagehsv, image_h, image_s, image_v;cv::cvtColor(image, imagehsv, CV_BGR2HSV);//分割HSV通道std::vector<cv::Mat>hsv_vec;cv::split(imagehsv, hsv_vec);image_h = hsv_vec[0], image_s = hsv_vec[1], image_v = hsv_vec[2];//转换通道数据类型image_h.convertTo(image_h, CV_32F);image_s.convertTo(image_s, CV_32F);image_v.convertTo(image_v, CV_32F);//计算每个通道的最大值double ma_h, ma_s, ma_v;cv::minMaxIdx(image_h, 0, &ma_h);cv::minMaxIdx(image_s, 0, &ma_s);cv::minMaxIdx(image_v, 0, &ma_v);//各个通道归一化image_h /= ma_h;image_s /= ma_s;image_v /= ma_v;//HSV限定范围元素提取cv::Mat blue = ((image_h > 0.45) & (image_h < 0.75) & (image_s > 0.15) & (image_v > 0.25));cv::imshow("temp", blue);int rows = blue.rows, cols = blue.cols;cv::Mat blue_edge = cv::Mat::zeros(blue.size(), blue.type());//车牌疑似区域提取for (int i = 1; i < rows - 1; i++){for (int j = 1; j < cols - 1; j++){cv::Rect tmp;tmp.x = j - 1, tmp.y = i - 1;tmp.height = tmp.width = 3;//判断当前点属于边缘且颜色区域内至少包含1个像素if ((sobelMat.at<uchar>(i, j) == 255) && cv::countNonZero(blue(tmp)) >= 1)blue_edge.at<uchar>(i, j) = 255;}}//形态学闭操作//操作算子类型MORPH_OPEN(开操作),MORPH_CLOSE(闭操作)，MORPH_GRADIENT(形态学梯度操作)，MORPH_TOPHAT(顶帽操作),MORPH_BLACKHAT(黑帽操作)//iterations腐蚀和膨胀次数cv::Mat morph;cv::morphologyEx(blue_edge, morph, cv::MORPH_CLOSE, cv::Mat::ones(2, 15, CV_8UC1));//联通区域提取//输入图像必须为2值单通道图像(函数结束会对2值图像发生改变，若不想改变需要创建新的Mat)//CV_RETR_EXTERNAL：只检索最外面的轮廓//CV_RETR_LIST：检索所有的轮廓//CV_CHAIN_APPROX_SIMPLE：压缩水平的、垂直的和斜的部分，也就是函数只保留他们的终点部分//offset：偏移量，用于移动所有轮廓点（当轮廓是从图像的ROI提取的，并且需要在整个图像中分析时，这个参数很有用）std::vector<std::vector<cv::Point> >region;cv::findContours(morph.clone(), region, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE, cv::Point(0, 0));cv::Mat tmp = cv::Mat::zeros(morph.size(), CV_8UC1);//候选轮廓筛选cv::Mat result;for (int i = 0; i < region.size(); i++){//去除高度/宽度不符合条件的区域cv::Rect rect = cv::boundingRect(region[i]);//计算区域非零像素点int cnt = cv::countNonZero(morph(rect));//非零像素点占的比例double ratio = double(cnt) / rect.area();double wh_ratio = double(rect.width) / rect.height;//有效像素点、宽高及比例判断if (ratio > 0.5 && wh_ratio > 2 && wh_ratio < 5 && rect.height > 12 && rect.width > 60){cv::Mat small = blue_edge(rect);result = image(rect);cv::imshow("result", result);}}return result;
}

运行结果：

方法二：利用形态学原理进行车牌提取的方法：

1.利用形态学梯度的方法进行图像的边缘检测
2.根据不同的图形大小选取不同的形态学闭操作窗口进行形态学水平方向和垂直方向的闭操作
3.对连通区域的轮廓进行检测，如果有车牌，车牌肯定占一个轮廓
4.对每一个轮廓求其外接矩形，并进行检测，从而把最像车牌的区域检测出来

代码实现：

#include <opencv2/opencv.hpp>cv::Mat getPlate(cv::Mat image, int width, int height)
{cv::Mat result;//形态学梯度检测边缘cv::morphologyEx(image, result, cv::MORPH_GRADIENT, cv::Mat(1, 2, CV_8U, cv::Scalar(1)));//阈值化cv::threshold(result, result, 255 * 0.1, 255, CV_THRESH_BINARY);//水平方向闭运算if (width >= 400 && width < 600) cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(1, 25, CV_8U, cv::Scalar(1)));else if (width >= 200 && width < 300) cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(1, 20, CV_8U, cv::Scalar(1)));else if (width >= 600) cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(1, 28, CV_8U, cv::Scalar(1)));else cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(1, 15, CV_8U, cv::Scalar(1)));//垂直方向闭运算if (height >= 400 && height < 600) cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(8, 1, CV_8U, cv::Scalar(1)));else if (height >= 200 && height < 300) cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(6, 1, CV_8U, cv::Scalar(1)));else if (height >= 600) cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(10, 1, CV_8U, cv::Scalar(1)));else cv::morphologyEx(result, result, cv::MORPH_CLOSE, cv::Mat(4, 1, CV_8U, cv::Scalar(1)));return result;
}int main()
{cv::Mat image = cv::imread("1.jpg");if (image.data == NULL) return -1;cv::imshow("image", image);cv::Mat imageGray;cv::cvtColor(image, imageGray, CV_BGR2GRAY);cv::Mat result = getPlate(imageGray, 300, 200);//联通区域检测std::vector<std::vector<cv::Point> >blue;cv::findContours(result.clone(), blue, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE, cv::Point(0, 0));//连通域遍历，车牌目标提取for (int i = 0; i < blue.size(); i++){cv::Rect rect = cv::boundingRect(blue[i]);double wh_ratio = double(rect.width) / rect.height;int sub = cv::countNonZero(result(rect));double ratio = double(sub) / rect.area();if (wh_ratio > 2 && wh_ratio < 8 && rect.height > 50 && rect.width > 200 && ratio > 0.4)cv::imshow("rect", image(rect));}cv::waitKey(0);return 0;
}

运行结果：

方法三：利用最大稳定极值区域MSER进行车牌提取的方法：

1.利用灰度及反值灰度提取出MSER特征点，在此基础上进行位与操作
2.通过形态学闭操作连接车牌字符区域缝隙
3.通过轮廓最小矩形进行伪车牌区域去除操作，检测出候选车牌区域

代码实现：

//MSER车牌目标检测
std::vector<cv::Rect>mserGetPlate(cv::Mat image)
{cv::Mat gray, gray_neg;//灰度转换cv::cvtColor(image, gray, CV_BGR2GRAY);//取反值灰度gray_neg = 255 - gray;std::vector<std::vector<cv::Point> > regcontours;std::vector<std::vector<cv::Point> > charcontours;// 创建MSER对象  //表示灰度值的变化量，检测到的组块面积的范围，最大的变化率，最小的变换量 cv::Ptr<cv::MSER> mesr1 = cv::MSER::create(2, 10, 5000, 0.5, 0.3);cv::Ptr<cv::MSER> mesr2 = cv::MSER::create(2, 2, 400, 0.1, 0.3);std::vector<cv::Rect> box1;std::vector<cv::Rect> box2;// MSER+ 检测  mesr1->detectRegions(gray, regcontours, box1);// MSER-操作  mesr2->detectRegions(gray_neg, charcontours, box2);cv::Mat mserMat = cv::Mat::zeros(image.size(), CV_8UC1);cv::Mat mserNegMat = cv::Mat::zeros(image.size(), CV_8UC1);for (int i = regcontours.size() - 1; i >= 0; i--){// 根据检测区域点生成mser+结果  const std::vector<cv::Point>tmp = regcontours[i];for (int j = 0; j < tmp.size(); j++){cv::Point p = tmp[j];mserMat.at<uchar>(p) = 255;}}for (int i = charcontours.size() - 1; i >= 0; i--){// 根据检测区域点生成mser-结果  const std::vector<cv::Point>tmp = charcontours[i];for (int j = 0; j < tmp.size(); j++){cv::Point p = tmp[j];mserNegMat.at<uchar>(p) = 255;}}// mser结果输出  cv::Mat resultMat;// mser+与mser-位与操作  resultMat = mserMat & mserNegMat;// 闭操作连接缝隙  cv::morphologyEx(resultMat, resultMat, cv::MORPH_CLOSE, cv::Mat::ones(1, 20, CV_8UC1));cv::imshow("temp", resultMat);// 寻找外部轮廓  std::vector<std::vector<cv::Point> > contours;cv::findContours(resultMat, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE, cv::Point(0, 0));// 候选车牌区域判断输出  std::vector<cv::Rect> candidates;for (int i = 0; i < contours.size(); i++){// 求解最小外界矩形  cv::Rect rect = cv::boundingRect(contours[i]);// 宽高比例  double ratio = 1. * rect.width / rect.height;// 不符合尺寸条件判断  if (rect.height > 30 && ratio > 2 && ratio < 5)candidates.push_back(rect);}return candidates;
}

运行结果：