图像边缘检测之精确定位

前言

现如今，计算机视觉中关于边缘检测已经有许多算子的出现，但对于精密检测往往不能取得较好的效果。

如图所示，需要计算图中黑色部分右侧曲线边缘的位置。虽然黑色部分和灰色部分的灰度值差异较大，但由于图中噪声较多，图像边缘处灰度值变化较为缓和，使用图像滤波会让边缘更加模糊，不利于精确检测。
使用Sobel算子检测效果有大量噪声出现，使用阈值较高的canny算子检测01，会出现关键部分边缘检测不到，使用阈值较低的canny算子检测02，也会出现大量噪声。

针对这种情况，本文结合博主经历的具体的工业项目，提出一种先粗定位，再提取边缘位置区域，最后精定位的方法，能够精确检测出边缘位置。

边缘位置定义

实际的成像系统中，感光元不但接收照射到自身感光面的光，还接收照射到相邻感光元的光，尤其是对边缘点，物体和背景的不同反射特性以及器件的积分效应，造成器件对阶跃边缘的响应产生由明到暗（或由暗到明）的渐变过程，所以边缘在图像中表征为一种灰度分布，如图所示：

通常情况下，我们认为灰度值变化速度最快的地方为边缘位置，可以通过计算像素灰度值的梯度来确定边缘。对于精度要求较高的场景，可以使用曲线拟合的方式，拟合出类似图中连续边缘的曲线，连续边缘曲线上梯度最大处对应的x坐标值即为边缘位置。本文所选的题目是洗衣瓶厂家针对洗衣瓶标签粘贴效果检测提出的，需要检测出洗衣瓶标签粘贴是否有偏移或褶皱的情况。因篇幅问题，仅针对标签上边缘位置检测进行讨论。

图像预处理

为了计算灰度值变化最快的像素位置，我们需要先定位出能够真实代表标签上边缘的ROI区域，类似于下图尺寸大小的区域，用于计算边缘梯度。

由于标签可能是偏移的，不能通过确定的数值抠出代表标签上边缘区域的图片，因此，我们分为一下3个步骤：
（1）边缘区域图像粗定位；
（2）边缘y坐标粗定位；
（3）边缘区域的x坐标定位。

1. 边缘区域图像粗定位（模版匹配）

使用opencv中模版匹配的方法，与标准图像中的模版进行匹配，效果如下：

关于opencv中模版匹配的原理及代码，网上有大量的说明，这里不再详细介绍。

2. 边缘y坐标粗定位（水平投影）

首先选取合适的阈值，对图像进行二值化。

因数字识别中垂直投影带来的灵感，这里我们将二值化后的黑白图进行水平投影，再从上到下计算每行黑色像素数，当检测到有连续的黑色像素，且长度大于一定值时（避免噪声影响），认为该行是边缘y坐标的大概位置。（因为这里的二值化后图片的边缘并不等同于实际的边缘，因此是y坐标大概的位置）

//二值化
Mat threshRect;
threshold(matchRect, threshRect, 40, 255, THRESH_BINARY);//水平投影的数组结果
vector<double> v1 = picshadow_y(threshRect, 0.1); //查找第一次出现黑色像素的行位置 (当 黑色像素数/每行像素数 > 0.05 时，认为是边缘行)
for (int i = 0; i < threshRect.rows; i++) {if (v1[i] >= 0.05 && y1 == 0) { y1 = i;break;}
}

//对 Mat图像进行水平投影，统计每行的（黑色像素数/每行像素总数)，以vector的形式返回
vector<double> picshadow_y(Mat binary, double ratio) {vector<double> v;double sum = 0;for (int i = 0; i < binary.rows; i++) {for (int j = 0; j < binary.cols; j++) {if (int(binary.at<uchar>(i, j)) == 0) {sum++;}}v.push_back(sum / binary.cols);sum = 0;}return v;
}

3. 边缘区域的x坐标定位（leetcode算法应用）

由于标签可能是倾斜的，如图所示：

图中红框区域的像素最能代表边缘位置，为了提取到红框区域，需要找到可以代表红框的x坐标大致位置。我们先提取出粗定位的y坐标对应的行，再找出其中最长的连续黑色像素的位置。

一时不知道如何写代码实现这个功能，突然想起以前刷过的leetcode算法题中的 找字符串中连续相同字符 题目，便参考相应代码，写出下面的函数，函数返回值为连续黑色像素的中间坐标 x_mean 。

//容器中长度最大的"0"串的位置
int black_center(vector<int> s) {int ans = 1, cnt = 1, site = 0;bool change = false;for (int i = 1; i < s.size(); ++i) {if (s[i] == 0 && s[i - 1] == 0) {cnt++;if (cnt > ans) {ans = max(ans, cnt);site = i;}}else {cnt = 1;}}return (site + 1 - ans / 2);
}

计算边缘位置

根据 图像预处理 中 2、3 步得到的x,y值，从图中截取 20 x 40 大小尺寸的图片，来计算梯度最大位置。对于本项目拍摄的图片，边缘处的过度像素数大概在6个左右，因此，20 x 40 大小尺寸能够确保能够完整提取到边缘变化位置的像素。
再以每行像素灰度值的平均值，作为该行像素的灰度值，计算梯度最大处，即为上边缘位置 upsite。

//计算最大梯度的区域Mat edge = matchRect(Range(y1-10, y1+10), Range(middle_x - 20, middle_x + 20));       double mean[20] = {0};vector<double> grad;           //grad为每行平均像素值的梯度for (int i = 0; i < edge.rows; i++) {for (int j = 0; j < edge.cols; j++) {mean[i] += int(edge.at<uchar>(i, j));}mean[i] /= edge.cols;if (i > 0) { grad.push_back(abs(mean[i - 1] - mean[i])); }}auto maxp = max_element(grad.begin(), grad.end());            //计算梯度最大值int maxsite = maxp - grad.begin();                            //计算梯度最大值的位置upsite = 600 + maxLoc.y + y1 - 10 + (maxsite + 1);            //上边缘位置(int)

亚像素定位

对于精确度要求较高，或者相机分辨率较低的场合，需要对边缘进行亚像素定位。这里参考了论文《图像测量中快速边缘亚像素定位研究》中灰度矩的亚像素定位法，根据n个位置的像素值（边缘近似在中间位置），计算出精确的边缘位置。这篇论文是博主以前《数字图像处理》课程的老师在2009年发表的，行文思路清晰，论证严谨，读起来也倍感亲切。

文中对比了3种方法，当所选区域的中心与实际边缘位置偏差较大时，使用灰度矩法受该偏差的影响最小，所以选用此方法。以 图像预处理 中的 **（x_mean, upsite）**为中心，提取尺寸为 6*20 的像素区域，统计每行像素灰度平均值代表该行像素灰度值，根据上图公式，使用6个灰度值计算亚像素位置。

这部分内容只要根据论文结论，编写计算公式即可，不再贴出代码。
类似的还有基于拟合曲线的方法来计算边缘的亚像素位置，知网上也有大量论文可以参考。

参考文献

《图像测量中快速边缘亚像素定位研究》
《基于Sigmoid函数拟合的亚像素边缘检测方法》