改进的《Combining Sketch and Tone for Pencil Drawing Production》铅笔画算法

本文主要是介绍改进的《Combining Sketch and Tone for Pencil Drawing Production》铅笔画算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

随着深度学习越来越热，在图像领域，通过卷积神经网络训练的模型可以得到很酷炫的图像风格化效果，比如app store上的prisma应用，可以获得很好的效果，但是速度要稍微慢一些。不过传统的数学方法也可以做的很好，需要的只是你的想象力以及算法设计能力。

本文实现的铅笔画算法，基于论文《Combining Sketch and Tone for Pencil Drawing Production》算法实现。不过有些细节并没有完全按照论文算法实现，而是根据自己所学，做了一些二次创新。整体效果，接近原文算法，不过对于某些图片处理效果感觉要优于原文。下图为该算法流程图：

从算法流程图可以看出，该算法主要分两大部分：

1. 生成笔画结构： Line Drawing with Strokes，得到一幅图S；

2. 色调映射及纹理渲染： Tone Drawing得到另外一副图T；

则最终结果为：R = S * T。

在线条分类及绘制步骤中，主要是模拟铅笔画笔触风格，需要按照预定好的8个方向，计算每一个像素点卷积值。每一个像素点按正反两个方向计算采样点并计算卷积，计算量是非常大的。这里的卷积计算有一个优化技巧，计算完种子点的卷积值及位置后，下一个点卷积计算可以借助种子点相应计算结果，进行增量累加计算，这样可以避免重复计算采样点位置以及卷积值，极大提高计算速度。

在色调映射步骤，本人并没有采用文中提到的直方图匹配方法，而是采用了另一种方法，同时在纹理渲染步骤，也没有采用文中的方法，而是通过叠加一张普通纹理的方式实现，但是叠加方法是一个关键点，并不是类似Photoshop中常见的线性减淡、线性加深或者正片叠底等方法。

本人在实现过程中，额外增加了图像预处理步骤，通过对图像做一次平滑操作，这样在检测边缘时效果更佳。平滑算法采用的是这篇文章《Image Smoothing via L0 Gradient Minimization 》，L0范数图像平滑，效果很好，不过实现起来比较复杂，需要用到傅里叶变换以及迭代求解方程。

计算过程主要在y通道进行。如果在rgb空间分三个通道处理，计算过程将会非常耗时，另外最主要的是绘制的线条方向可能不太一致。所以需要由rgb空间转换至yuv空间，单独对y通道进行处理，最后在变换回rgb空间进行显示、输出。

下面贴出算法整体调用逻辑代码，基本可以了解本文提出的算法改进思路。

void* PencilDrawingStylizationThread(void *arg)
{PencilDrawingStylizationInfo *pencildrawing_stylization_info = (PencilDrawingStylizationInfo *)arg;BMPINFO *pSrcBitmap = pencildrawing_stylization_info->pSrcBitmap;BMPINFO *pGraySketchBitmap = pencildrawing_stylization_info->pGraySketchBitmap;BMPINFO *pEdgeSketchBitmap = pencildrawing_stylization_info->pEdgeSketchBitmap;BMPINFO *pPaperBitmap = pencildrawing_stylization_info->pPaperBitmap;int filter_len = pencildrawing_stylization_info->filter_len;int thread_id = pencildrawing_stylization_info->thread_id;int block_count = pencildrawing_stylization_info->block_count;int width = pSrcBitmap->lWidth;int height=  pSrcBitmap->lHeight;int size = width*height;int mem_size = size * sizeof(float);float *rdata = (float *)malloc(mem_size);float *gdata = (float *)malloc(mem_size);float *bdata = (float *)malloc(mem_size);float *ydata = (float *)malloc(mem_size);float *udata = (float *)malloc(mem_size);float *vdata = (float *)malloc(mem_size);// 数据转换ConvertToFloat(pSrcBitmap, rdata, gdata, bdata);// rgb转yuvfor (int i = 0; i < size; i++){Rgb2Yuv(rdata[i], gdata[i], bdata[i], &ydata[i], &udata[i], &vdata[i]);}// 简化细节L0ImageSmoothing(&ydata, width, height, block_count, 0.005f, 5.0f);// 抽取边缘float *edge_data = (float *)malloc(mem_size);float *hor_edgedata = (float *)malloc(mem_size);float *ver_edgedata = (float *)malloc(mem_size);EdgeDetectionFilter(ydata, width, height, hor_edgedata, ver_edgedata);for (int i = 0; i < size; i++){edge_data[i] = sqrt(hor_edgedata[i]*hor_edgedata[i] + ver_edgedata[i]*ver_edgedata[i]) * 0.5f;}free(hor_edgedata);free(ver_edgedata);hor_edgedata = NULL;ver_edgedata = NULL;// 方向分类float *classifer_data[8];for (int i = 0; i < 8; i++){classifer_data[i] = (float *)malloc(mem_size);memset(classifer_data[i], 0, mem_size);}FastDirectionClassifer(edge_data, classifer_data, filter_len, width, height);// 方向绘制float *stroke_data = (float *)malloc(mem_size);memset(stroke_data, 0, mem_size);FastDirectionDrawing(classifer_data, stroke_data, filter_len, width, height);// 数值校正float max_val = stroke_data[0];for (int i = 1; i < size; i++){max_val = MAX(stroke_data[i], max_val);}float gamma[5] = { 0.0f, 2.0f, 1.9f, 0.0f, 1.6f };float inv_max = (max_val > 0.0f) ? 1.0f / max_val : 1.0f;for (int i = 0; i < size; i++){stroke_data[i] = 1.0f - stroke_data[i] * inv_max;stroke_data[i] = pow(stroke_data[i], gamma[block_count]);}// 边缘草图合成for (int i = 0; i < size; i++){pEdgeSketchBitmap->pPlane[0][i] = (uchar)CLAMP0255(stroke_data[i]*255);}// 抽取边缘memset(edge_data, 0, mem_size);ExtractEdge(ydata, edge_data, width, height, 0.01f, 105.5f);// 叠加纹理PaperTexture(edge_data, pPaperBitmap, width, height);// 结果合成for (int i = 0; i < size; i++){ydata[i] = stroke_data[i]*edge_data[i];}// 灰度草图合成for (int i = 0; i < size; i++){pGraySketchBitmap->pPlane[0][i] = (uchar)CLAMP0255(ydata[i]*255);}// yuv转rgbfor (int i = 0; i < size; i++){Yuv2Rgb(ydata[i], udata[i], vdata[i], &rdata[i], &gdata[i], &bdata[i]);}// 数据转换ConvertToUchar(rdata, gdata, bdata, pSrcBitmap);free(edge_data);edge_data = NULL;free(stroke_data);stroke_data = NULL;for (int i = 0; i < 8; i++){free(classifer_data[i]);classifer_data[i] = NULL;}free(ydata);free(udata);free(vdata);ydata = NULL;udata = NULL;vdata = NULL;free(rdata);free(gdata);free(bdata);rdata = NULL;gdata = NULL;bdata = NULL;return NULL;
}

下面是一些对比图，原图（上），原算法结果（中），改进的算法结果（下）：