本文主要是介绍粗读Paint Transformer: Feed Forward Neural Painting with Stroke Prediction,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
作者本人在知乎写了更详细的文章,本博客只是提炼要点并作为个人笔记,想了解更详细的内容还是要看论文和作者的博客:[ICCV 2021 Oral] Paint Transformer - 基于笔触预测的快速油画渲染算法
本文思路是模拟笔画,从粗的笔画不断变细,达到绘制一副油画的效果。这种方法既可以保证生成图像与原图像相似,但同时保留油画的特点和质感。之前,网易实验室已经用优化的方法实现了这一设想,但因为设计优化,所以训练时比较耗时。
作者思路是将优化问题变为前馈预测问题,可以大幅节约时间。
从左下角的空白画布(Blank Canvas)开始,先随机生成几笔背景笔画(Background Strokes),得到一副背景图像Ic,再添加几笔前景笔画(Foreground Strokes),得到目标图像It,而笔画预测器需要根据Ic和It预测出前景笔画是哪些,并通过预测出来的笔画和Ic组合,得到预测图象。
通过缩小预测笔画与实际笔画的区别,和预测图象与实际图像的区别,可以提高预测器的预测能力。最后使用时,直接将真实图像作为目标图像,输入到预测器,并渲染出预测图象即可。
而笔画的参数主要有:R,G,B,决定颜色,θ,决定倾斜角度,w决定宽,h决定高,x,y决定中心坐标。通过这六个属性和一个初始笔刷,就可以准确地生成一幅图像。
这篇关于粗读Paint Transformer: Feed Forward Neural Painting with Stroke Prediction的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!