本文主要是介绍[SaaS] 天猫商品海报生成 灵感艺术家,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
AIGC在天猫商品海报生成上的探索没有灵感GPT,画不出来SD。https://mp.weixin.qq.com/s/_CkkqoWmHDZ0YqAhmAhL1A天猫在海报图生成上的探索。
技术路线:
初看不觉得什么,细看还真有点不一样,通常我们用canny controlnet是为了控制商品图的边缘生成,此方案用canny控制先验的背景图,第一次生成出来不错的图再作为reference二次生成。
既要商品不变,又要增加泛化性,保证可用率:
1.离线模块通过文生图产生一个背景图库,背景图库提供一些先验给reference,这一步可以由sdxl去做。
2. 离线模块预置多角度商品图,实际上商品图应该是由用户自己上传的,可能还需要走一遍抠图得到mask和商品图。
3.从背景图库中选择一张和当前商品图最相关的图作为引导图,解决商品和背景不协调的问题,提高出图率。
4.由商品图和背景图一起,生成canny图,inapinting的原图和mask是由一张商品白底图和对应的mask产生的,大小和背景图一致,产生的位置则是由背景图抠图出来的主体底部对应贴出来的。
5.通过sd inpainting,输入图就是商品白底图+mask,canny controlnet输入是商品图和背景图融合产生的canny生成初步的商品海报。这里有很大不同,一般做法是商品原图+sam抠出来的mask融入inpainting出结果的,这里是商品白底图+mask,以及一个canny,注意canny的边缘是商品和背景的边缘。
6.使用sam扣出一次生成的商品图mask,用这个mask使用lama去掉,防止后面贴图时出现边缘对不起的现象。
7.将抹去商品的图和步骤4中的商品白底图、对应的mask作为输入,用reference模式,合成新图。
8.将商品图贴回去,得到最终海报图。
总结一下:
-
通过Copy&Paste的方式,保证无差别还原。
-
通过预置引导图解决了完全随机性,提高了出图率。
-
通过两步生成解决了倒影等问题。图像精美,具备高级感。
-
通过擦除重建以及图像融合技术,缓解了商品边缘的毛刺问题。
-
通过从生成图上提取光影,映射到贴图,解决了光影不和谐的问题。
这篇关于[SaaS] 天猫商品海报生成 灵感艺术家的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!