AI 绘画 - 建筑绘图辅助设计之 Controlnet

前情提要

2023-06-17 周六 杭州 阴

小记: 早上还是可以听到淅淅沥沥的雨声，或许梅雨季快要来了，潮湿的感觉说不上多讨厌，可是也没有那么喜欢；最近在追动画《飞出个未来》，我是把这个动画当作哲学课来看的，喜欢的无以复加，可是国内很多作品都是要么政治正确，要么价值观导向，可是我们是真实的人，是碳基生物体而已，讲难听点也是畜生的一种；发达国家有些方面即使混乱不堪，却也可以取得科技的非凡进步，只是我们大多数人总是片面的看这个现象罢了，因为政治或者价值观的影响让我们带有有色眼镜认为外国人是乱性，嗑药，暴力；可是褪去伪装，从人性角度出发，谁又比谁高尚呢！

今日任务:
a. ControlNet 基本参数了解；
b. SU 模型 & 图文反推;
c. 建筑抽卡生图;

简介

ControlNet 的作者提出的一个新的神经网络概念，就是通过额外的输入来控制预训练的大模型，比如 stable diffusion。这个本质其实就是端对端的训练，早在2017年就有类似的AI模型出现，只不过这一次因为加入了 SD 这样优质的大模型，让这种端对端的训练有了更好的应用空间。它很好的解决了文生图大模型的关键问题：单纯的关键词控制方式无法满足对细节精确控制的需要。

应用实践

1 ControlNet 控图

** 参数 **
版本: ControlNet v1.1.220
启用: 开启
低显存模式: 如果显存低于 8G (不是内存呦)，建议打开；
完美像素模式: 打开
允许预览: 打开
预处理器: 建筑设计 Lineart(线稿分析)/Seg(语义分析)/Depth(图片深度分析)/Mlsd(直线线条检测)
控制权重: 预处理器的介入程度
引导介入时机: 预处理器的干预阶段
控制模式: ControlNet 或者提示词干预权重
注意事项:
a. 黑白线稿使用预处理器 invert 和 standard
b. 必选完美像素，SD 就可以自动适配分辨率

SU 模型图:

SD 生成图:

2 图文反推

作用: 基于图片的信息反推出图片包含的参数项，用于生成类似场景的推理文字;

2.a 图生图反推

2.a 随机文生图(抽卡)

总结

使用 AI 进行设计的时候，和软件产品设计的时候如出一辙的，如果我们无法精确的控制产品符合我们的预期，那么我们对这项技术实际上就是一无所知；MJ 或是 SD 也好都是可以通过一定的语法进行出图的，但是那种天马行空的图片虽然可以暗合一定的语法要素，但是只能作为一种玩具而已，一般用户玩个新鲜罢了；对于专门的设计同学，百度的文心一言，或者其他类似的产品如果无法做到精确的控制，实际就是与废物无异；百度现在也真是垂死挣扎了，百度文心一言那么烂居然还要申请才能使用，当然啦，因为算法生图需要 gpu 资源，并且还能搞一波饥饿营销，何乐不为。不过时代真的变了，早已经不是那个李彦宏通过一篇搜索引擎优化算法就能创业成功过的时代了；百度如果不是因为国家的政治保护，可能早就进入破产阶段了，我倒是不反对百度贩卖信息查差去赚钱，但是卖了信息差资源，就要保证信息差是有效有益的吧，结果还是商业推广，两头吃呀，还不如不知道的好，婊子行为，又当又立。

心得: 目前最烦猎头上来就同你说大厂好，国企妙，独角兽上升棒棒哒，可以学到很多先进的技术，这种电话直接就挂了，都他娘是一份工作而已，老子还要委屈自己去学习吗？人力资源我也是完整的学过的好不啦，自以为话术牛逼，实际别人当你傻逼。