Stable Diffusion 绘画入门教程(webui)-ControlNet(Seg)

2024-02-23 20:12

本文主要是介绍Stable Diffusion 绘画入门教程(webui)-ControlNet(Seg),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上篇文章介绍了深度Depth,这篇文章介绍下seg(Segmentation)

意思为语义分割, 通俗理解就是把图中的不同物体元素按类别不同,标为不同的颜色,不同的颜色代表不同的元素类别,如下图,左边为原图,右边就是语义分割后的预览图(还是拿之前的房子举例):

在这里插入图片描述

那么有什么玩法呢,如下图,我们可以保持图中物体类型不变,完全给他换一种风格:

在这里插入图片描述
详细步骤,和前几篇类似,不再赘述:

一、选大模型

我这里用的大模型是"anything-v5-PrtRE.safetensors",选用不同模型生成效果会有区别,可以自己找喜欢的风格的大模型使用

在这里插入图片描述

二、写提示词

我这里主要写了一些画质要求,可以根据自己喜好,寻找合适的大模型或者lora来进行控制风格哦。

在这里插入图片描述

三、基础参数设置

基础参数设置还是和上篇文章一样,除了长宽,其他我都默认的,这里大家可以自行调试。

长宽可以通过ControlNet中的那个回传按钮回传过来,不用手动填写哦。

在这里插入图片描述
在这里插入图片描述

四、启用ControlNet

到这里,大家应该比较熟了,我就直接上图了,选择Segmentation(语义分割)后模型和预处理器会自动加载,预处理器有四种,我一般都默认足够用,感兴趣可以都尝试下,功能一样只是生成出的图会有些差异:

在这里插入图片描述
在这里插入图片描述

点击生成就可以了:

在这里插入图片描述

五、颜色-含义

参考 ControlNet中分享的下载内容 中有一个大神分享的pdf,里边列了不同颜色代表的不同含义,我这里只截图部分示意,详细参考大神分享的内容

在这里插入图片描述

有了这个颜色代表啥内容,可以在语义分割图中,手动绘制想要的内容,比如在房子中添加一个人,人的颜色是#96053d,那么用这个颜色的画笔手动绘制一个人像到房屋的场景中,最后可以在场景中添加上人像,当然添加其他内容也是可以的,颜色对照就好,这样的话控制性就会强很多啦,大家自己去试试吧。

这篇关于Stable Diffusion 绘画入门教程(webui)-ControlNet(Seg)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/739801

相关文章

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

Weex入门教程之4,获取当前全局环境变量和配置信息(屏幕高度、宽度等)

$getConfig() 获取当前全局环境变量和配置信息。 Returns: config (object): 配置对象;bundleUrl (string): bundle 的 url;debug (boolean): 是否是调试模式;env (object): 环境对象; weexVersion (string): Weex sdk 版本;appName (string): 应用名字;

Weex入门教程之3,使用 Vue 开发 Weex 页面

环境安装 在这里简略地介绍下,详细看官方教程 Node.js 环境 Node.js官网 通常,安装了 Node.js 环境,npm 包管理工具也随之安装了。因此,直接使用 npm 来安装 weex-toolkit。 npm 是一个 JavaScript 包管理工具,它可以让开发者轻松共享和重用代码。Weex 很多依赖来自社区,同样,Weex 也将很多工具发布到社区方便开发者使用。

Weex入门教程之2,Android Studio安装Weex插件

插件位置及描述 https://plugins.jetbrains.com/idea/plugin/8460-weex 貌似对windows还不是很支持,先放着吧。 安装 插件功能 先预览下都有什么功能 安装完成Weex插件后,如果在main toolbar找不到这些功能图标,那么就需要手动添加到main toolbar 添加到main toolbar 红框内就是

Weex入门教程之1,了解Weex

【资料合集】Weex Conf回顾集锦:讲义PDF+活动视频! PDF分享:链接:http://pan.baidu.com/s/1hr8RniG 密码:fa3j 官方教程:https://weex-project.io/cn/v-0.10/guide/index.html 用意 主要是介绍Weex,并未涉及开发方面,好让我们开始开发之前充分地了解Weex到底是个什么。 以下描述主要摘取于

Python简单入门教程helloworld

Python 学习资源 推荐书籍: Python核心编程(第二版) (强烈推荐,建议有一定基础的看,或者看完简明Python教程再看) Python 基础教程 第二版 (入门,没有核心编程好,但也不错) 编写高质量代码:改善Python程序的91个建议 (进阶,有一定基础再看) 书籍下载: Python 教程(部分内容来源于网络, 历时一年多总结整理的,给刚刚入门的

【超级干货】2天速成PyTorch深度学习入门教程,缓解研究生焦虑

3、cnn基础 卷积神经网络 输入层 —输入图片矩阵 输入层一般是 RGB 图像或单通道的灰度图像,图片像素值在[0,255],可以用矩阵表示图片 卷积层 —特征提取 人通过特征进行图像识别,根据左图直的笔画判断X,右图曲的笔画判断圆 卷积操作 激活层 —加强特征 池化层 —压缩数据 全连接层 —进行分类 输出层 —输出分类概率 4、基于LeNet

使用亚马逊Bedrock的Stable Diffusion XL模型实现文本到图像生成:探索AI的无限创意

引言 什么是Amazon Bedrock? Amazon Bedrock是亚马逊云服务(AWS)推出的一项旗舰服务,旨在推动生成式人工智能(AI)在各行业的广泛应用。它的核心功能是提供由顶尖AI公司(如AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI以及亚马逊自身)开发的多种基础模型(Foundation Models,简称FMs)。

Differential Diffusion,赋予每个像素它应有的力量,以及在comfyui中的测试效果

🥽原论文要点 首先是原论文地址:https://differential-diffusion.github.io/paper.pdf 其次是git介绍地址:GitHub - exx8/differential-diffusion 感兴趣的朋友们可以自行阅读。 首先,论文开篇就给了一个例子: 我们的方法根据给定的图片和文本提示,以不同的程度改变图像的不同区域。这种可控性允许我们再现

diffusion model 合集

diffusion model 整理 DDPM: 前向一步到位,从数据集里的图片加噪声,根据随机到的 t t t 决定混合的比例,反向要慢慢迭代,DDPM是用了1000步迭代。模型的输入是带噪声图和 t,t 先生成embedding后,用通道和的方式加到每一层中间去: 训练过程是对每个样本分配一个随机的t,采样一个高斯噪声 ϵ \epsilon ϵ,然后根据 t 对图片和噪声进行混合,将加噪