Stable Diffusion 绘画入门教程(webui)-图生图

2024-02-20 20:20

本文主要是介绍Stable Diffusion 绘画入门教程(webui)-图生图,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

通过之前的文章相信大家对文生图已经不陌生了,那么图生图是干啥的呢?
简单理解就是根据我们给出的图片做为参考进行生成图片。

一、能干啥

这里举两个例子

1、二次元头像

真人转二次元,或者二次元转真人都行,
下图为真人转二次元样例:左边真人,右边二次元
在这里插入图片描述
2、换造型换装

比如我要让真人漏牙齿,或者换头发颜色,换脸,换服装等等都可以用类似方法
在这里插入图片描述

二、真人转二次元

主要分三步,

1.反推已经有的图片的关键词,这里的话就是反推真人图像的关键词
2.选大模型,这里是转二次元就要选二次元模型
3.调参找最优

1.反推关键词

这里用到了一个插件“WD 1.4标签器”,如果是参考我之前文章安装的话,默认已经集成了。

在这里插入图片描述
如上图,这里需要把关键词拷贝到翻译软件,看下是否有不适合的关键词
在这里插入图片描述

这里反推的比较好,没有不合适的关键词,那什么是不合适的关键词,比如我这里要生成二次元的,如果关键词有真实字样就不是很合适,需要单独删掉。

检查没问题把关键词拷贝到图生图中的提示词中即可。

在这里插入图片描述
然后把参考图传上去

在这里插入图片描述

2、选大模型

这里我们要转二次元,所以选择一个二次元模型,当然二次元模型也有很多,根据自己喜好的风格挑选大模型

我这里随便选用一个二次元模型

在这里插入图片描述

3、调参数

图生图中有一个重绘幅度,默认是0.75,越小的话会越像原图,越大会约二次元化

在这里插入图片描述

下面是重绘幅度0-0.8,间隔0.2的测试效果,选取你最喜欢的一张即可

在这里插入图片描述

三、换造型换装

依然是三步,

1.反推已经有的图片的关键词,这里的话就是反推真人图像的关键词(同上)
2.修改关键词,只改动你想变化的部分
3.局部重绘并选大模型,这里是不转换风格,默认用真人大模型即可
4.调参找最优

第一步和上面一样就不说了

2、修改关键词

这是反推出来的关键词

1girl, solo, long hair, black hair, looking at viewer, smile, blue necktie, necktie, blurry background, blurry, realistic, shirt, black eyes, closed mouth, white shirt, bangs, upper body, school uniform, lips, collared shirt, indoors, red lips

我们翻译一下

在这里插入图片描述
我们想让女孩露出牙齿,则需要添加一个关键词tooth
但看到上面关键词有一个闭着嘴,这个和露出牙齿冲突,则需要把:

closed mouth 中的closed删掉

最终的关键词放入图生图中的提示词文本框即可

1girl,solo,long hair,white hair,looking at viewer,smile,blue necktie,necktie,blurry background,blurry,realistic,shirt,black eyes,mouth,white shirt,bangs,upper body,school uniform,lips,collared shirt,indoors,red lips,tooth,

3、局部重绘并选大模型

我们需要让嘴露出牙齿,也就是需要重新绘制嘴这个部位,需要将其重新绘制
如下图对嘴部进行涂抹

在这里插入图片描述
然后设置一下参数
在这里插入图片描述
这里不同的参数产生的效果可能会有区别,不过对这么小的局部重绘影响不大,大家自己去探索一下吧,印象会更深刻

然后就是重绘幅度了,我这里设定的是0.6
之后选一个合适的大模型,因为不做风格转换,就选一个写实的模型就好

之后就可以生成测试了
在这里插入图片描述
最后的调优参考真人转二次元的案例,找到你觉得最合适得参数即可。

四、其他玩法

其他包括换装、换发型、换头等等也是同样的道理,大家理解了其中原理,不难摸索出来。

这篇关于Stable Diffusion 绘画入门教程(webui)-图生图的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/729430

相关文章

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

Weex入门教程之4,获取当前全局环境变量和配置信息(屏幕高度、宽度等)

$getConfig() 获取当前全局环境变量和配置信息。 Returns: config (object): 配置对象;bundleUrl (string): bundle 的 url;debug (boolean): 是否是调试模式;env (object): 环境对象; weexVersion (string): Weex sdk 版本;appName (string): 应用名字;

Weex入门教程之3,使用 Vue 开发 Weex 页面

环境安装 在这里简略地介绍下,详细看官方教程 Node.js 环境 Node.js官网 通常,安装了 Node.js 环境,npm 包管理工具也随之安装了。因此,直接使用 npm 来安装 weex-toolkit。 npm 是一个 JavaScript 包管理工具,它可以让开发者轻松共享和重用代码。Weex 很多依赖来自社区,同样,Weex 也将很多工具发布到社区方便开发者使用。

Weex入门教程之2,Android Studio安装Weex插件

插件位置及描述 https://plugins.jetbrains.com/idea/plugin/8460-weex 貌似对windows还不是很支持,先放着吧。 安装 插件功能 先预览下都有什么功能 安装完成Weex插件后,如果在main toolbar找不到这些功能图标,那么就需要手动添加到main toolbar 添加到main toolbar 红框内就是

Weex入门教程之1,了解Weex

【资料合集】Weex Conf回顾集锦:讲义PDF+活动视频! PDF分享:链接:http://pan.baidu.com/s/1hr8RniG 密码:fa3j 官方教程:https://weex-project.io/cn/v-0.10/guide/index.html 用意 主要是介绍Weex,并未涉及开发方面,好让我们开始开发之前充分地了解Weex到底是个什么。 以下描述主要摘取于

Python简单入门教程helloworld

Python 学习资源 推荐书籍: Python核心编程(第二版) (强烈推荐,建议有一定基础的看,或者看完简明Python教程再看) Python 基础教程 第二版 (入门,没有核心编程好,但也不错) 编写高质量代码:改善Python程序的91个建议 (进阶,有一定基础再看) 书籍下载: Python 教程(部分内容来源于网络, 历时一年多总结整理的,给刚刚入门的

【超级干货】2天速成PyTorch深度学习入门教程,缓解研究生焦虑

3、cnn基础 卷积神经网络 输入层 —输入图片矩阵 输入层一般是 RGB 图像或单通道的灰度图像,图片像素值在[0,255],可以用矩阵表示图片 卷积层 —特征提取 人通过特征进行图像识别,根据左图直的笔画判断X,右图曲的笔画判断圆 卷积操作 激活层 —加强特征 池化层 —压缩数据 全连接层 —进行分类 输出层 —输出分类概率 4、基于LeNet

使用亚马逊Bedrock的Stable Diffusion XL模型实现文本到图像生成:探索AI的无限创意

引言 什么是Amazon Bedrock? Amazon Bedrock是亚马逊云服务(AWS)推出的一项旗舰服务,旨在推动生成式人工智能(AI)在各行业的广泛应用。它的核心功能是提供由顶尖AI公司(如AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI以及亚马逊自身)开发的多种基础模型(Foundation Models,简称FMs)。

Differential Diffusion,赋予每个像素它应有的力量,以及在comfyui中的测试效果

🥽原论文要点 首先是原论文地址:https://differential-diffusion.github.io/paper.pdf 其次是git介绍地址:GitHub - exx8/differential-diffusion 感兴趣的朋友们可以自行阅读。 首先,论文开篇就给了一个例子: 我们的方法根据给定的图片和文本提示,以不同的程度改变图像的不同区域。这种可控性允许我们再现

diffusion model 合集

diffusion model 整理 DDPM: 前向一步到位,从数据集里的图片加噪声,根据随机到的 t t t 决定混合的比例,反向要慢慢迭代,DDPM是用了1000步迭代。模型的输入是带噪声图和 t,t 先生成embedding后,用通道和的方式加到每一层中间去: 训练过程是对每个样本分配一个随机的t,采样一个高斯噪声 ϵ \epsilon ϵ,然后根据 t 对图片和噪声进行混合,将加噪