AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解)

2024-05-29 13:36

本文主要是介绍AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SD大模型的概念及基础知识

先做一个比喻

如果SD是一个画师,那么大模型就是画师的大脑!

就是可惜,这个大脑有点轴,它只能想象出自己喜欢的画面。

比如你用了一个二次元的大脑,它想出来的画面就是这样的:

如果用一个2.5次元的大脑,它想出来的画面是这样的:

 

如果用一个三次元的大脑,它想出来的画面是这样的:

怎么样,差别还是挺大的对吧?

那为什么会出现这种情况呢?搞这么多大模型不累吗?

那要从成本角度出发,给宝子们解释了。

这些大模型,实际上都是基于官方训练好的基础大模型进行额外训练而成的。毕竟如果从0开始训练一个大模型,这都不是我们这种平民玩家能够参与的。

哪怕是在官方的基础大模型的基础上进行训练,也是需要成本的。

简单点说,买个4090显卡,再跑个十天半个月的(还得准备好各种处理好的图片素材噢!)

噢?有宝子说,也没多大事?禾斗哥只能说,土豪,请给我的专栏友情资助呗~

一个4090显卡,可是需要1~2万米!

所以为了降本增效,在官方通用的基础大模型上,通过定向的训练统一风格的图片,让这个大脑越来越精通于这个方面的绘画。

于是乎,成千上万的大模型就出来咯~

宝子们,成千,上万的大模型,在等着你们!

因为每个大模型都是用一套图片定向训练出来的,所以就会出现一个现象:

对于同一个大模型,其风格是保持一致的,比如使用二次元的大模型,无论怎么生成,它画出来的图片都是二次元的。下面是用同一套提示词生成的图片

第1次生成

第2次生成

第3次生成

对吧?基本上效果是一致的。

当然,这个不绝对哈,毕竟世界上没有两张完全一样的树叶,当然也没有效果完全相同的两张AI生成的图片~

也有人用很多不同风格的图片训练同一个基础模型,不过都是基本在一个次元里的。那样训练成本就会急剧增加,不然就会得到一个什么都会画,但是什么都画不好的......

这么牛掰的SD大模型,其组成结构主要分成三个部分

首先,它得能看得懂你的提示词(提示词就是告诉SD画面是啥样的,比如有花、有草、蓝天白云...)

所以它有一个 Text Ecoder 模块,专门进行文字处理。把我们输入的提示词,转换为大模型能理解的各种参数。

其次,核心的,它得画点啥吧。

所以它有一个 Unet 模块,专门进行画图。不过要注意,这时候的图我们人是看不懂的。

先提个名词“潜空间”,大模型生成的图是潜空间的图,你可以暂时理解为一堆你看不懂的01010101....

我们能看懂的图,是像素空间,就像上面的美女老师一样。这个以后有机会再说,现在宝子只需要知道大模型本身画出来的图,我们是看不懂的,只有机器能看懂,就阔以啦~

总结就是,一个大模型,能够听懂人话、能够画点东西、能够展示图片。

出来吧,SD大模型们

请忽略上图的 jpg 和 png,我懒得专门截个图啦,嘿嘿

没错,那些 .safetensors 结尾的文件,都是大模型。

除此之外,在SD的早期,大模型都是 .ckpt 结尾的文件,也就是 checkpoint 文件(检查点文件)。它和 safetensors 文件是可以互换的,都是大模型。

OKK,我们了解了大模型的基本知识,也下载好了心仪的大模型,接下来我们就要看看

SD大模型的安装

宝子们,不要被标题吓到,其实所谓的安装就是把我们现在的大模型文件放到指定的文件夹里就可以啦!

 第一步:打开SD根目录

第二步:进入大模型文件夹

路径:SD根目录/models/Stable-diffusion/

在Stable-diffusion文件夹下的所有大模型文件都会被识别出来,即使你用了很多层的文件夹,也没有关系。

宝子们可以学禾斗哥,根据自己的分类方式建好文件夹,把大模型文件放进去就好啦。

第三步:粘贴下载的大模型

有细心的宝子会注意到,禾斗哥的文件夹里,怎么有图片,而且图片的名字和大模型的名字一样?

其实这是为了在WebUI选择大模型时,能够看到大模型生成效果的预览图,方便我们选择。

就像下面这样:

有图片的就会展示图片,如果没有,就会显示灰色的背景。

不过宝子们用熟练之后,有没有图无所谓啦,因为我们一般都是在左上角选择模型。你用的很爽的大模型,你会不知道它叫什么名字吗?对吧^_^!

嘿嘿,刚好说到这里,就进入到我们下一个主题。

SD大模型的使用

如果宝子已经打开着WebUI了,那这时候下载的新的大模型,即使放到

SD根目录/models/Stable-diffusion/

文件夹中,也不会在WebUI中展示出来,不能够选择使用。

难道每次下载安装完大模型都需要重启WebUI?!

NoNoNo!

只需要按一下大模型选择框旁边的刷新按钮就可以啦!

好了,关于大模型的喂饭(喂奶)就到这里了喔!

大家把自己的画图经验分享到评论区,一起成长一起进步!

最后想说


AIGC(AI Generated Content)技术,即人工智能生成内容的技术,具有非常广阔的发展前景。随着技术的不断进步,AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望:

1、AIGC技术将使得内容创造过程更加自动化,包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率,降低成本。2、在游戏、电影和虚拟现实等领域,AIGC技术将能够创造更加丰富和沉浸式的体验,推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念,提高创意过程的效率。

未来,AIGC技术将持续提升,同时也将与人工智能技术深度融合,在更多领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程。

对于从来没有接触过AI绘画的同学,我已经帮你们准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

AIGC学习必备工具和学习步骤

工具都帮大家整理好了,安装就可直接上手

【Stable Diffusion安装包(含常用插件、模型)】

img

【AI绘画12000+提示词库】

img

【AI绘画800+骨骼姿势图】

img

【AI绘画视频合集】

img

还有一些已经总结好的学习笔记,可以学到不一样的思路。

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

而新时代随着AI流行,如果不更紧AI新时代时代只会被落后,想要学习或者尝试的伙伴可以点击下方二维码,即可前往免费领取!

这篇关于AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1013759

相关文章

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

C#数据结构之字符串(string)详解

《C#数据结构之字符串(string)详解》:本文主要介绍C#数据结构之字符串(string),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录转义字符序列字符串的创建字符串的声明null字符串与空字符串重复单字符字符串的构造字符串的属性和常用方法属性常用方法总结摘

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Java中StopWatch的使用示例详解

《Java中StopWatch的使用示例详解》stopWatch是org.springframework.util包下的一个工具类,使用它可直观的输出代码执行耗时,以及执行时间百分比,这篇文章主要介绍... 目录stopWatch 是org.springframework.util 包下的一个工具类,使用它

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义