Stable Diffusion UI 从安装到实现文字图片融合(光影字,错觉图)图片制作详细教程

本文主要是介绍Stable Diffusion UI 从安装到实现文字图片融合(光影字,错觉图)图片制作详细教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

最近在实践大模型本地部署,前几天在本地部署了一个ChatGLM大模型,刚好环境搭好了,也支持跑Stable Diffusion,所以就安装了再尝试一下。

原因是之前在B站上有大佬做了一个Windows电脑能一键运行的Stable Diffusion的安装包,自己也下载下来玩了一下,因为刚接触上手难度比较大,玩了一下放弃了。这两天随着SD XL 发布,看到能毫秒级地文字生成图片,还有cloudflare 有免费的服务提供,太震撼了,所以想动手做一些实际的东西出来分享一下。

对于没有接触过的同学通俗地来说Stable Diffusion 是一个开源的图像生产+调整工具,接下来我会从怎么安装Stable Diffusion到做一个文字图片融合的示例。

安装

首先是安装Stable Diffusion (安装包文末领取)
我自己的环境是Linux环境,通过脚本安装的形式来启动网页工具,大多数人应该是Windows 环境,通过下载安装包的形式启动网页工具,这里不会介绍每个专业关键字的具体解释,但是会以新手角度顺便会说一下我遇到的问题

根据项目介绍下载安装脚本,执行安装脚本: img.png

有些依赖软件我已经安装,这里我会根据官方提示下载一些相关依赖:

sudo apt install  libgl1 libglib2.0-0wget -q https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh
sh webui.sh

执行安装脚本过后运行,开始的会报一个错,我是用root 权限执行的,会报错: img_1.png

需要把这个webui.sh 执行权限改为非root 用户并以非root 用户运行 ,就是这样:

img_2.png 此时可以看起来没有问题了,实际上没有开放到内网机器访问,监听的是127.0.0.1 ,需要成0.0.0.0就需要给webui.sh加上参数才行,我还有一些其他的需求就是打开web ui的扩展权限和访问权限验证,就是下面这样:

bash webui.sh --listen --enable-insecure-extension-access --gradio-auth root:123456 

还可以增加其他参数达到相应其他的功能,可以去查找官方相关资料。
效果: img_3.png 现在就可以通过内网机器访问这个机器部署的Stable Diffusion的服务了:
img_4.png img_5.png 此时的webui截图是我安装一些插件的之后截图,接下来需要安装一些插件:
img_6.png

首先安装一个中文插件 扩展两种安装方式,第一种就是通过内置插件安装
没安装搜这个zh
安装过后就翻译搜不到了,搜中文img_10.png 点击安装,这里应该也可以可以直接通过网址安装
注意要在设置里面设置重启UI才能生效
img_11.png

还需要装一个模型浏览工具 :C站浏览器插件 img_12.png 点击安装就可以
第二种是通过网址安装: img_7.png

这里我通过这个网址安装了:
1.控制网络(ControlNet插件)(github.com/Mikubill/sd…
对图片进行精细化控制,以生成更具创意和控制力的图像 文字图片融合的核心插件

2.sd_civitai_extension (github.com/civitai/sd_…
C 站的官方扩展,可以自动下载模型,获取模型信息,检查模型更新,自动下载缩略图的能力

3.C站浏览器插件 (github.com/BlafKing/sd…
C站就是著名的AIGC模型库网站,跟著名的Hugging Face一样的网站,但是C站有很多不可描述的东西,被墙了

通过网址安装就用 git 项目地址点击安装就行了
img_8.png

注意:所有的插件安装完成都需要在设置里面点击 ”保存设置“ 和 “重启WebUI” img_13.png

下载模型

使用C站浏览器插件 下载模型 这里推荐一个模型(下了很多模型还没来得及测试):

majicMIX realistic 麦橘写实

img_14.png

用于生成逼真的人物肖像底层模型

底层模型是模型生成图像所必需的,是模型的核心部分,可以相当于说基础数据集。

直接完成就能自动进入左上角的Stable Diffusion 模型(ckpt) 选项切换就行了
img_25.png

画图

这里我使用的是 majicmixRealistic 这个底层模型 生成一个人物

需要提示词prompt提示词,找了一些prompt社区里面的关键词
正面提示:

 jk_lure_dress3,8k,(realistic:1.1), (photorealistic:1.1), (masterpiece:1.1), (best quality:1.1), RAW photo, highres, ultra detailed, High detail RAW color photo,professional photograph,masterpiece, best quality,realistic,realskin,1girl,low_key,solo,lighting,long hair ,full body, standing,classroom, beautiful detailed eyes,natural lighting,, (detailed face:1.2),extremely beautiful face,

负面:

white background, simple background, (ng_deepnegative_v1_75t), (badhandv4), (worst quality:2), (low quality:2), (normal quality:2), lowres, watermark, monochrome

我这里生成的人物素材是全身的,所以宽度我设置的是512,高度是1024,批次数量测试的时候就1个,几秒一个图,调好了话就一次多生成几个图,就选择每批次4-8个。

随机种子-1 就是完全随机,想要生成的图片一致,把相关参数分享出去让别人生成一样的图片,这个随机种子参数就不能设置成-1。

Stable Diffusion有很多采样器类型,稍微查了一下资料,是指一种指用于生成图像的算法,对图像质量,速度,艺术风格有关,我这里使用DPM++ SDE Karras,

img_17.png

需要选中启用,显存小启用现存优化,然后开启预览,看下设置下面点击爆炸icon 预览是否正确

然后最重要的是控制网络这里,需要上传一个图片到控制单元0,注意白底黑字就要选择预处理器第一个反色处理,黑底白字就可以选择最后一个仅重采样,然后点击一下预处理器和模型中间 爆炸的图片 查看预览 是否图片有正常的字显示

这个图片可以自己在windows 电脑画图中画一个 img_19.png 大概流程新建图片,插入文字,调整字体和大小,裁剪,保存,图片中字体位置 代表了融入图片的大概的位置,尽量居中,控制留白位置来控制在融入图片的位置,我这里是基本占满图片的设计

然后设置非常重要的三个参数 ,控制强度,控制介入开始时间和结束时间。这三个参数代表控制网络对图片影响
控制强度为 1.0 控制网络对生成图像的影响最大 ,字就最明显,控制强度为 0就不会有任何影响,所以这个参数应该在0.5到0.8之间, 开始时间和结束时间就是在控制强度正常的情况下对于随机图片元素的效果的影响。控制介入时机越晚,控制网络的影响就越晚开始,生成的图像就越随机,控制结束时机越晚,控制网络的影响就越晚结束,生成的图像就越随机,相反就反之。

这里大概三个参数分别差不多就在0.7,0.2,0.7这附近,可以根据自己的测试调整

这里测试了几个字,字的笔画复杂度 和粗细 和控制网络参数有一定关系,需要自己反复调整: img_20.png

测试

除了字,还有网上特别火的图片背景融入的例子自己也测了一下,看看效果: img_21.png img_24.png
title.png
效果还不错,生成的十张图片可以挑选出1到3张非常完美的图片出来,因为有一定几率会出现眼睛,手指有问题的现象的情况,找到有几种解决方案还没来得及尝试。

Stable Diffusion 还有很多内容没有研究,实际上互联网上的真实有用案例教程还是很少的,需要自己去钻研,大模型时代的机遇和挑战已经来了。

接下来会研究其他风格图像生成,lora模型,和API 调用方向~ 关注我了解更多大模型相关的知识!

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

这篇关于Stable Diffusion UI 从安装到实现文字图片融合(光影字,错觉图)图片制作详细教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/917360

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

Centos7安装JDK1.8保姆版

工欲善其事,必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前,我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置,我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写,提升学习效率,减少不必要的困扰和挫折感。因此,在学习Java之初,投入一些时间和精力来配置好开发环境是非常值得的。这将为我

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象