【腾讯云 HAI域探秘】借助高性能服务HAI快速学会Stable Diffusion生成AIGC图片——必会技能【微调】

本文主要是介绍【腾讯云 HAI域探秘】借助高性能服务HAI快速学会Stable Diffusion生成AIGC图片——必会技能【微调】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

目录

Stable Diffusion基本使用方法

学术加速测试

配置中文插件

Prompt与Negative prompt

采样器说明

人像生成

水光效果

微调的使用

图像生成种子/seed使用

附加/Extra

微调实例测试

图生图微调

​编辑

使用蒙版微调


Stable Diffusion基本使用方法

环境配置:

Ubuntu20.04, Python 3.10, Stable Diffusion v1-5, CUDA 11.7, cuDNN 8, Pytorch 2, JupyterLab

Stable Diffusion是一款AIGC图片生成模型。该环境已预装webui及JupyterLab,支持可视化文件管理及环境调优。

学术加速测试

现在已经加了一个【学术加速设置】的功能,这个可以在对应的描述中看到,对部分学术资源平台加速下载,我们可以实验一下下载【中文插件】来测试一下。

如果是之前配置过的朋友应该知道在可以加速之前的速度实在是让人惊叹,这回搜搜一下就能看到效果。

这是单独启动后测试的,速度的确是快了很多倍。

配置中文插件

按照步骤来啊,这个操作应该熟练一些了呢。

中文插件安装完毕后效果:

Prompt与Negative prompt

正反提示词,这里是在想要生成目标的内容中直接去掉会出现瑕疵的可能项。

采样器说明

Euler

基于Karras论文,在K-diffusion实现20-30steps就能生成效果不错的图片,采样器设置页面中的 sigma noise,sigma tmin和sigma churn会影响。Euler采样器是最简单、最快速的一种选择。它可以在较短的时间内生成图像,但可能缺少多样性。如果你对运行时间有严格的要求,或者你只需要一个大致的结果,那么选择Euler采样器是个不错的选择。

Euler a
使用了祖先采样(Ancestral sampling)的Euler方法受采样器设置中的eta参数影响。Euler a采样器相较于Euler更具多样性,可以以较少的步数产生很大的变化。不同步数可能会产生不同的结果。但需要注意的是,太高的步数(超过30)并不一定能带来更好的效果。如果你希望在较短的步数内获得多样性,Euler a采样器是一个值得尝试的选择。

LMS

线性多步调度器(Linear multistep scheduler)源于K-diffusion。

heun

基于Karras论文,在K-diffusion实现受采样器设置页面中的 sigma参数影响。

DPM2

Katherine Crowson在K-diffusion实现受采样器设置页面中的 sigma参数影响。

DPM2 a

使用了祖先采样(Ancestral sampling)的DPM2方法受采样器设置中的ETA参数影响。

DPM++ 2S a

基于Cheng Lu等人的论文,在K-diffusion实现的2阶单步并使用了祖先采样(Ancestral sampling)的方法。受采样器设置中的eta参数影响Cheng Lu的github]https://github.com/LuChengTHU/dpm-solver)中也提供已经实现的代码,并且可以自定义,1、2、3阶,和单步多步的选择webui使用的是K-diffusion中已经固定好的版本。

DPM++ 2M
基于Cheng Lu等人的论文的论文,在K-diffusion实现的2阶多步采样方法,被社区玩家称为最强采样器,速度和质量平衡优秀比上方版本更优秀也更复杂。

DPM++ SDE

基于Cheng Lu等人的论文的,DPM++的SDE版本(随机微分方程),DPM++原本是ODE(常微分方程)在K-diffusion实现的版本中调用了祖先采样(Ancestral sampling)方法,所以受采样器设置中的ETA参数影响。

DPM fast

基于Cheng Lu等人的论文,在K-diffusion实现的固定步长采样方法,用于steps小于20的情况

受采样器设置中的ETA参数影响。

DPM adaptive

基于Cheng Lu等人的论文,在K-diffusion实现的自适应步长采样方法。受采样器设置中的ETA参数影响。

LMS Karras

基于Karras论文,运用了相关Karras的noise schedule的方法,可以算作是LMS使用Karras noise schedule的版本。LMS采样器是Euler的衍生版本,使用了一种相关但稍有不同的方法,即平均过去的几个步骤以提高准确性。大约30步可以得到稳定的结果。如果你对图像的准确性有较高的要求,可以考虑使用LMS采样器。

DDIM
随latent diffusion的最初repository一起出现, 基于Jiaming Song等人的论文目前最容易被当作对比对象的采样方法在采样器设置界面有自己的ETA PLMS元老级,随latent diffusion的最初repository一起出现。DDIM采样器收敛速度较快,但相对而言效率较低。它需要较多的步数才能获得较好的结果,因此更适合用于重绘时的使用。如果你希望在纠正错误或调整提示词时进行迭代绘制,DDIM是一个可靠的选择。

UniPC(推荐使用)
目前最新采样器,基于Wenliang Zhao等人)的论文,理论上目前最快采样器,10步即可获得高质量结果,UniPC采样器是效果较好且速度非常快的一种选择。它在平面、卡通风格的图像表现方面较为突出。如果你希望快速生成具有良好效果的图像,尤其是针对平面和卡通风格的创作,强烈推荐使用UniPC采样器。

这里我推荐使用【UniPC】还是不错的。

人像生成

正向提示词:

Star face, long black hair, beauty, wearing a white shirt, upper body frontal photo, ultra-clear, cute, lolita, natural black pupils, bright eyes, Chinese style, well-proportioned, regular facial features, no stretching, first love, light blue Color background, tie, campus, desks and chairs, school uniform, long hair to waist, smile, dimples

对照中文:

明星脸,乌黑长发,美女,穿白色衬衫,上身正面照,超清,可爱,萝莉,自然黑色瞳孔,有神的眼睛,国风,匀称,五官端正,无拉伸,初恋,浅蓝色背景,领带,校园,桌椅,校服,长发及腰,微笑,酒窝

反向提示词:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, pgly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

中文对照:

(半写实、cgi、3d、渲染、草图、卡通、绘画、动漫:1.4)、文本、特写、裁剪、出框、最差质量、低质量、jpeg 伪影、pgly、重复、病态、残缺、额外的手指、变异的手、画得不好的手、画得不好的脸、突变、变形、模糊、脱水、不良的解剖结构、不良的比例、额外的肢体、克隆的脸、毁容、总体比例、畸形的四肢、缺失的手臂、缺失的腿、额外的手臂、多余的腿、融合的手指、太多的手指、长脖子

生成图片效果:(还算OK的姑娘,一会我们可以多seed微调一下)

稍微微调一下(可以再下方找到微调方法)

水光效果

效果图:

正向提示词:

ball of water suspended in the air, ripples and splash on surface, sunlight gleaming, with sparkling crisp radiant reflections, Canon 35mm lens, hyperrealistic photography, style of unsplash

反向提示词:

word,error,cropped,worst quality,low quality,artifacts,signature,username,blurry,mutation,(duplicate:1.4),blurry,watermark, water-marked ,Signature,sketches,easynegative,border, blurry,depth of field, blurry background, empty picture frame, photo frames,(Object deformation:1.4),Retro style

采样器以及其它参数:

生成效果:

微调的使用

【腾讯云 HAI域探秘】——Stable Diffusion预装环境生成AIGC图片——必会技能【微调】

图像生成种子/seed使用

用于图像的微调,用大图不方便,我换成512*512的再测试一下,提示词变成生成人物。

正向提示词:

a chinese man,The programmer is 35 years old, energetic, handsome, healthy, smart and alert, wearing a suit and light blue shirt.

反向提示词:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, pgly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

这里可以看到seed了,我们就再生成一次。

这是根据Seed再次生成的效果(看不到多大效果,因为我们没有附加处理):

附加/Extra

这里的差异随机种子和随机种子一样,差异强度别多了,一点点调整。

看看0.01的强度变化。

微调0.05

改变差异随机种子

微调实例测试

我们先来描绘一张非常漂亮的图片。使用【UniPC】生成时间太长,这里采样器换一下,更换成【Euler a】,效率会高些,但是质量会弱一些。多来几次。总会有好的。

图生图微调

有的时候生成的还是比较满意的,但是就优点瑕疵,例如上图领口有一个饰品,我想换一下,就可以使用图生图的微调。

使用蒙版微调

注意修改一下参数。

使用画笔绘制要微调的位置

多生成几次就能看到一个想要的结果了

好的,到此,美丽的小姐姐就呈现出来了,爱你呦。 

这篇关于【腾讯云 HAI域探秘】借助高性能服务HAI快速学会Stable Diffusion生成AIGC图片——必会技能【微调】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/837259

相关文章

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

电脑桌面文件删除了怎么找回来?别急,快速恢复攻略在此

在日常使用电脑的过程中,我们经常会遇到这样的情况:一不小心,桌面上的某个重要文件被删除了。这时,大多数人可能会感到惊慌失措,不知所措。 其实,不必过于担心,因为有很多方法可以帮助我们找回被删除的桌面文件。下面,就让我们一起来了解一下这些恢复桌面文件的方法吧。 一、使用撤销操作 如果我们刚刚删除了桌面上的文件,并且还没有进行其他操作,那么可以尝试使用撤销操作来恢复文件。在键盘上同时按下“C

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

poj 1287 Networking(prim or kruscal最小生成树)

题意给你点与点间距离,求最小生成树。 注意点是,两点之间可能有不同的路,输入的时候选择最小的,和之前有道最短路WA的题目类似。 prim代码: #include<stdio.h>const int MaxN = 51;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int P;int prim(){bool vis[MaxN];

poj 2349 Arctic Network uva 10369(prim or kruscal最小生成树)

题目很麻烦,因为不熟悉最小生成树的算法调试了好久。 感觉网上的题目解释都没说得很清楚,不适合新手。自己写一个。 题意:给你点的坐标,然后两点间可以有两种方式来通信:第一种是卫星通信,第二种是无线电通信。 卫星通信:任何两个有卫星频道的点间都可以直接建立连接,与点间的距离无关; 无线电通信:两个点之间的距离不能超过D,无线电收发器的功率越大,D越大,越昂贵。 计算无线电收发器D

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

hdu 1102 uva 10397(最小生成树prim)

hdu 1102: 题意: 给一个邻接矩阵,给一些村庄间已经修的路,问最小生成树。 解析: 把已经修的路的权值改为0,套个prim()。 注意prim 最外层循坏为n-1。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstri