零基础学习图生图

2024-05-29 19:04
文章标签 基础 学习 图生

本文主要是介绍零基础学习图生图,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 一、图生图是什么
  • 二、安装秋叶整合包
    • 2.1 秋叶包安装
    • 2.2 秋叶包拓展安装:
    • 2.3 ckpt配置:
    • 2.4 界面常用功能配置:
  • 三、图生图基本功能展示
    • 3.1 图生图的界面
    • 3.2 重要的参数设置:
    • 3.3 涂鸦功能
    • 3.4 局部重绘功能
    • 3.5 涂鸦重绘
    • 3.6 上传重绘蒙版


一、图生图是什么

之前一直介绍文生图的若干技巧,例如训练属于自己的LoRA模型,作为一个微调的模型,可以较快实现生成内容的指定编辑。但是,有些情况下,无法用文字准确描述的时候,提示词的作用无法发挥出来,这个时候可以借助其他图的结构,来生成我们指定的图片内容,这就是图生图的原始思想。
举个例子:
给出一张示例图如下:
在这里插入图片描述
我们给出的提示词:蓝色眼睛。通过图生图的效果如下:
在这里插入图片描述

二、安装秋叶整合包

2.1 秋叶包安装

硬件环境:电脑处理器是13th Gen Intel® Core™ i9-13900K,3000 Mhz,24 个内核,32 个逻辑处理器,显卡NVIDIA GeForce RTX 4090;
软件环境:驱动版本是Nvidia 版本 546.17 (Game Ready 驱动程序),参考下图,选择pyTorch 版本为Torch2.2.0(CUDA11.8)+xFormers 0.0.24
安装提示:因为一直提示解压密码错误(使用的密码是:bilibili@秋葉aaaki (但是一直报错)),因此使用绘世启动器下载地址是:
https://www.bilibili.com/video/BV1ne4y1V7QU
具体为:下载之后,只从解压包里选择双击绘世启动,单独放到空文件夹,然后基本上从零开始安装各种库包,其中pyTorch怎么选择可以参考如下:

在这里插入图片描述

2.2 秋叶包拓展安装:

安装完之后,双击绘世启动器启动,按照下面图片的顺序安装相关扩展
在这里插入图片描述
需要安装的扩展就是下面这些:

a1111-sd-webui-tagcomplete
adetailer
multidiffusion-upscaler-for-automatic1111
sd-dynamic-thresholding
sd-webui-controlnet
sd-webui-infinite-image-browsing
sd-webui-lora-block-weight
sd-webui-model-converter
sd-webui-openpose-editor
sd-webui-prompt-all-in-one
sd-webui-segment-anything
sd-webui-supermerger
stable-diffusion-webui-model-toolkit
stable-diffusion-webui-wd14-tagger
ultimate-upscale-for-automatic1111
stable-diffusion-webui-localization-zh_Hans

2.3 ckpt配置:

可以选择已下载好的大模型(ckpt或safetensors文件)
在这里插入图片描述
这些完成了之后就一键启动(因为要加载SD-WebUI界面所以要一定时间),进入UI界面之后点击设置。
Tips:加载过程一般比较慢,如果无法加载成功,有可能需要更新显卡驱动。

2.4 界面常用功能配置:

例如SD、VAE或Clip步数等,都可以通过用户界面进行配置。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

像图片界面一样进行配置,配置完之后就先点击保存设置,然后重启网页UI。最后等一段时间加载完数据就可以正常使用了,为了验证是否可以用一般我们还会进测试,如下图所示进行文生图。
在这里插入图片描述

在这里插入图片描述
如果浏览器不断断开连接,需要不断刷新,可以检查自己显卡驱动是不是最新的。

三、图生图基本功能展示

3.1 图生图的界面

在这里插入图片描述

3.2 重要的参数设置:

重绘幅度:代表ai绘画参与的程度,数字越小越接近原图,0就是原图;1的话,表示100%重画,更改幅度最大。
在这里插入图片描述
重绘值:0,即图片与原图没有什么区别,只是尺度不一样。
在这里插入图片描述
分辨率设置:一般默认为512x512
在这里插入图片描述

也可在原图的分辨率设置倍数:如果想生成与原来图片一样大小的图片可以选择重绘尺度倍数,1就是原来大小,2就俩倍大依次类推。
在这里插入图片描述

参数:缩放模式,一共有4种,如下图所示:
在这里插入图片描述

  • 仅调整大小,对图像进行缩放,到目标分辨率。
  • 裁剪后缩放,对图像进行裁剪到目标尺度,再缩放大小。
  • 缩放后填充空白,对图像进行缩放,短边不足的部分会补充与背景相同的部分。如下图所示。
  • 调整大小 (潜空间放大),这个主要是在原始图像进入潜空间之后对图像进行缩放,类似于对每个像素进扩大,,所以一般重绘幅度要大于0.5(越高效果越好),不然画质会很模糊,其主要是用来建立不同风格但是有点类似的图片。上图所示就是重绘程度0.93的效果图。

在这里插入图片描述
在这里插入图片描述
图生图的功能主要有:

  • 涂鸦
  • 局部重绘
  • 涂鸦重绘
  • 上传重绘蒙版
    在这里插入图片描述

3.3 涂鸦功能

涂鸦功能,体现在:一个最好是纯白色背景的图片,然后使用鼠标选择画笔与颜色进行涂鸦绘画,然后通过提示词,即可生成与涂鸦内容相似的内容。

比方说,本人的涂鸦绘画如下所示:
在这里插入图片描述

给出提示词,比方说:a tree, wind
基于以上两点,生成的涂鸦定制图片如下所示:
在这里插入图片描述

3.4 局部重绘功能

局部重绘,字面意思一样,即通过鼠标画笔将局部像素抹掉。然后根据提示词,来生成抹掉部分的内容。它主要用在修改细节部分,即图片整体不错但有瑕疵时用到。
在这里插入图片描述

如上图所示用画笔选择好自己修改的地方后,可以写好自己想要的内容,然后选择重绘程度,还是和之前一样0.5是临界值低于0.5就和原图比较像,高于0.5则反之。

输入提示词为:lip stick, closed mouth.
写入相应的提示词如上图所示,点击生成,就可以得到自己想要的图片如下图所示。

观察生成的图片,可以明显看到:除了用画笔标记的嘴唇部位,其他区域没有发生变化。

3.5 涂鸦重绘

结合的涂鸦功能,以及重绘的功能,将二者结合到一起,发挥效能如何呢?

涂鸦重绘字面意思,你可以根据自己的意愿用画笔去改变图片,如下图所示
在这里插入图片描述
提示词为:tie
涂鸦重绘的效果图如下所示:
在这里插入图片描述
生成的图像,基本符合提示词的内容,局部细节保留了一些涂鸦的颜色。

3.6 上传重绘蒙版

重绘蒙版,一般需要通过鼠标即时的来操作,可以提前预设一些蒙版,在生成图片内容的过程中直接使用预设好的模板。
1、提前预设好的蒙版:
在这里插入图片描述
2、提示词
in spring

3、原图展示为:
在这里插入图片描述
4、通过上传重绘蒙版的效果图如下:
在这里插入图片描述
可以看到,在头像周围添加了一个带有春天元素的边框。这个的作用是我们不用再手动绘画蒙版具体功能,而是可以通过其他软件来制造蒙版,完成更加细致的修改,然后在输入相对应的提示词,对蒙版区域内的内容进行修改,最好不要用纯色蒙版。

这篇关于零基础学习图生图的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1014378

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具,采用无代理架构(agentless),基于 SSH 连接进行管理,具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用,旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大,需要补充太多的知识点,教授讲得内容跨越较大,一般一节课的内容是书本上的一章节内容,所以看视频比较吃力,需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构: Adjacency Matrix:行和列表示的是节点的位置,A[i,j]表示的第 i 个节点和第 j 个