探索【Stable-Diffusion WEBUI】的图片超分辨插件:StableSR

2023-11-11 03:40

本文主要是介绍探索【Stable-Diffusion WEBUI】的图片超分辨插件:StableSR,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • (零)前言
  • (一)图片放大
  • (二)图片超分辨率放大脚本插件(StableSR)
    • (2.1)下载组件
    • (2.2)使用
    • (2.3)实例对比(放大)
    • (2.4)实例对比(修复)
  • (三)总结

(零)前言

本篇主要介绍WEBUI的插件:StableSR:图片超分辨放大的使用,以及和WEB UI附加功能图片放大功能的对比。
更多不断丰富的内容参考:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》

(一)图片放大

之前通过《探索【Stable-Diffusion WEBUI】的附加功能:图片缩放&抠图》了解到,由于Stable-Diffusion并不适合生成很大的图片,所以我们可以先生成适合的正常尺寸图,再通过附加功能页的放大功能,放大图片。

同时介绍了好些缩放模型,其中有些效果挺好的。

特别是LDSR(潜在扩散超分辨率模型)照片表现非常好,不仅脑补的细节多,还加入了很多噪点显得真实。
但模型体积巨大+速度超级慢。放大一张512x512的图,几乎需要20分钟(其它放大算法都是20秒内……)。

所以,有没有其它放大选择呢?

(二)图片超分辨率放大脚本插件(StableSR)

参考:🔗插件StableSR
可以从WEB UI中直接安装,它是一个图生图的脚本。
安装后会在图生图最下面的脚本下拉框中出现StableSR。

由于官网有中文说明,不需要细讲了吧:)
简单列举下重点,细节请看官网(仓库)的中文说明。

对了:SR = Super-Resolution ,写出来以防忘记。。。

(2.1)下载组件

安装后需要下载模型才能使用(⚠️细节请看官网介绍):

  1. Stable Diffusion V2.1 512 EMA 模型(约 5.21GB)->放基础模型目录。
  2. 官方的 StableSR 模块 (约400MB)->放插件自己的模型目录。
  3. 可选使用官方提供的 VQGAN VAE(约750MB) ->放VAE模型目录。
  4. 可选配合 Tiled Diffusion & VAE 扩展,也就是分区扩散(Multi Diffusion)插件使用。
    说是可选,咱普通显存只能必选,否则稍大的图就显存不够了。

(2.2)使用

基本使用很简单,在图生图下面启用脚本就可以了。
主要步骤如下,官网还给出了具体参数配置的建议(⚠️细节请看官网介绍)。

  • 基础模型选择刚才下载的v2-1_512-ema-pruned模型。
  • 切换到 img2img 标签。在页面底部找到 “脚本” 下拉列表,选择StableSR脚本。
    点击刷新按钮,选刚才下载的 StableSR 模块。
  • 如果生成图像尺寸 > 512,推荐使用 Tiled Diffusion & VAE(也就是Multi Diffusion upscaler)。
  • 上传图像并开始生成。

我试了一下速度还不算太慢(比一般算法慢多了)。
一张512²的图大概5-6分钟吧(还是比LDSR快不少啊)。

💡 不过需要注意:

  • 中低显存下,不能打开Channels Last内存格式优化,否则报错。
  • 不要尝试放大特别小的图片(48x48一类?)😄 。
  • 纹理类可以脑补的细节很不错。但文字类需要“原样放大”的效果很差,看不出原文。
    这种情况请对比4x-UltraSharpR-ESRGAN 4x+等附加功能页图片放大的效果。
  • 使用SD2.1的基础模型时,嵌入式(embeddings)模型可能会暂时看不见,正常的,因为那些是给SD1.5用的。
  • 注意版权问题,目前由于版权协议,生成的图片不能商用。

(2.3)实例对比(放大)

下面这张图(请忽略AI生成导致不合理的部分),我们来把它放大4倍。
在这里插入图片描述

放大后实在是太大了,就给个局部裁剪吧。
局部:原图直接缩放(传统图像编辑软件,对比组)
请添加图片描述


局部:StableSR
请添加图片描述


局部:StableSR(纯噪声选项开)
纯噪声适合脑补肌肤纹理,植物人群,各种不太需要和原图一致的细节。细节多,显得更加清晰。
但是改变原图较多,不适合文字之类。有时也会生成莫名奇妙的东西。
请添加图片描述


局部:LDSR(最强对比组)
噪点多显得真实,但噪点真的太多了。而且没有色彩修复选项(关键是太慢,其它可以忍)。
请添加图片描述

(2.4)实例对比(修复)

下面这张是比较早时自己拍的照片,那时相机不行,即使缩小看也很模糊。
我们不放大它的分辨率,处理看看。
请添加图片描述

局部100%:座机拍的原图
在这里插入图片描述


局部100%:StableSR
整体清晰了不少,文字,栏杆,树叶等。
不过截图外远处人的样子已经没法看了。
在这里插入图片描述


局部100%:StableSR(纯噪声选项开)
AI生成(脑补)的细节更多,已经明显改变原图了,比如牌匾字体破损的位置,而且整体有点卡通化。
草地上有个蓝色的牌子(虽然看不清写的啥),彻底被弄没了。
在这里插入图片描述


(三)总结

插件非常适合可以脑补细节的图片放大,相对LDSR来说不算太慢。
但操作相对复杂,还需要配合分区扩散插件(不然就爆显存,参数设不对也爆显存)。

总之它给了我们一个新的选择,期待持续改进。

这篇关于探索【Stable-Diffusion WEBUI】的图片超分辨插件:StableSR的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/387295

相关文章

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时

Android 10.0 mtk平板camera2横屏预览旋转90度横屏拍照图片旋转90度功能实现

1.前言 在10.0的系统rom定制化开发中,在进行一些平板等默认横屏的设备开发的过程中,需要在进入camera2的 时候,默认预览图像也是需要横屏显示的,在上一篇已经实现了横屏预览功能,然后发现横屏预览后,拍照保存的图片 依然是竖屏的,所以说同样需要将图片也保存为横屏图标了,所以就需要看下mtk的camera2的相关横屏保存图片功能, 如何实现实现横屏保存图片功能 如图所示: 2.mtk

Spring MVC 图片上传

引入需要的包 <dependency><groupId>commons-logging</groupId><artifactId>commons-logging</artifactId><version>1.1</version></dependency><dependency><groupId>commons-io</groupId><artifactId>commons-

Prompt - 将图片的表格转换成Markdown

Prompt - 将图片的表格转换成Markdown 0. 引言1. 提示词2. 原始版本 0. 引言 最近尝试将图片中的表格转换成Markdown格式,需要不断条件和优化提示词。记录一下调整好的提示词,以后在继续优化迭代。 1. 提示词 英文版本: You are an AI assistant tasked with extracting the content of

Maven(插件配置和生命周期的绑定)

1.这篇文章很好,介绍的maven插件的。 2.maven的source插件为例,可以把源代码打成包。 Goals Overview就可以查看该插件下面所有的目标。 这里我们要使用的是source:jar-no-fork。 3.查看source插件的example,然后配置到riil-collect.xml中。  <build>   <plugins>    <pl

jenkins 插件执行shell命令时,提示“Command not found”处理方法

首先提示找不到“Command not found,可能我们第一反应是查看目标机器是否已支持该命令,不过如果相信能找到这里来的朋友估计遇到的跟我一样,其实目标机器是没有问题的通过一些远程工具执行shell命令是可以执行。奇怪的就是通过jenkinsSSH插件无法执行,经一番折腾各种搜索发现是jenkins没有加载/etc/profile导致。 【解决办法】: 需要在jenkins调用shell脚

Jenkins 插件 地址证书报错问题解决思路

问题提示摘要: SunCertPathBuilderException: unable to find valid certification path to requested target...... 网上很多的解决方式是更新站点的地址,我这里修改了一个日本的地址(清华镜像也好),其实发现是解决不了上述的报错问题的,其实,最终拉去插件的时候,会提示证书的问题,几经周折找到了其中一遍博文