Stable Diffusion + Segment Anything试用

2024-03-19 20:36

本文主要是介绍Stable Diffusion + Segment Anything试用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

安装

  1. 从continue-revolution/sd-webui-segment-anything安装插件
  2. 分割模型下载后放到这个位置:${sd-webui}/extension/sd-webui-segment-anything/models/sam下,可以下载3个不同大小的模型,从大到小如下:vit_h is 2.56GB, vit_l is 1.25GB, vit_b is 375MB。如果显存不够的话,可以考虑使用小模型。当然效果也可能会有损失。 经过上述步骤后,插件就安装好了。

使用教程

图片分割

安装

  1. 从continue-revolution/sd-webui-segment-anything安装插件
  2. 分割模型下载后放到这个位置:${sd-webui}/extension/sd-webui-segment-anything/models/sam下,可以下载3个不同大小的模型,从大到小如下:vit_h is 2.56GB, vit_l is 1.25GB, vit_b is 375MB。如果显存不够的话,可以考虑使用小模型。当然效果也可能会有损失。 经过上述步骤后,插件就安装好了。

使用教程

图片分割

手动方式

  • 标注图片

左键标记成黑点代表想要的物体,右键标记成红点代表不需要分割的物体

  • 分割结果 使用Preview Segmentation按钮生成分割图

image.png 根据分割的多个结果中选择1个最满意的节点

使用GroundingDINO加提示词自动识别分割物

image.png

勾选Enable GroundingDINO,就会出现下面的GroundingDINO Model (Auto download from huggingface)GroundingDINO Detection Prompt,其中GroundingDINO Detection Prompt填上想要分割的物体,比如"dress" 点击Generate bounding box按钮,就可以看到分割效果,如下所示:

  • 分割结果 使用Preview Segmentation按钮生成分割图,和上面一样。

  • 扩充(可选)

image.png

如果分割图里面会有一些点没有完全覆盖的话,可以考虑扩充mask来使分割结果更好。比如上面手动分割图中裙子会有一些点没有覆盖到,可以考虑扩充像素。

点击Switch to Inpaint Upload,接下来就是使用【局部重绘(上传蒙版)】来做局部重绘了。

局部重绘(上传蒙版)

  • 除了把“重绘区域”修改成“仅蒙版”,这里大部分使用默认的参数。

image.png

  • 选择对应的controlNet,比如上面选择的是第1个分割结果,那就选择ControlNet Unit 1:
  1. 勾选启用、勾选Pixel Perfect,如果显存不够可以勾选低显存优化
  2. 选择预处理:inpait_global_harmonious,模型:control_v11_sd15_inpaint
  3. 其他参数默认

效果

使用X/Y/Z Plot脚本来替换提示词,如下:

red dress, pink dress,white dress,blue dress, frilled dress

效果如下:

image.png

可以看到还是比较完美的做了换装。

总结

本文简单使用了stable diffusion webui的Segment Anything来实验了换装操作,整体效果还是比较好的,当然目前选择的还是比较简单的图片,如果比较复杂的图片,是否还有这么好的效果,还需继续研究和试验。 当然作者认为它主要是为了方便做局部重绘时需要手动标记重绘区域时的不便,有了Segment Anything可以提高标记效率。

附录

遇到的问题

  1. 显存不够
torch.cuda.OutOfMemoryError: CUDA out of memory. ......

查看后台运行程序可能会时长出现上面的问题,这就是显存不够导致的,可以尝试把SAM Model修改成最小的vit_b,让流程跑起来。当然也可能目前该扩展还有一些显存的问题,看Issue上面也有挺多人遇到类似问题。

image.png

  1. 安装的版本不对
The detected CUDA version (12.1) mismatches the version that was used to compile PyTorch (11.7). Please make sure to use the same CUDA versions.
  • 需要保证保证nvcc --version显示的版本和nvidia-smi显示的版本保持一致。如果不一致,可能需要重新编译cuda版本。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

这篇关于Stable Diffusion + Segment Anything试用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/827165

相关文章

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

JAVA学习-练习试用Java实现“删除有序数组中的重复项”

问题: 给你一个有序数组 nums ,请你 原地 删除重复出现的元素,使每个元素 只出现一次 ,返回删除后数组的新长度。 不要使用额外的数组空间,你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。 说明: 为什么返回数值是整数,但输出的答案是数组呢? 请注意,输入数组是以「引用」方式传递的,这意味着在函数里修改输入数组对于调用者是可见的。 你可以想象内部操作如下

使用亚马逊Bedrock的Stable Diffusion XL模型实现文本到图像生成:探索AI的无限创意

引言 什么是Amazon Bedrock? Amazon Bedrock是亚马逊云服务(AWS)推出的一项旗舰服务,旨在推动生成式人工智能(AI)在各行业的广泛应用。它的核心功能是提供由顶尖AI公司(如AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI以及亚马逊自身)开发的多种基础模型(Foundation Models,简称FMs)。

Differential Diffusion,赋予每个像素它应有的力量,以及在comfyui中的测试效果

🥽原论文要点 首先是原论文地址:https://differential-diffusion.github.io/paper.pdf 其次是git介绍地址:GitHub - exx8/differential-diffusion 感兴趣的朋友们可以自行阅读。 首先,论文开篇就给了一个例子: 我们的方法根据给定的图片和文本提示,以不同的程度改变图像的不同区域。这种可控性允许我们再现

JAVA学习-练习试用Java实现“N皇后 II”

问题: n 皇后问题研究的是如何将 n 个皇后放置在 n×n 的棋盘上,并且使皇后彼此之间不能相互攻击。 给定一个整数 n ,返回 n 皇后问题不同的解决方案的数量。 示例 1: 输入:n = 4 输出:2 解释:如上图所示,4 皇后问题存在两个不同的解法。 示例 2: 输入:n = 1 输出:1 提示: 1 <= n <= 9 皇后彼此不能相互攻击,也就是说:任何两个皇后都不能处于同

diffusion model 合集

diffusion model 整理 DDPM: 前向一步到位,从数据集里的图片加噪声,根据随机到的 t t t 决定混合的比例,反向要慢慢迭代,DDPM是用了1000步迭代。模型的输入是带噪声图和 t,t 先生成embedding后,用通道和的方式加到每一层中间去: 训练过程是对每个样本分配一个随机的t,采样一个高斯噪声 ϵ \epsilon ϵ,然后根据 t 对图片和噪声进行混合,将加噪

试用GLFW并创建OpenGL和DX的环境

介绍GLFW GLFW官网:https://www.glfw.org/ GLFW is an Open Source, multi-platform library for OpenGL, OpenGL ES and Vulkan development on the desktop. It provides a simple API for creating windows, contex

试用UE4的纹理数组(UTexture2DArray)

UTexture2DArray 我发现在我目前使用的版本(4.25)中,官方已经实现了纹理数组(可能在4.24或更早版本就已经实现了)。 纹理数组,其含义不言而喻。一个重要作用是可以使用更多的纹理而不受制于sampler数目限制。 这一篇里我想对官方的纹理数组进行一下简单的试用。 试用 0. 启用纹理数组 虽然我看到了代码中有UTexture2DArray这个类,不过一开始并没有在编辑器

试用 Houdini Engine Python API

介绍 hapi 这个python包 是HoudiniEngine的一层python封装。 使用python的优势是灵活性,因为C代码总需要编译,使得迭代较慢。 Tips: hapi中的内容总可以查阅HoudiniEngine的文档,因为概念和函数是相同的。 使用环境 1. Houdini编辑器内:Python Shell 在其中可以 import hapi: 2. Houd

胎牛血清试用申请

胎牛血清(FBS)是一种性状、外观 浅黄色澄清、无溶血、无异物稍粘稠液体,取自5-8月胎龄牛胚胎中的胎血。胎牛还未接触外界,血清中所含的抗体、补体等对细胞有害的成分最少,因此胎牛血清是品质最高的。当血清内毒素含量≤10EU/ml时,则为特级胎牛血清。那么,你知道如何进行胎牛血清试用申请吗? 胎牛血清是一种常用的细胞培养基添加剂,可以提供细胞生长所需的营养物质和生长因子,有助于促进细胞的增殖和存活