【AI模型】首个Joy 模型诞生!!!全民生成Joy大片

2023-10-17 18:50

本文主要是介绍【AI模型】首个Joy 模型诞生!!!全民生成Joy大片,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

接上一篇文章 “只要10秒,AI生成IP海报,解放双手”,这次是全网第一个“共享joy 模型”,真的赚到了

经过这段时间无数次的探索、试错、实验,最终积累了非常多的训练经验,在不同IP角色的训练上实际上需要调试非常多的参数以及素材。本次成功完成了Joy的Lora模型,虽然在泛化以及场景上未来还有着很多的空间,但是本次的模型已经可以帮助大家完成大部分的运用场景,今天无论你是设计师,还是产品,还是运营,还是研发,你都将可以实现Joy的海报生成,接下来我将为大家讲一讲如何实现。

老样子先来看看实际的效果吧!!!

生成过程



模型生成海报

















接下来就来和大家讲一讲如何通过SD来生成Joy吧~

1、准备工作(在开始之前,请大家下载好本次生成需要使用到的模型)

1、底模:revAnimated_v122EOL.safetensors

2、VAE:vae-ft-mse-840000-ema-pruned

3、京东Joy-Lora模型

4、京东Joy-起手式(prompt模版)



2、放置模型

1、底模:stable-diffusion-webui——models——Stable-diffusion

2、VAE:stable-diffusion-webui——models——VAE

3、京东Joy-Lora模型:stable-diffusion-webui——models——Lora

4、京东Joy-起手式:stable-diffusion-webui



3、打开SD(⚠️如果还不知道如何配置SD的同学可以看我之前的文章:“只要10秒,AI生成IP海报,解放双手”)



4、模型设置

1、我们需要在Stable Diffusion模型中选择我们下载好的模型:revAnimated_v122EOL(当然这是我目前测试下来效果较好的底膜,你也可以下载并使用别的底膜进行尝试)

2、在模型的VAE中选择:vae-ft-mse-840000-ema-pruned(这个VAE的饱和度比较好一些,其他的VAE会使画面较灰)



5、Prompt使用

本次我已将Joy的基础Prompt设置成了模版(Joy起手式),后续大家可以根据自己想要的画面进行调整,我会讲一下本次Prompt的基础构成

1、正向词:正向词中只要分为3类,触发词+提示词+LoRA(越靠前的词汇权重就会越高)

•Joy的触发词为joy\(ip\):只有输入这个触发词,画面中才会出现joy的形象

•提示词:在提示词中主要分为自然语言+单词描述:用自然语言来形容Joy具体在做什么(如:joy ip is standing on the stone,jumping,sitting等,建议使用进行时);用单词来形容画面中其他需要的元素(如:outdoors, day, grass, leaf, tree, flower, sunshine,等)

•Lora权重:权重进过我的测试,最高的效果是0.7,所以在Joy的lora模型上无脑设置0.7

2、负向词:主要描述你不想要的内容(如:lowres, bad anatomy, bad eyes, bad hands等,如果在生成过程中出现了你不想要的内容也可以在后续继续补充)



6、设置采样方式、采样迭代步数、尺寸、生成批次&数量



•采样方式上我们选择:DPM++ SDE Karras

•采样迭代步数:24-28之间(更具画面的复杂程度进行调试,如果画面元素较多则可以以4的倍数向上增加,需要注意在改变了步数以后会让画面产生变化

•尺寸:一般使用64的倍数,常用的尺寸如512*768(2:3),768*512(3:2),512*512(1:1),768*1152(2:3),1152*768(3:2),不限于这些尺寸,只是说这些尺寸下抽卡出现好画面的几率更高一些

•生成批次、每批数量:在前期抽卡阶段(没有开高清修复阶段),可以把生成数量提高,来寻找喜欢的画面,在找到自己喜欢的画面后则需要设1去更精细化的抽卡



7、提示词相关性

1、提示词相关性:3-5之间效果更佳,如果没有出现IP可能是因为场景权重过高导致IP消失,可以尝试降低相关性或减少场景描述,提示词相关性是影响画面元素的非常重要的参数之一(其他影响的因素还有,迭代步数,重绘幅度,以及尺寸)



8、抽卡环节(快乐时间来了)

我们只需要嗑着瓜子,看着电视或者坐着别的事情,去挑一个动作、构图、元素、画面大致满意的底图(来作为后续打开高清的基础)



9、开启高清修复(完成一幅Joy大作)

在我们选出我们满意的底图后,需要做的就是锁定我们的seed,打开高清修复,调整我们的重绘幅度(重回幅度会影响画面变化的幅度,越低则变化越小,越高则变化越大)

•锁定我们的seed值



•将我们的放大算法改为:R-ESRGAN 4x+,调整重绘幅度0.1-0.7



•保存我们想要的图

如果你已经使用Joy模型并抽到了一些好的效果,可在评论区留言反馈,也希望和大家有更多的交流和学习,感谢大家支持哦!!

这篇关于【AI模型】首个Joy 模型诞生!!!全民生成Joy大片的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/227272

相关文章

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

C/C++随机数生成的五种方法

《C/C++随机数生成的五种方法》C++作为一种古老的编程语言,其随机数生成的方法已经经历了多次的变革,早期的C++版本使用的是rand()函数和RAND_MAX常量,这种方法虽然简单,但并不总是提供... 目录C/C++ 随机数生成方法1. 使用 rand() 和 srand()2. 使用 <random

Flask 验证码自动生成的实现示例

《Flask验证码自动生成的实现示例》本文主要介绍了Flask验证码自动生成的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习... 目录生成图片以及结果处理验证码蓝图html页面展示想必验证码大家都有所了解,但是可以自己定义图片验证码

Python如何在Word中生成多种不同类型的图表

《Python如何在Word中生成多种不同类型的图表》Word文档中插入图表不仅能直观呈现数据,还能提升文档的可读性和专业性,本文将介绍如何使用Python在Word文档中创建和自定义各种图表,需要的... 目录在Word中创建柱形图在Word中创建条形图在Word中创建折线图在Word中创建饼图在Word