AI直播换脸——DeepFaceLab 3.0模型训练与微调

2023-10-29 19:52
文章标签 ai 训练 模型 直播 微调 换脸 3.0 deepfacelab

本文主要是介绍AI直播换脸——DeepFaceLab 3.0模型训练与微调，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

DeepFaceLab是一种基于深度学习的人脸合成和转换工具。它使用了深度神经网络来分析和修改图像中的人脸部分，可以实现将一个人的脸部特征应用到另一个人的照片上，或者进行面部表情、年龄、性别等特征的变换。
DeepFaceLab具备一系列核心功能，包括人脸检测、关键点定位、面部表情识别和特征提取。这些功能为其提供了生成高质量合成人脸的能力，并支持多种输入和输出格式。用户可以根据自身需求对其可配置的参数进行调整，以定制模型的训练和处理流程。此外，DeepFaceLab还充分支持GPU加速，从而显著提升处理速度。

然而，需要特别留意的是，DeepFaceLab等工具也存在被滥用的风险，用以制作虚假的图片和视频。因此，在使用这类工具时，必须严格遵守法律法规，同时秉持高度的道德准则。这类技术的滥用可能会引发伦理和法律问题，因此用户在使用时应谨慎考虑，深入了解相关法律规定，并严守道德操守。

一、DeepFaceLab安装

可以从官方网站得软件下载地址，找到对应自己GPU的版本就可以了,GPU不是RTX30头的选RTX2080Ti版本,RTX30xx以上选RTX3000这个版本。
在这里插入图片描述
下载之后直接解压到使用目录就可以了，解压完成之后像下面这样，不过有几个中文是我后加的。
在这里插入图片描述

二、数据准备

1.源视频

源视频就是用来训练模型的视频，源视频选择合适的素材是关键。要确保素材清晰、高质量，以获得最佳效果。可以使用高分辨率的相机来拍摄或选择高质量的库存视频。

  • 不同角度：拍摄素材时，考虑使用不同的角度，如近景、远景、正脸和侧脸，以提供多样性和视觉吸引力。
  • 不同视角：例如低视角或仰视角。
  • 不同光线：根据需要选择适当的时间和光线条件，以便拍摄白天和黑夜的素材。
  • 不同表情：使用面部表情、姿势和背景来传达喜怒哀乐，选择不同的情感表达。
  • 时长：源视频的时长越长越好，最短也要几分钟以上。

2.目标视频

目标视频就是最终要进行换脸的视频，⽬标视频处理⽐较简单些，正常的视角就可以了，但为了换脸丝滑，源视频和目标视频尽可能选择脸型、表情、⾓度、光源接近的。

3.数据重命名

把源视频和目标视频放到项目workspace下，源视频重新命名成data_src,目标视频重新命名成data_dst,如下图结果：
在这里插入图片描述

三、模型训练

1.源视频拆分

运行 2) extract images from video data_src.bat文件，对源视频进行拆帧：

一秒保存多少帧：

Enter FPS 一秒保存多少帧，一般保存10到15帧

保存图像的格式：

Output image format
图像格式选择：
PNG：PNG格式提供无损图像质量，适合保持图像的清晰度和细节，但文件大小较大。如果您需要高质量的图像，可以选择PNG格式
JPG：JPG格式文件大小较小，适合处理不需要极高图像质量的任务。如果对图像质量要求不高，可以选择JPG格式，以便减小文件大小。
在这里插入图片描述

2.目标视频切图

对目标视频进行拆分，运行 3) extract images from video data_dst FULL FPS.bat，选择跟源视频一样。拆分完成之后在工作目录就多了两个拆分成图像的目录。

3.源视频切脸

点击运⾏ 4) data_src faceset extract.bat 会有参数需要设置，如图：
在这里插入图片描述

  1. 选择脸型：
    有三个选项可供选择：全脸(f)、整脸(wf)和头(head)。根据您的需求，一般情况下选择默认的wf即可，因为它覆盖的面积更大，包括额头和胡子。如果只需要替换脸部到眉毛上方一点点的区域，您可以选择f。

  2. 设置最多识别的人数：
    如果视频大部分时间只有一个人，选择1；如果视频中有两个人同时出现，而且都需要处理，选择2。

  3. 设置图像大小：
    一般情况下，选择256足够了。较高的分辨率会提高图像质量，但也会增加计算资源的消耗。如果原始视频质量不高，即使选择512也不会有很大帮助。

  4. 图像质量：
    默认的图像质量设置为90，通常足够了。根据需要，您可以微调这个设置。

  5. 调试图像：
    如果出现错误或不满意的结果，可以随时删除不符合要求的图像。

6.运行脚本：
完成设置后，运行脚本。根据您的硬件，3080显卡切脸速度大概为2张/秒。

5.源视频人脸整理

运行 4.2)data_src sort.bat 脚本以对源图像进行排序。需要对源图像进行排序、筛选和处理，以获得高质量的训练素材。

  1. 源头像排序：
    选择 “5-颜色直方图排序” 以帮助识别相似的图像。

  2. 筛选图像：

    • 删除模糊的图像，这些通常不适合用于训练。
    • 删除因旋转而变形的图像，因为它们通常是由于识别失败导致的。
    • 删除残缺的图像，如部分遮挡或损坏的图像。
    • 删除有遮挡或黑边裁切的图像。
    • 删除刘海太大或与人物无关的图像。
    • 删除光照差异较大的图像，因为这些图像可能对训练产生不良影响。
    • 如果某些图像是常见的遮挡物，但资源稀缺，可以保留它们用于遮罩训练。

  3. 手动修复识别不准确的图像：

    • 如果某些图像非常宝贵，并且识别不准确，您可以手动删除 “debug” 目录中相应的错误图像，并运行 “data_src faceset extract MANUAL.bat” 脚本再次提取素材。

  4. 可选的模糊程度排序：

    • 可以运行排序脚本，将图像按照模糊程度进行排序。然后，您可以删除模糊度过高的图像。不过，有些人认为适度模糊的图像也可以用于训练，这取决于您的需求。

  5. 处理多个人脸：

    • 如果 “aligned” 目录中包含多个人脸，建议使用颜色直方图排序，然后将不同的人脸归类到不同的文件夹中以备用。或者，删除不需要进行人脸替换的人脸。您还可以使用人脸筛选工具来帮助进行分类和处理。

这些步骤有助于准备高质量的训练素材，提高DeepFaceLab的换脸效果。请根据您的具体需求和素材情况进行适当的筛选和整理。

6.目标视频切脸

运⾏ 5) data_dst faceset extract.bat 对目标视频进行切脸，参数与源视频切脸差不多。
在这里插入图片描述

7.目标视频图像整理

执行 5.2) data_dst sort 脚本对目标视频头像进行整理

  1. 推荐使用颜色直方图排序：

    • 在提取素材时，建议选择 “5-颜色直方图排序” 以帮助识别相似的图像。这有助于归类不同的人脸到不同的文件夹，或删除您不想进行人脸替换的图像，特别是模糊或无法清晰辨认的图像。

  2. 处理难以识别的图像：

    • 如果源图像包含极端仰脸、侧脸或其他难以识别的情况，可以考虑删除这些图像。您还可以复制一份到 “src” 的 “aligned” 目录，用于个人训练或尝试补充极端角度的素材。

  3. 处理有遮挡的图像：

    • 对于有遮挡的图像，不要立即删除它们，因为它们可能需要用于人脸替换。这些图像可以用于训练模型以处理遮挡情况。

  4. 修复脸部轮廓识别错误的图像：

    • 如果某些图像的脸部轮廓识别错误，您可以手动进行修复。首先，在 “Debug” 目录中删除相应的图像，然后运行 “data_dst extract faces MANUAL RE-EXTRACT DELETED RESULTS DEBUG.bat” 脚本。此脚本会提示进行区域调整，以修复脸部识别错误的问题。

  5. 注意关于"aligned"目录的重要性：

    • 请记住，“aligned” 目录下的所有人脸最终都将用于替换 “src” 目录中的人脸。如果您保留了多个人脸，可能会导致生成多胞胎效果。

三、模型训练

1. 快速训练

初学者或配置有限，可以使用轻量级训练脚本 “train Quick96.bat”。这个脚本通常不需要进行复杂的参数设置。以这个脚本通常使用默认的训练参数，适合初学者或那些希望快速进行训练的人。
如果希望进行更高级的训练，需要进行更多的参数设置和调整。对于初学者，使用 “train Quick96.bat” 是一个不错的起点，可以帮助快速了解DeepFaceLab的工作流程，但在更高级的项目中可能需要更多的自定义设置和调整。

但train Quick96.bat训练出来的模型不能导出模型应用到Deepfacelive直播换脸上。

2. SAEHD和AMP

这两种训练方式需要设置的参数很多，训练过程很缓慢，但效果是最好的。

3.迁移学习

但通常的做法是，找一个效果不错的预训练模型进行训练，以减少训练的时间与更快更好的获取训练效果，但预训练模型的缺点是不能更改分辨率。

  1. 预训练模型：

    • 初始阶段，建议使用预训练模型，以减少训练时间并提高效果。

  2. batch_size：

    • batch_size 参数控制每个训练批次的图像数量。可以根据硬件性能和需求来调整它，例如从默认值4更改为16。

  3. 模型架构选择：

    • 可以选择不同的模型架构，如DF（DeepFace）五官结构、LIAE（Light Image Augmentation Enhancement）等。每个架构有其特点，可以根据需要选择适合的。

  4. 输入的宽度：

    • 可以配置不同层的宽度，例如设置中间瓶颈层为256、编码解码层为64。遮罩层的宽度通常是解码层宽度的三分之一。

  5. Eyes and mouth priority：

    • 如果有闭眼或张嘴的素材，可以启用 “Eyes and mouth priority” 以提高生成的准确性。

  6. 学习率丢弃：

    • 在训练停滞时，可以开启 “Use learning rate dropout” 以帮助模型再次学习。

  7. Enable random warp of samples：

    • 在训练的早期阶段，可以启用 “Enable random warp of samples” 以增加训练的难度，后期可以关闭。

  8. GAN设置：

    • 可以调整配置参数，如 “GAN power” 和 “GAN dimensions” 来控制生成器对抗网络的性能。

  9. 颜色处理：

    • 使用 “color transfer” 来改善光影变化不足。您还可以考虑收集更多具有不同光影下的SRC素材。

  10. 梯度裁剪：

    • 必须开启 “Enable gradient clipping” 以防止梯度爆炸问题。

  11. Loss参数：

    • 调整 “src/dst loss” 参数以控制损失的权重。预览图中的蓝色和黄色分别代表SRC和DST。

  12. Masked training：

    • “masked_training” 设置为 True 意味着只学习蒙板内的区域。

这些设置将影响训练的结果和速度，可以根据您的具体需求进行调整。
当设置完成之后，下面开始跑出时间，就代表已在训练了：
在这里插入图片描述
在训练过程中，会显示训练的结果，按P键可以看到下一迭代的效果。
在这里插入图片描述

这篇关于AI直播换脸——DeepFaceLab 3.0模型训练与微调的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/303002。

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
AI绘图怎么变现？想做点副业的小白必看！

AI绘图怎么变现？想做点副业的小白必看！

在科技飞速发展的今天，AI绘图作为一种新兴技术，不仅改变了艺术创作的方式，也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式，帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具，可以扫描下方，免费获取 定制服务：个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如，姓氏头像在电商平台上非常受欢迎，
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
从去中心化到智能化：Web3如何与AI共同塑造数字生态

从去中心化到智能化：Web3如何与AI共同塑造数字生态

在数字时代的演进中，Web3和人工智能（AI）正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术，正相互交织，共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界，并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展，它基于去中心化的区块链技术，旨在创建一个开放、透明且用户主导的数字生态。不同于传统
阅读更多...
AI一键生成 PPT

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人，是不是经常需要制作各种PPT来分享我的生活和想法。但是，你们知道，有时候灵感来了，时间却不够用了！😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手！🌟 什么是Kimi？ 一款月之暗面科技有限公司开发的AI办公工具，帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师，Kimi都能够为你的办公文
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
4B参数秒杀GPT-3.5：MiniCPM 3.0惊艳登场！

4B参数秒杀GPT-3.5：MiniCPM 3.0惊艳登场！

​ 面壁智能 在 AI 的世界里，总有那么几个时刻让人惊叹不已。面壁智能推出的 MiniCPM 3.0，这个仅有4B参数的"小钢炮"，正在以惊人的实力挑战着 GPT-3.5 这个曾经的AI巨人。 MiniCPM 3.0 MiniCPM 3.0 MiniCPM 3.0 目前的主要功能有： 长上下文功能：原生支持 32k 上下文长度，性能完美。我们引入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2