【Datawhale组队学习：Sora原理与技术实战】训练一个 sora 模型的准备工作，video caption 和算力评估

2024-03-15 18:44
文章标签 实战 技术 学习 工作 训练 模型 原理 评估 准备 组队 video 算力 caption datawhale sora

本文主要是介绍【Datawhale组队学习：Sora原理与技术实战】训练一个 sora 模型的准备工作，video caption 和算力评估，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

训练 Sora 模型

在 Sora 的技术报告中，Sora 使用视频压缩网络将各种大小的视频压缩为潜在空间中的时空 patches sequence，然后使用 Diffusion Transformer 进行去噪，最后解码生成视频。

Open-Sora 在下图中总结了 Sora 可能使用的训练流程。

训练链路：

数据准备

开源数据集：

VideoInstruct-100K：

VideoInstruct100K 是使用人工辅助和半自动注释技术生成的高质量视频对话数据集。数据集中的问题答案与以下内容相关：

  • 视频摘要
  • 基于描述的问题答案（探索空间、时间、关系和推理概念）
  • 创意/生成性问题解答

链接：https://modelscope.cn/datasets/AI-ModelScope/VideoInstruct-100K

panda-70m：

Panda-70M 是一个包含 70M 高质量视频字幕对的大规模数据集。该存储库分为三个部分：

  • 数据集数据加载包括列出 Panda-70M 数据的 csv 文件以及下载数据集的代码。
  • 分割包括将长视频分割成多个语义一致的短片的代码。
  • 字幕包括在 Panda-70M 上训练的拟议视频字幕模型。

链接：https://modelscope.cn/datasets/AI-ModelScope/panda-70m

Youku-mPLUG:

Youku-mPLUG 预训练数据集挖掘自优酷站内海量的优质短视频内容

  • 包含千万级别约 36TB 的视频、文本数据。
  • 其中视频均为覆盖 10 ～ 120 秒的 UGC 短视频内容，文本为视频对应的描述标题，长度 5 ～ 30 不等。
  • 该数据集抽取时品类均衡，内容共包含 45 个大类。

链接：https://modelscope.cn/datasets/modelscope/Youku-AliceMind

MSR-VTT：

MSR-VTT（Microsoft Research Video to Text）是一个开放域视频字幕的大规模数据集。

  • 由 20 个类别的 10,000 个视频片段组成，每个视频片段由 Amazon Mechanical Turks 标注了 20 个英文句子。
  • 所有标题中约有 29,000 个独特单词。
  • 标准分割使用 6,513 个 split 用于训练，497 个 split 用于验证，2,990 个 split 用于测试。

链接：https://modelscope.cn/datasets/AI-ModelScope/msr-vtt

Shot2Story：

视频文本基准和用于多镜头视频理解的可扩展代码。包含 20k 视频的详细长摘要和 80k 视频镜头的镜头字幕。

链接：https://modelscope.cn/datasets/AI-ModelScope/Shot2Story

InternVid：

InternVid 是一个以视频为中心的大规模多模态数据集，可以学习强大且可转移的视频文本表示，以实现多模态理解和生成。 InternVid 数据集包含超过 700 万个视频，持续近 76 万小时，产生 2.34 亿个视频剪辑，并附有总共 4.1B 个单词的详细描述。

链接：https://modelscope.cn/datasets/AI-ModelScope/InternVid

webvid-10M：

大型文本视频数据集，包含从素材网站抓取的1000 万个视频文本对。

链接：https://modelscope.cn/datasets/AI-ModelScope/webvid-10M

数据预处理

目前主流 LLM 框架缺乏针对 video 数据 统一便捷的管理和处理能力，且多模态数据处理标准方案缺失

  • Huggingface-Datasets 官方认为 video 比 image 更棘手，暂未支持
  • 相关 video 库对该场景过于庞杂或简单
  • FFmpeg：150w 行+源码，大量底层细节
  • pytorchvideo：主要支持加载和少量单 video 模态的tensor transform（翻转、扰动、采样等）
  • SORA 官方仅模糊提及使用了 DALLE3 来生成 caption，细粒度的"caption --> spacetime patch"建模比较关键
  • 从 SORA 模型效果看，数据需要有变化的时长、分辨率和宽高比

Data-Juicer扩展了对多模态数据的支持，已实现上百个专用的视频、图像、音频、文本等多模态数据处理算子及工具，帮助用户分析、清洗及生成大规模高质量数据。

  • 支持视频数据的高性能 IO 和处理
  • 支持并行化数据加载：lazy load with pyAV and ffmpeg；多模态数据路径签名
  • 并行化算子处理：支持单机多核；GPU 调用；Ray 多机分布式
  • [WIP] 分布式调度优化；分布式存储优化
  • 基础算子（细粒度模态间匹配及生成）
  • 基础算子（视频时空维度）

  • 基础算子（细粒度模态间匹配及生成）

  • 进阶算子（视频内容）

  • DJ-SORA 数据菜谱及数据集

  • DJ-SORA 数据验证及模型训练

开源链接：https://github.com/alibaba/data-juicer/docs/DJ_SORA_ZH.md

模型选型和训练

视频 VQVAE

VideoGPT 使用 VQ-VAE，通过采用 3D 卷积和轴向自注意力来学习原始视频的下采样离散潜在表示。然后使用一个简单的类似 GPT 的架构，使用时空位置编码对离散潜在变量进行自回归建模。用于 BAIR Robot 数据集上的视频生成，并从 UCF-101 和 Tumbler GIF 生成高保真自然图像数据集（TGIF）。

https://github.com/wilson1yan/VideoGPT/

Diffusion Transformer

普遍认为 Diffusion Transformer 模型是 Sora 的技术基础，通过结合 diffusion model 和 transformer，从而达到可以 scale up model 来提升图像生成质量的效果。我们总结了三个目前开源的 Diffusion Transformer 研究如下，并总结了最佳实践，可以在魔搭社区的免费算力上运行和测试。

UViT：All are Worth Words: A ViT Backbone for Diffusion Models

论文链接：https://arxiv.org/abs/2209.12152

代码库链接：https://github.com/baofff/U-ViT

模型链接：https://modelscope.cn/models/thu-ml/imagenet256_uvit_huge

DiT：Scalable Diffusion Models with Transformers

论文链接：https://arxiv.org/abs/2212.09748

代码库链接：https://github.com/facebookresearch/DiT

模型链接：https://modelscope.cn/models/AI-ModelScope/DiT-XL-2-256x256/summary

SiT：Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers (SiT)

论文链接：https://arxiv.org/pdf/2401.08740.pdf

代码库链接：https://github.com/willisma/SiT

模型链接：https://modelscope.cn/models/AI-ModelScope/SiT-XL-2-256

总结

U-ViT是一种简单且通用的基于 ViT 的扩散概率模型的主干网络，U-ViT 把所有输入，包括图片、时间、条件都当作 token 输入，并且引入了long skip connection。U-ViT 在无条件生成、类别条件生成以及文到图生成上均取得了可比或者优于 CNN 的结果。为未来扩散模型中骨干网络研究提供见解，并有利于大规模跨模态数据集的生成建模。

DiT同样的提出了使用 ViT 代替 U-Net 的思想，不同的是 DiT 中没有引入 long skip connection 也依然取得了杰出的效果。推测原因可能有：

  • DiT 出色的Adaptive layer norm以及零初始化的设计能够有效提升生成质量；
  • DiT 在建模特征空间表现良好，但在建模像素空间表现欠缺，可能在用扩散概率模型建模像素空间分布时 long skip connection 是至关重要的；
  • 即使在建模特征空间上，DiT 没有 long skip connection 也能取得很好的效果，但 long skip connection 在加速收敛方面也起着关键的作用。

而近期推出的可扩展插值变压器 (SiT)，是建立在 DiT 基础上的生成模型系列。 **插值框架，**相比标准的 diffusion 模型允许以更灵活的方式连接两个 distributions，使得对影响生成的各种设计选择的模块化研究成为可能。SiT 在 ImageNet 256x256 基准上模型大小和效果超过了 DiT 和 UViT，SiT 实现了 2.06 的 FID-50K 分数。

Video-caption

OpenAI 训练了一个具备高度描述性的视频标题生成（Video Captioning）模型，使用这个模型为所有的视频训练数据生成了高质量文本标题，再将视频和高质量标题作为视频文本对进行训练。通过这样的高质量的训练数据，保障了文本（prompt）和视频数据之间高度的 align。通过近期的讨论和资料，我们推测 Video Captioning 模型是由多模态大语言模型 VLM（如**GPT4V 模型）**微调出来的。开发者也可以通过视频抽帧+开源 VLM 生成描述+LLM 总结描述的方式，生成较好的视频描述。下面是一些开源的多模态模型：

零一万物 VL 模型（Yi-VL-34B）

代码库链接：https://github.com/01-ai/Yi/tree/main/VL

模型链接：https://modelscope.cn/models/01ai/Yi-VL-34B/

通义千问 VL 模型（Qwen-VL-Chat）

论文链接：https://arxiv.org/abs/2308.12966

代码库链接：https://github.com/QwenLM/Qwen-VL

模型链接：https://modelscope.cn/models/qwen/Qwen-VL-Chat

浦语·灵笔 2-视觉问答-7B（internlm-xcomposer2-vl-7b）

代码库链接：https://github.com/InternLM/InternLM-XComposer

模型链接：https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b/summary

CogVLM 模型：

技术报告：https://zhipu-ai.feishu.cn/wiki/LXQIwqo1OiIVTykMh9Lc3w1Fn7g

代码库链接：https://github.com/THUDM/CogVLM

模型链接：https://modelscope.cn/models/ZhipuAI/CogVLM/summary

MiniCPM-V 模型：

论文链接：https://arxiv.org/abs/2308.12038

代码库链接：https://github.com/OpenBMB/OmniLMM/

模型链接：https://modelscope.cn/models/OpenBMB/MiniCPM-V/summary

Video-LLaVA 模型：

论文链接：https://arxiv.org/abs/2311.10122

代码库链接：https://github.com/PKU-YuanGroup/Video-LLaVA

模型链接：https://modelscope.cn/models/PKU-YuanLab/Video-LLaVA-7B/summary

总结对比

从模型参数量来看，零一万物，CogVLM 的模型是百亿参数，但是仅支持英文，通义，灵笔等模型可以较好的支持中文，Video-LLaVA 可以支持直接对视频的理解，可以根据需求来选择具体的多模态大语言模型。

参考资料

sora-tutorial/docs/chapter3/chapter3_1/chapter3_1.md at main · datawhalechina/sora-tutorial (github.com)

学习视频：【AI+X组队学习】Sora原理与技术实战：训练一个sora模型的准备工作,video caption和算力评估_哔哩哔哩_bilibili

Open-Sora：https://hpc-ai.com/blog/open-so

这篇关于【Datawhale组队学习：Sora原理与技术实战】训练一个 sora 模型的准备工作，video caption 和算力评估的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/812909。

相关文章

找完工作该补充的东西

找完工作该补充的东西

首先： 锻炼身体，包括乒乓球，羽毛球，都必须练习，学习，锻炼身体等是一个很重要的与人交际沟通的方式； 打牌，娱乐：会玩是一个人很重要的交际沟通的法宝； 摄影：这个是一个兴趣爱好，也是提高自己的审美，生活品质，当然也是与人沟通的重要途径； 做饭：这个的话就是对自己，对朋友非常有益的一件事情；
阅读更多...
51单片机学习记录———定时器

51单片机学习记录———定时器

文章目录 前言一、定时器介绍二、STC89C52定时器资源三、定时器框图四、定时器模式五、定时器相关寄存器六、定时器练习 前言 一个学习嵌入式的小白~ 有问题评论区或私信指出~ 提示：以下是本篇文章正文内容，下面案例可供参考 一、定时器介绍 定时器介绍：51单片机的定时器属于单片机的内部资源，其电路的连接和运转均在单片机内部完成。 定时器作用： 1.用于计数系统，可
阅读更多...
问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 A.1913 ~1918 年 B.1913 ~1918 年 C.1914 ~1918 年 D.1914 ~1919 年 参考答案如图所示
阅读更多...
[word] word设置上标快捷键 #学习方法#其他#媒体

[word] word设置上标快捷键 #学习方法#其他#媒体

word设置上标快捷键 办公中，少不了使用word，这个是大家必备的软件，今天给大家分享word设置上标快捷键，希望在办公中能帮到您！ 1、添加上标 在录入一些公式，或者是化学产品时，需要添加上标内容，按下快捷键Ctrl+shift++就能将需要的内容设置为上标符号。 word设置上标快捷键的方法就是以上内容了，需要的小伙伴都可以试一试呢！
阅读更多...
乐鑫 Matter 技术体验日｜快速落地 Matter 产品，引领智能家居生态新发展

乐鑫 Matter 技术体验日｜快速落地 Matter 产品，引领智能家居生态新发展

随着 Matter 协议的推广和普及，智能家居行业正迎来新的发展机遇，众多厂商纷纷投身于 Matter 产品的研发与验证。然而，开发者普遍面临技术门槛高、认证流程繁琐、生产管理复杂等诸多挑战。  乐鑫信息科技 (688018.SH) 凭借深厚的研发实力与行业洞察力，推出了全面的 Matter 解决方案，包含基于乐鑫 SoC 的 Matter 硬件平台、基于开源 ESP-Matter SDK 的一
阅读更多...
AssetBundle学习笔记

AssetBundle学习笔记

AssetBundle是unity自定义的资源格式，通过调用引擎的资源打包接口对资源进行打包成.assetbundle格式的资源包。本文介绍了AssetBundle的生成，使用，加载，卸载以及Unity资源更新的一个基本步骤。 目录 1.定义： 2.AssetBundle的生成： 1）设置AssetBundle包的属性——通过编辑器界面 补充：分组策略 2）调用引擎接口API
阅读更多...
Javascript高级程序设计(第四版)--学习记录之变量、内存

Javascript高级程序设计(第四版)--学习记录之变量、内存

原始值与引用值 原始值：简单的数据即基础数据类型，按值访问。 引用值：由多个值构成的对象即复杂数据类型，按引用访问。 动态属性 对于引用值而言，可以随时添加、修改和删除其属性和方法。 let person = new Object();person.name = 'Jason';person.age = 42;console.log(person.name,person.age);//'J
阅读更多...
一份LLM资源清单围观技术大佬的日常；手把手教你在美国搭建「百万卡」AI数据中心；为啥大模型做不好简单的数学计算？ | ShowMeAI日报

一份LLM资源清单围观技术大佬的日常；手把手教你在美国搭建「百万卡」AI数据中心；为啥大模型做不好简单的数学计算？ | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦！ 1. 为啥大模型做不好简单的数学计算？从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o)，组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试，然后由经验丰富的判卷老师评判得分。 结果如上图所
阅读更多...
大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

今天分享拥有拍照搜题、文字搜题、语音搜题、多重搜题等搜题模式，可以快速查找问题解析，加深对题目答案的理解。 1.快练题 这是一个网站 找题的网站海量题库,在线搜题,快速刷题~为您提供百万优质题库,直接搜索题库名称,支持多种刷题模式:顺序练习、语音听题、本地搜题、顺序阅读、模拟考试、组卷考试、赶快下载吧! 2.彩虹搜题 这是个老公众号了 支持手写输入，截图搜题，详细步骤，解题必备
阅读更多...
持久层 技术选型如何决策？JPA，Hibernate，ibatis(mybatis)

持久层 技术选型如何决策？JPA，Hibernate，ibatis(mybatis)

转自：http://t.51jdy.cn/thread-259-1-1.html 持久层 是一个项目 后台 最重要的部分。他直接 决定了 数据读写的性能，业务编写的复杂度，数据结构(对象结构)等问题。 因此 架构师在考虑 使用那个持久层框架的时候 要考虑清楚。 选择的 标准： 1，项目的场景。 2，团队的技能掌握情况。 3，开发周期(开发效率)。 传统的 业务系统，通常业
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2