Sora-OpenAI 的 Text-to-Video 模型:制作逼真的 60s 视频片段

2024-02-24 16:36

本文主要是介绍Sora-OpenAI 的 Text-to-Video 模型:制作逼真的 60s 视频片段,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

OpenAI 推出的人工智能功能曾经只存在于科幻小说中。

2022年,Openai 发布了 ChatGPT,展示了先进的语言模型如何实现自然对话。

随后,DALL-E 问世,它利用文字提示生成令人惊叹的合成图像。

现在,他们又推出了 Text-to-Video 模型 Sora,将技术向前推进了一步。这种全新的扩散模式可直接通过文字描述创建逼真的视频。

Sora 可以实现文生视频,图生视频,图+文生视频,视频修改,视频补全等。

从Openai发布的技术报告来看,有以下几点需要关注:

  1. Sora 架构为扩散模型 + transformer。
  2. 训练时先用预训练模型把各种类型(大小不一)的视觉数据转换为统一的表示(patch),把提取的时空要素充当 transformer 的 token 进行训练。

虽然 Sora 能根据文字提示制作出无比逼真的视频。人工智能对人物情绪和表情的处理也非常出色。一个视频中的不同镜头也能保持一致。但也存在一些弱点。

  1. 复杂场景的物理处理,例如饼干吃完后没有咬痕,吹气后蜡烛不会熄灭,玻璃掉落不会碎等。
  2. 左右方向混淆。
  3. 不能总是准确地按照相机提示操作。

下面来看下技术报告(中文译文):

视频生成模型作为世界模拟器

我们探索了在视频数据上进行大规模生成模型的训练。具体来说,我们联合在可变持续时间、分辨率和宽高比的视频和图像上训练了文本条件扩散模型。我们利用了一个在视频和图像潜在编码的时空块上操作的 transformer 架构。我们最大的模型 Sora 能够生成一分钟的高保真视频。我们的结果表明,扩展视频生成模型是朝着构建物理世界通用模拟器的有希望的路径。

本技术报告关注以下两个方面:(1) 我们将各
种类型的视觉数据转换为统一表示的方法,以实现大规模生成模型的训练,以及 (2) 对 Sora 的能力和局限性进行定性评估。模型和实现细节未包含在本报告中。 之前的研究已经探讨了使用各种方法对视频数据进行生成建模,包括循环网络、生成对抗网络、自回归变压器和扩散模型。这些工作通常侧重于某一类视觉数据、较短的视频或固定大小的视频。Sora 是一种视觉数据的通用模型——它能够生成持续时间、宽高比和分辨率多样化的视频和图像,最长可达一分钟的高清视频。

将视觉数据转换成 patch

我们受到大型语言模型的启发,这些模型通过在互联网规模的数据上进行训练而获得了通用能力。LLM 范式的成功部分得益于优雅地统一了文本的多种模态——代码、数学和各种自然语言的标记。在这项工作中,我们考虑了生成视觉数据模型如何继承这些好处。而 LLMs具有文本标记,Sora 具有视觉 patch。patch 已被证明是视觉数据模型的有效表示。我们发现,patch 是一种高度可扩展且有效的表示方法,适用于训练不同类型的视频和图像的生成模型。

在高层次上,我们首先将视频压缩成低维潜在空间,然后将表示分解成时空补丁,从而将视频转换为补丁。

视频压缩网络

我们训练了一个降低视觉数据维度的网络。这个网络以原始视频为输入,输出一个在时间和空间上都被压缩的潜在表示。Sora 在这个压缩的潜在空间内进行训练,随后也在其中生成视频。我们还训练了一个相应的解码器模型,将生成的潜变量映射回像素空间。

时空潜在补丁

给定一个压缩的输入视频,我们提取一系列时空补丁,这些补丁充当 transformer 的token。这个方案也适用于图像,因为图像只是单帧的视频。我们基于补丁的表示使得 Sora 能够在不同分辨率、持续时间和宽高比的视频和图像上进行训练。在推理时,我们可以通过在大小适当的网格中排列随机初始化的补丁来控制生成视频的大小。

将 transformer 扩展到视频生成

Sora 是一个扩散模型;给定输入的初始噪声(以及文本提示等条件信息),它被训练为预测原始的“干净”补丁。重要的是,Sora 是一个扩散 transformer。transformer 在多个领域展示了显著的扩展性能,包括语言建模、计算机视觉以及图像生成。

在这项工作中,我们发现扩散变压器在视频模型中也能有效地扩展。在下面,下面,我们展示了在训练过程中,使用固定种子和输入的视频样本的比较。随着训练计算量的增加,样本质量显著提高。

可变持续时间、分辨率、宽高比

过去的图像和视频生成方法通常将视频调整为标准大小,例如,4秒钟的视频,分辨率为256x256。我们发现,与其这样处理,训练原始大小的数据提供了几个好处。

采样灵活性

Sora 可以采样宽屏 1920x1080p 视频、竖屏 1080x1920 视频以及介于两者之间的所有内容。这使得 Sora 可以直接以原生宽高比为不同设备创建内容。它还使我们能够在生成全分辨率之前,快速原型化低分辨率的内容——而且只需使用同一个模型。

改进的构图和组合

我们通过实验发现,在其原始宽高比的视频上进行训练可以提高构图和画面设计的质量。我们将 Sora 与我们的模型的一个版本进行了比较,这个版本模型将所有训练视频裁剪为正方形,这在训练生成模型时是常见做法。在正方形裁剪上训练的模型(左侧)有时会生成主体仅部分可见的视频。相比之下,来自 Sora 的视频(右侧)有了改进的画面设计。

语言理解

训练文本到视频的生成系统需要大量带有相应文本标题的视频。我们将在 DALL·E 3 中引入的重新标题技术应用到视频上。我们首先训练一个高度描述性的标题生成模型,然后使用它为我们训练集中的所有视频产生文本标题。我们发现,在高度描述性的视频标题上进行训练可以提高文本的准确性以及视频的整体质量。与 DALL·E 3 类似,我们还利用 GPT 将简短的用户提示转化为更长的详细标题,然后发送给视频模型。这使得 Sora 能够生成高质量的视频,这些视频能够准确地遵循用户的提示。

使用图像和视频作为 Prompt

我们在上述所有结果和我们的登陆页面上展示的都是文本到视频的样本。但是 Sora 也可以使用其他输入来提示,例如预先存在的图像或视频。这种能力使得 Sora 能够执行各种图像和视频编辑任务——创建完美循环的视频,给静态图像添加动画,将视频向前或向后延伸等等。

把 DALL·E 图像变成动画

Sora 能够生成基于 DALL·E 2 和 DALL·E 3 图像的视频,只需提供图像和提示作为输入。下面我们展示了基于这些图像生成的示例视频。

延长生成的视频

Sora 还能够延长视频,无论是向前还是向后延长。下面是四个视频,它们都是从一个生成的视频片段开始向时间的后方延长。因此,这四个视频的开头各不相同,但最终都会导向相同的结尾。

我们也可以用这个方法扩展一个视频的头和尾让它首尾相连成一个无限循环的视频。

视频到视频编辑

扩散模型已经为从文本提示编辑图像和视频提供了大量方法。下面我们将其中一种方法 SDEdit,应用到 Sora 上。这种技术使得 Sora 能够在零样本情况下转换输入视频的风格和环境。

连接视频

我们还可以使用 Sora 逐渐插值两个输入视频之间,从而在完全不同的主题和场景构图的视频之间创建无缝的过渡。在下面的示例中,中间的视频在左侧和右侧对应视频之间进行插值。

图像生成能力

Sora 也能够生成图像。我们通过将高斯噪声的补丁以一个帧的时间范围排列成空间网格来实现这一点。该模型可以生成不同尺寸的图像,分辨 率高达 2048x2048。

涌现出模拟的能力

我们发现,在大规模训练时,视频模型表现出许多有趣的新兴能力。这些能力使得 Sora 能够模拟来自物理世界的一些人、动物和环境的方面。这些属性是在没有任何明确的归纳偏见的情况下出现的,比如对 3D、物体等——它们纯粹是规模现象。

3D 一致性。Sora 可以生成具有动态摄像机运动的视频。随着摄像机的移动和旋转,人物和场景元素在三维空间中保持一致的移动。

长程连贯性和物体持久性

对于视频生成系统来说,一个重要挑战是在采样长视频时保持时间一致性。我们发现,Sora 通常能够有效地模拟短期和长期依赖关系,尽管并非总是如此。例如,我们的模型可以在人、动物和物体被遮挡或离开画面时仍然保持其持久性。同样地,它可以在一个样本中生成同一个角色的多个镜头,并在整个视频中保持其外观。

与世界进行交互。有时 Sora 可以模拟一些简单方式影响世界状态的动作。例如,一个画家可以在画布上留下持续一段时间的新笔触,或者一个人可以吃掉一个汉堡并留下咬痕。

模拟数字世界

Sora 还能模拟人工过程—一个例子是视频游戏。Sora 可以同时使用基本策略控制 Minecraft中的玩家,同时以高保真度渲染世界及其动态。这些能力可以通过提示 Sora 提到“Minecraft”的标题来零样本激发。

这些能力表明,持续扩展视频模型是发展高能力的物理世界和数字世界模拟器,以及模拟其中的物体、动物和人的有前景的途径。

讨论

目前,Sora 作为模拟器表现出了许多限制。例如,它并不能准确地模拟许多基本交互的物理特性,比如玻璃破碎。其他交互,比如吃食物,并不总是产生正确的物体状态变化。我们在我们的登陆页面上列举了模型的其他常见失败模式——例如,在长时间样本中发展的不一致性或对象的突然出现。

我们相信,Sora 目前的能力证明了持续扩展视频模型是发展能力强大的物理世界和数字世界模拟器,以及模拟其中的物体、动物和人的有前景的途径。

这篇关于Sora-OpenAI 的 Text-to-Video 模型:制作逼真的 60s 视频片段的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/742711

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言