从 Sora 制作的短片看AI生成视频的优势与局限性解析

2024-04-29 06:04

本文主要是介绍从 Sora 制作的短片看AI生成视频的优势与局限性解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

在人工智能社区中,OpenAI 的视频生成工具 Sora 以其流畅、逼真的视频效果让人眼前一亮,仿佛领先于竞争对手好几条街。然而,在 Sora 精心策划的首次亮相中,许多细节并未透露,而这些细节则是由一位获得早期使用权限的电影制作人在创建短片“air head”过程中所填补的。

多伦多的数字制作团队 Shy Kids 被 OpenAI 选中,成为为 OpenAI 宣传目的制作短片的几个团队之一。尽管他们在创作过程中拥有相当大的自由度,但在与视觉效果新闻网站 fxguide 的一次采访中,后期制作艺术家 Patrick Cederberg 描述了他“实际使用 Sora” 的经历。

也许对大多数人来说,最重要的一点是:虽然 OpenAI 的帖子让人们以为这些短片几乎是 Sora 完全生成的,但实际上这些都是专业制作的,包括详尽的分镜头脚本、编辑、色彩校正和后期工作,如转描和视觉特效。就像苹果公司说的“用 iPhone 拍摄”,但并未展示摄影棚设置、专业照明和事后的色彩处理一样,Sora 的帖子只是讨论了它能让人们做什么,而不是他们实际如何做到的。

Cederberg 在采访中提供了一些关于使用 Sora 的有趣细节,显示出尽管 Sora 令人印象深刻,但它可能并不像我们想象的那样是一个巨大的飞跃。

控制仍然是目前最令人向往同时也最难以捉摸的东西。他们能做的最接近的事情是在提示中非常详细地描述。例如,解释角色的衣服以及气球的类型,是他们解决连贯性问题的方法,因为从一镜到下一镜、从一次生成到下一次生成,还没有一套完整的控制连贯性的功能。

换句话说,在传统电影制作中很简单的事情,如选择一个角色的衣服颜色,在生成系统中需要复杂的变通方法和检查,因为每个镜头都是独立创建的。这显然可以改变,但目前显然要费力得多。

使用 Sora 生成的输出也必须小心不想要的元素:Cederberg 描述了如何模型会常规生成主角气球头上的脸,或者前面挂着的绳子。如果他们无法通过提示排除这些元素,这些就必须在后期删除,这是另一个耗时的过程。

角色或摄像机的精确时机和动作实际上是不可能的:“在实际生成中,这些不同动作发生的时间有一点时间控制,但不是精确的……这更像是摸黑。” Cederberg 说。

例如,像挥手这样的手势的定时是一个非常大致的、建议驱动的过程,不像手动动画那样。并且向上扫过角色身体的镜头可能不会反映出电影制作者想要的效果——因此,在这种情况下,团队渲染了一个竖向构图的镜头,并在后期进行了剪辑移动。生成的剪辑也常常无缘无故地慢动作。

实际上,使用电影制作的日常语言,如“向右平移”或“跟踪镜头”总是不一致的,这让团队感到相当惊讶。Cederberg 说:“在接触艺术家使用这个工具之前,研究人员并没有真正像电影制作者那样思考。”结果,团队进行了数百次生成,每次10到20秒,最终只使用了少数几次。Cederberg 估计比例是300:1——但当然,我们可能都会对普通拍摄的比例感到惊讶。

团队实际上还制作了一个介绍他们遇到的一些问题的幕后视频,如果你感兴趣的话。像许多与 AI 相关的内容一样,评论中对整个企创业格调相当批评——尽管没有我们最近看到的那个 AI 辅助广告那样尖刻。

最后一个有趣的细节涉及版权:如果你要求 Sora 给你一个“星球大战”剪辑,它会拒绝。如果你试图用“穿着长袍的人在复古未来主义飞船上挥舞激光剑”的方式绕过它,它也会拒绑,因为通过某种机制,它识别出你的企图。它也拒绝进行“Aronofsky 风格的镜头”或“希区柯克变焦”。

一方面,这很有道理。但这也引发了一个问题:如果 Sora 知道这些是什么,是否意味着模型在训练时使用了那些内容,以更好地识别这是侵权行为?OpenAI 保留其训练数据的细节,到了几乎荒谬的程度——正如 CTO Mira Murati 在与 Joanna Stern 的采访中所表现的那样——他们几乎肯定永远不会告诉我们。

至于 Sora 及其在电影制作中的用途,它显然是一个强大而有用的工具,但其位置并不是“完全创造电影”。至少现在不是。就像另一个恶棍曾经名言:“那会在以后。”

这篇关于从 Sora 制作的短片看AI生成视频的优势与局限性解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/945276

相关文章

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

java解析jwt中的payload的用法

《java解析jwt中的payload的用法》:本文主要介绍java解析jwt中的payload的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java解析jwt中的payload1. 使用 jjwt 库步骤 1:添加依赖步骤 2:解析 JWT2. 使用 N

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

Java字符串处理全解析(String、StringBuilder与StringBuffer)

《Java字符串处理全解析(String、StringBuilder与StringBuffer)》:本文主要介绍Java字符串处理全解析(String、StringBuilder与StringBu... 目录Java字符串处理全解析:String、StringBuilder与StringBuffer一、St