Sora不懂物理世界,翻车神图全网爆笑!LeCun马斯克DeepMind大佬激辩世界模型

本文主要是介绍Sora不懂物理世界,翻车神图全网爆笑!LeCun马斯克DeepMind大佬激辩世界模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大火的Sora,让许多动画、影视行业的人大为恐慌。

不过,今天网上广为流传的这张图,让大家倒是放心了不少。

可以看到,在这个视频中,玻璃杯碎裂的方式十分诡异——

它被抬到半空中时,桌子上就忽然出现了一滩平整的红色玻璃,随后玻璃杯被摔到桌子上,和这滩玻璃融为一体。

为什么Sora做出的视频是这样的呢?

很显然,Sora混淆了玻璃破碎和液体溢出的顺序,也并不能推理时间和因果关系。

而这也说明,Sora目前还无法理解物理世界!

再比如,Sora团队Aditya Ramesh自豪地放出的这个视频,「蚂蚁巢穴内爬行的POV镜头」,粗看似乎很惊艳,仔细一看,却令人啼笑皆非——

蚂蚁怎么只有四条腿?!

Sora这「人工智障」的表现,也让大家着实松了一口气。

虽说确实生成一些足够惊艳的视频,但Sora离「扔进一部小说,生成一部电影」,应该还差得远呢。

跑步方向完全相反

椅子未被建模为刚性物体,居然能飘浮

「一只大鸭子走过波士顿的街道」,在第9秒,鸭子把人踩没了

Sora不懂人类的物理世界?AI专家混战

LeCun和马库斯这对「宿敌」,这次却站在了统一战线上,齐喷Sora所谓的「物理引擎」。

LeCun留言表示:嗨,Aditya,蚂蚁有6条腿,不是吗?

马库斯也表示,Sora会造成可怕的后果——

「我们即将有整整一代儿童接受虚假视频的教育,这些视频对于天真的观众是完全合理的,然而在生物学上却错误百出。」

今天它弄错的可能是一只蚂蚁,明天就是月球的轨道。诈骗犯会做出许多虚假视频,普通用户会被蒙蔽,再也不知道什么是真实,什么是虚假。

对于玻璃杯错误摔碎的视频,马库斯表示这是一个绝妙的例子。

我们需要认识到,并非Sora生成的所有视频都来自其训练集。Sora也并不总是遵循物理学、生物学和文化的规律。

我最近讨论的7*7棋盘、4条腿的蚂蚁,和碎裂的杯子一样,都证明了Sora是一个鲁莽的野兽,而非迭代的、基于定律的物理引擎。

OpenAI所引以为傲的对象的一致性,在这些demo中都没有成功。因为模型在训练数据中从未见过,从未被物理引擎产生过。

其实,Sora只是泛化了像素的模式,而并非世界上物体的模式。

对此,英伟达高级研究科学家Jim Fan表示,我们可以从两个角度来解释这个问题:

(1)可能是因为这个模型根本没有掌握物理知识,它仅仅是在无序地拼凑图像像素;

(2)模型确实尝试构建了一个内部的物理引擎,但这个引擎的表现还不尽人意。就像是第一代虚幻引擎在处理流体动力学和物体变形等问题上,与V5相比有着明显的不足。同样地,V1的渲染效果也远不如V5,并且缺乏物理上的准确性。

至于为什么更倾向于是第二种解释,来自谷歌DeepMind的Nando de Freitas给出了更详细的说明。

生命,以其惊人的复杂结构为例,其实质是在日益增加的宇宙混沌中创造出秩序。类似地,在训练过程中,神经网络通过消耗能量来减少混乱,从而更有效地进行预测和泛化。我们甚至将这种能量损失称为「负熵」。

就像生命一样,网络也是更广阔环境的一部分,这个环境为它提供数据和反馈。同时,这一过程也会为宇宙带来更多的混乱(例如TPU和GPU产生的热量)。总的来说,我们已经具备了智能(生命的一种衍生属性)的所有要素,包括对物理学的理解。

一个规模有限的神经网络能够预测任何情况发生的唯一方式,是通过学习能够促进这种预测的内部模型,包括对物理定律的直观理解。

基于这种直觉,我找不到任何反对Jim Fan观点的理由。

随着我们获得更多高质量的数据、电力、反馈(也就是微调和基础化),以及能够高效吸收数据以降低熵的并行神经网络模型,我们很可能会拥有比人类更擅长推理物理的机器,并且希望它们能教会我们新知。

顺带一提,我们也构成了神经网络的环境,通过消耗能量来创造秩序(比如提升神经网络训练数据集的质量)。

关于生命和「熵」:https://newscientist.com/article/2323820-is-life-the-result-of-the-laws-of-entropy/

Sora「世界模型雏形」陷入重重争议

其实,Sora初一面世,OpenAI声称「扩展视频生成模型是构建物理世界通用模拟器的一条可行之路」的说法,就得到了诸多专家的质疑。

前谷歌、Facebook技术主管Hongcheng表示——

「模型不大可能通过被动看训练数据视频,就能掌握物理定律。」

再聪明的智能体,也不大可能通过看太阳东升西落的视频,就能悟出地球围着太阳转。人类看了几千年苹果掉到地上,也是直到牛顿的时代才发现了引力。

多位业内人士表示,说Sora是数据驱动的物理引擎的说法很愚蠢。

它的荒谬性,就好比我们收集了行星运动的数据,输入到模型中,模型预测出行星位置,就说这个模型在内部复现了广义相对论一样。

像Sora这样的Diffusion Transformer,底层是基于机器学习的随机梯度下降加上反向传播。

这就意味着:Sora并没有逻辑推理能力!

本质上,它只是在将训练的数据压缩成模型的权重罢了。只是按照某种规则更新参数,以达到最小误差的配置,并不进行逻辑推理。

梯度下降加上反向传播,往往会找到似乎有效但实际上脆弱的解决方案,因此它很容易崩溃。

就像苍蝇寻找气味源头一样,它总是朝着气味最浓的方向去寻找,就像梯度下降算法根据梯度的方向更新参数,以逐步接近损失函数的最小值。

基于这种模式,是无法学会物理规律的。

而对于Sora「没有在学习物理,只是在二维空间中处理像素」的说法,英伟达高级科学家Jim Fan表示自己不能苟同。

这种观点,就好像说「GPT-4不学习编码,只是采样字符串」一样。要是这么说的话,我们还可以说「Transformer所做的只是处理一系列整数(token ID)」,「神经网络所做的只是对浮点数进行处理」。

Sora的软物理模拟,是大规模扩展文本到视频训练时的一项「涌现特性」。

- 为了能够生成可执行的Python代码,GPT-4必须掌握特定形式的语法、语义和数据结构。不过,GPT-4并不直接保存Python语法树。

- 同样地,Sora需要掌握将文字描述转化为3D图像、进行3D转换、光线追踪渲染以及应用物理规律的技巧,从而尽可能准确地对视频像素建模。它需要像学习游戏引擎开发那样,掌握这些技能。

- 如果我们暂时不考虑交互性,那么UE5可以被看作是一个复杂的视频像素生成过程。Sora也是用于生成视频像素的,但它是基于端到端处理的Transformer技术。它们在概念上是处于同一层面的。

- 不同之处在于,UE5是通过人工精心设计且精确的,而Sora则完全依靠数据学习得到,更加依赖直观的理解。

谷歌深度学习专家、Keras创始人François Chollet表示,这个话题其实是老生常谈了。

从2016年以来,关于视频生成模型和神经辐射场是否融入了对物理规律的理解,就有不少讨论。

的确,这些系统具备根据给定物理场景预测未来发展的能力,它们实际上是基于一套物理模型工作的。

问题在于,这套模型的准确度如何?能否应用于未曾训练的新情境中?

这些问题,标着着两个世界的分水岭,这两个世界之间,有着截然不同的可能性。

在一个世界里,生成的图像仅用于媒体制作,看上去似乎真实,实际上却并非真实世界的反映。

而在另一个世界中,这些图像能作为现实世界的模拟,帮我们对未来作出可靠预测,这对科学研究意义重大。

不过,当前模型存在一些基本限制,无法捕捉到物体恒存性这样的视觉现实基本原理,这个概念即使两岁孩童也能理解。

当然,人类研究者是有办法对之改进的。

如果能通过增加模型训练数据的采样密度,在更广泛、更深入的数据上进行训练,就能提高模型性能。

到那一天,我们就能来预测天气、创建风洞模拟器、预测太阳活动了!

但如果我们想将模型应用于游戏引擎和视频上,是想构建广泛泛化的现实世界模型,就行不通了,模型不是这么用的。

Sora的技术并不新

此外,还有很多大佬表示,Sora的技术其实并不新。

LeCun转发了华人学者谢赛宁的推文,认为Sora基本上是基于谢赛宁等人在去年被ICCV 2023收录的论文提出的框架设计而成的。

而和谢赛宁一起合著这篇论文的William Peebles之后也加入了OpenAI,领导了开发Sora的技术团队。

时空patch,是Sora创新的核心。

它建立在Google DeepMind早期对NaViT和ViT(视觉Transformer)的研究之上。而这项研究,又是基于一篇2021年的论文「An Image is Worth 16x16 Words」。

这其中Sora所做的,就是把Diffusion和Transformer架构结合在一起,创建了diffusion transformer模型。

马毅教授也表示,Sora与之前不同的地方,就是用Transformer实现了diffusion和denosing。

而这其实就是马毅团队去年在NeurIPS White-box Transformer论文所预示和证明了的——

假设数据分布是mixed Gaussians,那Transformer blocks就是在实现diffusion/扩散和denoising/压缩 。

不过,当时团队苦于没有足够的数据和算力,无法在diffusion model上验证,只能在Masked VAE,DINO,BERT,以及GPT-2上做了验证。

而这次Sora的发布更加证明了,在相同条件下,白盒的Transformer CRATE构架在性能上已经能超越传统的Transformer,而且完全可解释和更加可控,因此会提升视频和文本的生成技术。

有趣的是,连马斯克也跳出来说,特斯拉早在一年前就掌握了类似OpenAI的视频生成技术,它的真实世界模拟和视频生成是是全世界最好的。

并且,特斯拉视频生成超越OpenAI的地方就在于,他预测了极其精确的物理场景,这对自动驾驶至关重要。

那么,特斯拉怎么让OpenAI抢了先呢?

马斯克表示,自己早就想用特斯拉做视频游戏了,但不幸的是,他们必须在发布无监督的FSD后才能制作游戏。

动画师:Sora距离替代人类,还早呢

无独有偶,一位动画师也表示,自己完全没有对Sora感到害怕。

他的理由是,因为动画制作需要反复修改,尤其是面对客户的需求时。

面对反复的修改要求,人类动画师是能轻松应对的,而AI则很可能选择重新出一幅作品。

哪位客户会喜欢这种方式呢?

因此,目前AI无法给客户又完整又高质量的作品。

可能很多人觉得,过于关注细节是吹毛求疵,但客户要的就是吹毛求疵。

对于他们珍爱的IP或作品,他们可不希望每次修改都伴随着角色、设计、构图、背景的大改动。

所以,目前Sora还端不了谁的饭碗,除了展现一下AI的潜能外,实际的应用价值并不大。

这篇关于Sora不懂物理世界,翻车神图全网爆笑!LeCun马斯克DeepMind大佬激辩世界模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/726556

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

揭秘世界上那些同时横跨两大洲的国家

我们在《世界人口过亿的一级行政区分布》盘点全球是那些人口过亿的一级行政区。 现在我们介绍五个横跨两州的国家,并整理七大洲和这些国家的KML矢量数据分析分享给大家,如果你需要这些数据,请在文末查看领取方式。 世界上横跨两大洲的国家 地球被分为七个大洲分别是亚洲、欧洲、北美洲、南美洲、非洲、大洋洲和南极洲。 七大洲示意图 其中,南极洲是无人居住的大陆,而其他六个大洲则孕育了众多国家和

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者