从数字孪生到克隆地球 | 虚幻引擎专访51WORLD

2024-04-10 21:36

本文主要是介绍从数字孪生到克隆地球 | 虚幻引擎专访51WORLD,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

以下文章来源于虚幻引擎 ,作者Dawei

推荐语:

3月1日,我们最新的数字地球平台51Earth正式上线,同期,51Earth预热大片也在B站亮相,短短1周播放量达50万,1个月近100万,引发了行业内外的广泛关注,其中,也引起了虚幻引擎的特别关注。

虚幻引擎特别专访多位51Earth研发专家,详细报道了平台的诞生始末并逐一拆解其中技术原理、研发挑战与未来规划,以下为专访原文,精彩不容错过!

近期,一段名为《51earth.com 正式上线》的视频在B站上引起了不小的轰动,短短几周内就累积了近100万的播放量,成为热门搜索的焦点。

比较有趣的是,此视频内容并未涉及任何新闻热点,既没有扣人心弦的剧情,也没有鲜活生动的人物。然而,就是这样一段简单纯粹的关于“地球”的高精度风光片和技术演示,竟引来无数网友粉丝的围观追捧。

51earth.com 正式上线

该视频的发布者是51WORLD,熟悉数字孪生行业的朋友对于51WORLD这家公司应该并不陌生,甚至可以说多年来他们的成长几乎与UE在数字孪生行业的发展保持同步,从10年前最早的VR看房,到后来的建筑数字孪生,智慧工厂等,51WORLD多年来一直在寻求自身的技术创新和发展。

回顾过往,笔者依然对几年前的那个“克隆上海”的UE4项目印象深刻,记得当时他们提出了“地球克隆计划”的口号,有些人或许觉得有点浮夸,甚至不太理解其中的意义。然而,随着51Earth的发布,让更多的人看到了51WORLD在用实实在在的技术一步步地兑现当初的承诺,也对51WORLD和虚幻引擎有了新的认识。

最近刚好因为工作需要,笔者来到了51WORLD上海公司的总部,带大家从数字孪生到克隆地球,一起认识一下51WORLD。

1. 51WORLD的涵义是什么?为什么会以此来命名公司?

地球表面的总面积是5.1亿平方公里。我们致力于克隆地球,通过创造一个真实,完整且恒久的数字孪生地球,让真实世界变得更高效,安全和美好。我们以此为目标,所以叫51WORLD。

2. 能否概括介绍下虚幻引擎在51WORLD个业务板块中的总体应用情况?

目前51WORLD旗下共有四大业务品牌:

  • 51Earth:专注于地球克隆技术开发与城市级通用资产制作。

  • 51Aes:数字孪生领域。(包括城市、园区、地产、工业、能源、水务等)

  • 51Sim:交通与智能驾驶仿真领域。

  • 51Meet:元宇宙与沉浸式体验领域。

虚幻引擎作为核心实时渲染能力,通过云渲染方式与前端技术进行结合来服务以上四大业务板块。

3. 51WORLD的数字孪生和模拟仿真业务涉及领域广泛,虚幻引擎被应用到业务中最早可以追溯到什么时候?起初为什么引用引擎作项目?

在2015年的时候,公司成立了制作VR楼宇展示的团队,当时就开始使用虚幻引擎4制作项目。

我们主要看中的是UE4实时渲染效果和工具的便利性所带来的制作效率,后来随着公司业务发展,虚幻引擎的应用也产生了较好的延续性,我们不断在引擎的基础上开发自己的套件并持续累积,从UE4.15到4.26 ,再到现在的UE5。项目涵盖了从VR应用、VR游戏、数字孪生应用、交通与智能驾驶、元宇宙应用、再到数字地球。

4. 数字孪生到克隆地球的跨度非常巨大,从UE4时期到后来的UE5,有哪些技术在51Earth的项目中起到较大作用?

  • 从UE4到 UE5,从float升级到double,计算范围有了很大提升,可以支持行星级。

  • UE5的Nanite技术,可以大大降低显存消耗,支持更高精度、更大规模的模型渲染;51Earth亮点之一的实时生成技术依托于模块化生成,模块本身也是基于Nanite,使得实时生成可以表现更加复杂、精确的模型。

  • UE5的VSM相对于传统的CSM,可以表现距离更长,精度更高的投影,对于51Earth的渲染品质有很大的帮助。

图片

5. 如果把51WORLD的成长分为几个阶段,51Earth现在处于哪个阶段?

51WORLD的愿景是创造一个真实、完整且恒久的数字孪生世界,大致上可以分五个阶段来实现:

  • W1静态世界(2015-2017)

  • W2动态世界(2017-2020)

  • W3半模拟世界(2020-2023)

  • W4全模拟世界(2023-2026)

  • W5数字孪生世界(2026-2030)

51Earth目前处于W4阶段。

6. 51Earth到底是一款怎样的产品?

我们近期发布了51Earth的demo,大家可以从地球到建筑流畅地浏览整个地球。

51Earth底层依托于多年自动生成与数字孪生的经验还原了地形、建筑、道路、水域、植被等要素。客户端下载为5GB左右,2060级别以上显卡PC可以流畅运行,用户可以通过搜索城市,地区或地标建筑等随意跳转至任意地区进行实时3D游览。

通过这个demo我们验证了克隆地球的基本技术路线,未来希望在城市级高质量数字资产与基于语义的实时生成技术等领域合作。

产品特性

  • 基于语义数据生成的,通过矢量与标签等语义描述可以持续积累,更新。相对于模型化数据更有优势,也不受模型工艺的迭代限制。

  • 它是实时生成的,只要数据源变化时候结果会立马跟着变化,不需要离线生成过程,在容量大小与及时性上有很大优势。

  • 实时编辑能力,不仅是在编辑器里可以被编辑,运行态依然可以编辑,也可以通过其他数据编辑工具修改原数据达到场景变化能力。

  • 所有数据都是有金字塔结构,保证在任意视角下都流畅。

  • 基于网络流式加载数据,客户端较小。

7. 大概是什么时候有了要开发51Earth的想法和计划?

2019年末第三届地球克隆计划大会上,我们首次公开展示了地球到上海全域的实时demo,当时可以用12小时生成一座数千平方公里的具有较高精度的城市,后续一直在优化生成效果、运行效率、易用性、扩展性等内容,帮助我们在数字孪生领域完成了从园区级到城市级的跨越。

[聚焦]克隆上海 | BIM

随着硬件的进步,虚幻的发展,生成技术的积累,渐渐觉得克隆整个地球可以被完成。

在2023年10月正式开始了51Earth这个计划,摒弃了原来笨重的离线生成技术转向了实时生成,经过了5个月的努力证实了通过实时生成是有机会完成克隆地球的。

8. 听到Clone地球这个idea第一感觉是不可思议,地球之大难以想象,解决方案是什么?

地球表面有5.1亿平方公里。

我们至少要面临两个艰巨的任务和挑战:生成时间太长、数据体量太大。

生成时间长的问题

我们在第3-6届地球克隆计划大会现场展示的重磅DEMO都是采用离线生成技术,实现了地球级到一个城市群的呈现。经估算,使用离线生成技术,完成一次全地球生成,需几百年。但实时生成技术,就能实现及时生成,即鼠标拖到哪里就生成到哪里。

离线生成一个tile就需几分钟时间,而实时生成技术的要求为毫秒级,对速度的要求很苛刻,好在之前有各种技术探索的积累,我们成功攻克了生成速度与效果之间的平衡。

数据体量太大

基于语义的实时生成只需要存储原始语义数据,而不需要存储模型数据,存储量少了好几个量级。即使这样数据量还是没法在本地客户端完整运行。

我们观察到其实每个用户访问的数据是地球的很小的一部分。而在线流式加载数据在地理信息行业来说相当普及,所以我们决定使用通过在线数据访问的形式,尽可能减小客户端大小。

再结合我们一直以来积累的,大世界调度等技术积累,完成了这个地球克隆的demo。

9. 大地形是如何生成的,过程中有遇到哪些挑战?

  • 超大地形渲染问题

大地形渲染方面使用了比较普遍的四叉树金字塔调度系统,保障在任意视距下视觉精度保持一致,保障CPU与GPU开销平稳。这块内容可以参考UE的Landscape相关代码,但UE的Landscape与大世界系统还不能满足地球级大小,所以需要自己去实现scene proxy。

  • 超大地形数据加载问题

数据方面也会做好金字塔,跟调度系统一样读取对应块的数据,不用的数据会及时释放,确保内存与显存内不会持续积累,并保持在较低的开销。

  • 边缘衔接与自然过渡

整个LOD需要还需要考虑边缘的衔接与自然过渡问题。需要在不同级别的金字塔之间还需要把地形边缘缝合起来,避免出现漏缝问题。

图片

10. 人文建筑和景观生成方式是什么?

地表建筑方面是采用人工建模,再通过坐标信息描述让运行时能把地表建筑展现在对的位置。未来地表建筑会采用更加通用的适合流式加载的模型格式,比如gltf、usd等格式,方便创作者可以上传自己的模型来共同创建整个地球。

11. Earth里面自然生态的系统建模是如何实现的?

自然生态方便需要用到各种专业机构的用地分类、生态分类、植被密度图等信息。

保证我们种出来的树木在不同的区域会适配不同的种类,密度等信息。

图片

(GlobeLand30)

图片

(全球生态分类)

12. 光照和自然环境是如何实现的?

我们利用了UE5原生强大的灯光、大气系统等,以及引擎提供的Lumen、AO、Path Tracer等feature,可以实时渲染出非常真实自然的视觉效果(截图城市为利雅得,上图为UE5,下图为真实照片)。

图片

图片

13. Earth在本地运行的硬件需求是怎样的?如何对其进行优化的?

图片

目前客户端只支持是directx12(sm6)需要20系列级以上显卡。

整体优化经验,动静结合的思路:

动态调度

  • 作为行星级别的应用,动态调度必不可少,需要计算SSD到内存到显存的带宽,合理分割数据和渲染资源。

  • 尽量使用GPU并发特性,像整个地形系统都是GPU Driven。

  • 管理好Cpu cache与GPU cache,做好加载与回收的平衡,在持续浏览中不要出现无用的内存与显存的占用。

静态渲染

  • 控制单帧画面整体三角面以及drawcall数量。

  • 优化Nanite模型的建模方式,控制Nanite Cluster的上限。

  • 控制单帧画面显存容量,与三角面、贴图等等美术资源相关。

14. 从51WORLD的角度来看,AIGC和UE实时引擎未来如何分工应用?

AI已经展现出了多视角长时长下一致性较高的图像,场景的真实度和细节也很好。如果从模拟仿真这类场景的角度看,生成式视频模型所做的事情和游戏引擎没有本质区别,只是一个是更可控的显式的,一个是数据驱动的隐式的。

游戏引擎如果要达到较强的真实感门槛较高,需要建模或扫描大量的高质量资产,优点是可控制性和可编辑性较强,世界完全受控。AI的可编辑性以及可控性从目前的展示来看还不确认,挑战还是比较大。

目前,合成数据主要分为三个路线——物理仿真与图形渲染路线、基于神经辐射场(NeRF、3DGaussion等)的场景重建路线以及基于世界模型的生成路线。

AI基于世界模型的生成路线还处于发展的早期阶段,与视频创作领域不同,模拟仿真大场景落地确定性要求比较高,需要呈现出一致性和物理规律,如何可控的生成更多有价值的corner case还有待深入探讨,但后续发展空间是巨大的。

15. Earth目前的状况如何,还有哪些计划?

目前我们正在全力做Earth的产品化开发,已有两款产品TWE(The Whole Earth)UGA(Urban General Asset)

TWE专注于世界生成技术,开发者可以通过语义数据实时生成动态的地球,期待与开发者进行深度技术合作,共同完成用户自己的地球。

UGA是面向应用开发者,提供城市级的通用资产,可在引擎中流畅加载超大面积的高精度场景,并支持场景的自由编辑。我们将在2025年9月前上线全球至少100个城市。帮助数字孪生、游戏影视、AI训练等领域开发者节省成本,提高效率。

16. 未来Earth在产品层面如何落地?

我们希望未来的51Earth是一个可以把城市创作者与应用开发者的链接的产品。城市创作者可以在51Earth当中像《都市天际线》一样建造城市、共同参与到地球克隆愿景。

应用开发者,可以基于城市数据+开发套件可以开发出丰富多彩的游戏、应用等内容。

17. 感谢接受采访,从哪些渠道可以了解51WORLD和51Earth的最新动态和产品更新?

可关注51WORLD及51Earth官方网站:

https://51world.com.cn/

https://51earth.com/

也可关注51WORLD微信公众号,回复关键词【UE开发者】,加入交流群,技术答疑、产品试用、最新资讯等你来!

这篇关于从数字孪生到克隆地球 | 虚幻引擎专访51WORLD的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/892211

相关文章

捷瑞数字业绩波动性明显:关联交易不低,募资必要性遭质疑

《港湾商业观察》施子夫 5月22日,山东捷瑞数字科技股份有限公司(以下简称,捷瑞数字)及保荐机构国新证券披露第三轮问询的回复,继续推进北交所上市进程。 从2023年6月递表开始,监管层已下发三轮审核问询函,关注到捷瑞数字存在同业竞争、关联交易、募资合理性、期后业绩波动等焦点问题。公司的上市之路多少被阴影笼罩。​ 业绩波动遭问询 捷瑞数字成立于2000年,公司是一家以数字孪生驱动的工

轻量级在线服装3D定制引擎Myway简介

我写的面向web元宇宙轻量级系列引擎中的另外一个,在线3D定制引擎Myway 3D。 用于在线商品定制,比如个性化服装的定制、日常用品(如杯子)、家装(被套)等物品的在线定制。 特性列表: 可更换衣服款式,按需定制更换模型可实时更改材质颜色可实时添加文本,并可实时修改大小、颜色和角度,支持自定义字体可实时添加艺术图标,并可实时修改大小、颜色和角度,支持翻转、各种对齐可更改衣服图案,按需求定制

亮相WOT全球技术创新大会,揭秘火山引擎边缘容器技术在泛CDN场景的应用与实践

2024年6月21日-22日,51CTO“WOT全球技术创新大会2024”在北京举办。火山引擎边缘计算架构师李志明受邀参与,以“边缘容器技术在泛CDN场景的应用和实践”为主题,与多位行业资深专家,共同探讨泛CDN行业技术架构以及云原生与边缘计算的发展和展望。 火山引擎边缘计算架构师李志明表示:为更好地解决传统泛CDN类业务运行中的问题,火山引擎边缘容器团队参考行业做法,结合实践经验,打造火山

数据时代的数字企业

1.写在前面 讨论数据治理在数字企业中的影响和必要性,并介绍数据治理的核心内容和实践方法。作者强调了数据质量、数据安全、数据隐私和数据合规等方面是数据治理的核心内容,并介绍了具体的实践措施和案例分析。企业需要重视这些方面以实现数字化转型和业务增长。 数字化转型行业小伙伴可以加入我的星球,初衷成为各位数字化转型参考库,星球内容每周更新 个人工作经验资料全部放在这里,包含数据治理、数据要

剑指offer(C++)--和为S的两个数字

题目 输入一个递增排序的数组和一个数字S,在数组中查找两个数,使得他们的和正好是S,如果有多对数字的和等于S,输出两个数的乘积最小的。 class Solution {public:vector<int> FindNumbersWithSum(vector<int> array,int sum) {vector<int> result;int len = array.size();if(

剑指offer(C++)--数组中只出现一次的数字

题目 一个整型数组里除了两个数字之外,其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。 class Solution {public:void FindNumsAppearOnce(vector<int> data,int* num1,int *num2) {int len = data.size();if(len<2)return;int one = 0;for(int i

神经网络第四篇:推理处理之手写数字识别

到目前为止,我们已经介绍完了神经网络的基本结构,现在用一个图像识别示例对前面的知识作整体的总结。本专题知识点如下: MNIST数据集图像数据转图像神经网络的推理处理批处理  MNIST数据集          mnist数据图像 MNIST数据集由0到9的数字图像构成。像素取值在0到255之间。每个图像数据都相应地标有“7”、“2”、“1”等数字标签。MNIST数据集中,

江西电信联合实在智能举办RPA数字员工培训班,培养“人工智能+”电信人才

近日,江西电信与实在智能合作的2024年数字员工开发应用培训班圆满闭幕。包括省公司及11个分公司的核心业务部门,超过40名学员积极报名参与此次培训,江西电信企业信息化部门总监徐建军出席活动并致辞,风控支撑室主任黄剑主持此次培训活动。 在培训会开幕仪式上,徐建军强调,科创是电信企业发展的核心动力,学习RPA技术是实现数字化转型的关键,他阐述了RPA在提高效率、降低成本和优化资源方面的价值,并鼓励学

LeetCode —— 只出现一次的数字

只出现一次的数字 I  本题依靠异或运算符的特性,两个相同数据异或等于0,数字与0异或为本身即可解答。代码如下: class Solution {public:int singleNumber(vector<int>& nums) {int ret = 0;for (auto e : nums){ret ^= e;}return ret;}};  只出现一次的数字 II

java的clone() 深克隆与浅克隆的区别

克隆的目的:快速创建一个已有对象的副本。 克隆的步骤: 创建一个对象将原有对象的数据导入到新创建的数据中 1. Object的clone()源代码简介 [java]  view plain copy /**   * Creates and returns a copy of this {@code Object}. The default   * i