三次元的文本到图像AI成了：单GPU不到一分钟出货，OpenAI出品

点击上方“视学算法”，选择加"星标"或“置顶”

重磅干货，第一时间送达

来源丨机器之心

编辑丨泽南、杜伟

导读

文本到 3D 模型生成的速度一下提升了 600 倍，代码也已开源。 

文本生成图像的 AI 最近已经火到了圈外，不论是 DALL-E 2、DeepAI 还是 Stable Diffusion，人人都在调用 AI 算法搞绘画艺术，研究对 AI 讲的「咒语」。不断进化的技术推动了文生图生态的蓬勃发展，甚至还催生出了独角兽创业公司 Stability AI。

技术发展的脚步并没有停止，下个突破可能是 3D 模型生成了：本周，OpenAI 开源的 3D 模型生成器 Point-E 引发了 AI 圈的新一轮热潮，刚摆上 GitHub 一天就获得了 800 多个 star。

根据与开源内容一并发布的论文介绍，Point-E 可以在单块 Nvidia V100 GPU 上在一到两分钟内生成 3D 模型。相比之下，现有系统（如谷歌的 DreamFusion）通常需要数小时和多块 GPU。

论文《Point-E: A System for Generating 3D Point Clouds from Complex Prompts》：

• 论文链接：https://arxiv.org/abs/2212.08751

• 项目链接：https://github.com/openai/point-e

Point-E 不输出传统意义上的 3D 图像，它会生成点云，或空间中代表 3D 形状的离散数据点集。Point-E 中的 E 是「效率」的缩写，表示其比以前的 3D 对象生成方法更快。不过从计算的角度来看，点云更容易合成，但它们无法捕获对象的细粒度形状或纹理 —— 这是目前 Point-E 的一个关键限制。

为了解决这一问题，OpenAI 团队训练了一个额外的人工智能系统来将 Point-E 的点云转换为网格。

Point-E 架构及运行原理

在独立的网格生成模型之外，Point-E 主要由两个模型组成：文本到图像模型和图像到 3D 模型。文本到图像模型类似于 OpenAI 自家的 DALL-E 2 和 Stable Diffusion 等生成模型系统，在标记图像上进行训练以理解单词和视觉概念之间的关联。在图像生成之后，图像到 3D 模型被输入一组与 3D 对象配对的图像，训练出在两者之间有效转换的能力。

当人们给出一个文本提示 —— 例如，「一个可 3D 打印的齿轮，一个直径为 3 英寸、厚度为半英寸的齿轮」时，AI 会生成符合描述的内容：

Point-E 通过 30 亿参数的 GLIDE 模型生成综合视图渲染，内容被馈送到图像到 3D 模型，通过一系列扩散模型运行生成的图像，以创建初始图像的 3D RGB 点云 —— 先生成粗略的 1024 点云模型，然后生成更精细的 4096 点云模型。

Point-E 的点云扩散模型架构。图像通过一个冻结的、预训练的 CLIP 模型输入，输出网格作为标记输入到 transformer 中。

OpenAI 研究人员表示，在经过「数百万 3D 对象和相关元数据的数据集上训练模型后，Point-E 拥有了生成匹配文本提示的彩色点云的能力。Point-E 的问题和目前的生成模型一样，图像到 3D 转换过程中有时无法理解文本叙述的内容，导致生成的形状与文本提示不匹配。尽管如此，根据 OpenAI 团队的说法，它仍然比以前的最先进技术快几个数量级。

Point-E 将点云转换为网格。

OpenAI 在论文中表示，「虽然 Point-E 在评估中表现得比 SOTA 方法差，但它只用了后者一小部分的时间就可以生成样本。这使得 Point-E 对某些应用程序更实用，或者可以利用效率获得更高质量的 3D 对象。」

应用前景及版权问题

也许你会问，Point-E 具体有哪些应用呢？OpenAI 研究人员指出，Point-E 的点云可用于制作真实世界的对象，比如通过 3D 打印制作。再加上额外的网格转换模型，系统在完善后可以用于游戏和动画开发工作流程。

OpenAI 可能是最新一家涉足 3D 对象生成器领域的公司，但它并不是第一家。今年早些时候，谷歌就发布了 DreamFusion，它是谷歌 2021 年推出的生成式 3D 系统 Dream Fields 的扩展版本。

虽然当前所有目光都集中在 2D 艺术生成器上，但模型合成 AI 可能是下一个重大的行业颠覆者。现代电影、视频游戏、VR 和 AR 的 CGI 效果、空间探索中的测绘任务、古迹遗址保护项目以及 Meta 等科技公司的元宇宙愿景都需要高性能的 3D 建模能力。在传统行业中，建筑公司也会使用 3D 模型演示建筑物和景观，工程师会利用模型设计新设备、车辆和结构等。

Point-E 失败的案例。

不过，制作 3D 模型通常需要一段时间，从几小时到几天不等。如果有一天解决了这一问题，像 Point-E 这样的 AI 可以改变很多，并让 OpenAI 获得可观的利润。

潜在的问题是可能会产生知识产权纠纷。3D 模型有很大的市场，包括 CGStudio 和 CreativeMarket 在内的几个在线市场允许艺术家销售他们创建的内容。如果 Point-E 流行起来并投放到市场，模型艺术家们可能会抗议，并拿出现代生成式 AI 严重依赖其自身训练数据的证据，比如 Point-E 中有现成的 3D 模型。

与 DALL-E 2 一样，Point-E 不承认也没有引用任何可能影响其代代发展的艺术家的作品。OpenAI 没有明确地说明这一问题，Point-E 论文及相应 GitHub 项目中也都没有提到版权问题。

最后，OpenAI 研究人员预计 Point-E 还面临着一些挑战，例如训练数据存在的偏差以及对可能用于创建「危险对象」的模型缺乏保护措施。因此，OpenAI 谨慎地将 Point-E 描述为一个起点，并希望激励文本到 3D 合成领域进一步发展。

不过按照 AI 作画发展的速度，我们或许很快就会看见下一轮技术爆发了。

参考内容：

https://www.engadget.com/openai-releases-point-e-dall-e-3d-text-modeling-210007892.html

https://techcrunch.com/2022/12/20/openai-releases-point-e-an-ai-that-generates-3d-models/

点个在看 paper不断！