英伟达生成式AI王牌软件迎来重磅升级，拓宽AI在3D世界的可能性

图源：SIGGRAPH 2024

出品 | 搜狐科技

作者 | 王一鸣

编辑｜杨锦

头号玩家里面的场面真的要来了？

近日，英伟达CEO黄仁勋在SIGGRAPH 2024探讨新的计算革命中的 AI 与图形技术，展示了通用场景描述（OpenUSD），计算机辅助设计，渲染，仿真，生成式AI的多项技术。

英伟达发布的OpenUSD可将3D数据交换框架应用于机器人、工业设计和工程领域，通过基于OpenUSD的生成式 AI 还有Omniverse虚拟现实与仿真平台，能让工业设计和工程项目变得更可视化。

“生成式AI已经成为可能，这是一个革命性的时代，几乎每个行业都会受到影响。” 黄仁勋表示，无论是科学计算、增强创作者生成图像或为工业数字化生成虚拟场景，还是机器人技术，自动驾驶汽车，都将被生成式AI改变。

“我很高兴地宣布英伟达将把生成式AI带到OpenUSD。”英伟达Omniverse和仿真技术副总裁Lebaredian表示：“我们构建了世界上第一个能够理解基于OpenUSD的语言、几何、材料、物理和空间的生成式AI模型。”

属于工业的人工智能时代即将到来

英伟达NIM微服务能够利用OpenUSD语言来回答用户的问题，还能生成 OpenUSD的Python代码，把材料应用于3D对象，去理解3D空间和物理的规律，这样就可以让数字孪生的开发按下加速键。

另外，机器人和工业模拟数据格式的USD连接器和开发工具，能让用户把大量英伟达RTX射线追踪的数据集传到苹果Vision Pro里面，这样用户就可以直观地用VR看到效果。

也就是说，重工业的生成式AI真的要来了。现在的数字世界主要跟创意产业有关系。英伟达升级了NIM微服务后，OpenUSD得到了增强，所有行业能参与到基于物理的虚拟世界里，为以后的机器人技术做好了准备。

英伟达开发的全球首个用于OpenUSD开发的生成式AI模型，以英伟达NIM微服务的形式存在。有了这个模型，开发者就能把生成式人工智能的副驾驶和代理加入到USD工作流程里。从此，3D世界会有更多可能性，还能促使USD在制造业、汽车以及机器人这些新的工业领域更快地被运用。

“Omniverse是一个开发和部署基于物理的工业数字化应用程序的平台。这是人工智能在部署到现实世界之前测试和验证其技能的反馈循环。”

据英伟达高管介绍，现在有一万多家公司都在用 Omniverse，还有30家公司正在努力让OpenUSD变得更好。

黄仁勋表示，通过AI Foundry，其他企业能和英伟达合作创建模型。企业提供数据，就能做出自己想要的AI模型。英伟达用Prompt造出一个3D模型，再把它放到Omniverse 里。Omniverse能把数据和内容整合到一起，像3D人工智能、动画、材料都能整合，不仅改变姿势、位置，还能用 Omniverse里的图像来调整。

对于3D世界的创建，英伟达介绍了USD编码、搜索和验证这几种NIM微服务，目前已经提供了预览版。

开发者可以使用新的Omniverse开发者工具和参考工作流程，来搭建支持生成AI的合成数据管道。

预览版尝鲜功能主要有：

OpenUSD能理解我们平常说话的语言，自动写出代码。然后能够通过OpenUSD查看器（例如皮克斯动画平台查看器）和Omniverse工具，相应的3D数据就能通过可视化的方式展示给我们看了。比如皮克斯动画工作室想要设计一个卡通人物，不同于之前设计师需要一笔一划地画出来，他们可以用自然语言描述出这个人物的特征，生成人物之后通过查看器预览效果。

如果用户想要查找某一物体或建模，那开发者只需要用日常的语言描述他们想要寻找的3D模型的特征，或者提供一张图片，然后就能够在相关的数据库里查找匹配或相似的内容。

英伟达fVDB Mesh Generation NIM（网格生成）效果

更高级的黑科技还在酝酿中…

如果想凭空产生一个想要的场景，USD Layout NIM可以根据给出的文字描述或提示来组合搭建出适用于AI的场景。文字提示可能包括物体的位置、大小、方向等信息。比如说想要一个公园场景，就可以说：在公园有一个湖，绿植，树木，鸟和长椅等，符合语言描述的场景就搭建出来了。

不知道设计的物体是什么材质的？别担心，USD SmartMaterial NIM（智能材料）有预测判断的能力，它把那些看起来非常真实、几乎能以假乱真的材料应用到计算机辅助设计的物体上。比如你是一个汽车设计师，要设计一辆汽车，它可以推测你设计的车的材料，然后把材料贴在汽车“模型”上。

如果说不太确定你想象的物体具体是什么形状，fVDB Mesh Generation NIM（网格生成）可以把物体的坐标轴连接起来构成完整物体。比如你要给一个雕塑建立数字模型，首先描述一下雕塑表面的位置信息，然后网格生成就会把点连起来，构成雕塑外形。

同时也大可不必担心你提供的图像不清楚，因为fVDB Physics Super-Res NIM（物理超采样分辨率）经过处理就能变得更加清晰、细腻，显现出更多的细节。

重构基于物理的虚拟世界

设计师或艺术家构建一个地面实况3D场景，为生成式AI提供条件。他们在Omniverse构建场景，可以把产品（比如可乐瓶）以及各种道具和环境模型整合到一个场景中。

“他们按照自己想要的方式放置场景，并渲染他们想要的视图。然后他们将这种2D渲染与文本提示一起输入到有启发性的图像或任何其他图像生成器中。当他们想将瓶子或翅膀盘移动到特定位置时，结果是基本阶段的改进版本。他们可以在Omniverse中完成，重新渲染图像，然后利用人工智能重新投影。”

AI创作出的“可口可乐”场景

在机器人领域，英伟达发布了统一机器人描述格式（Unified Robotics Description Format，简称URDF）到OpenUSD的连接器，通过这种方法，机器人专家可以轻松地将他们的数据，包括设计、模拟和强化学习之间来回调整。

还有，英伟达开发了MimicGen和Robocasa这两个模型。MimicGen NIM可以使用苹果ouggnipVision Pro那样的空间计算设备记录的数据，然后生成合成运动数据。Robocasa NIM微服务可以在OpenUSD中生成机器人任务和模拟环境，它是3D世界中开发和协作的通用框架。

“OpenUSD正在彻底改变我们创建3D内容和与3D内容交互的方式，”皮克斯首席技术官表示。

对于AI是否可能正在取代人类所做的某些事情，黄仁勋这样说：“这就是工具的作用，我们发明工具，它要么助力我们的工作，要么与我们合作，这样大家更好地去工作，甚至会成就更大的事业，做以前不可能做的事情。你会看到的是生成式AI会更可控，我们通过使用RAG、检索和增强生成来控制，同时文本生成能有效地减少幻觉。”