英伟达生成式人工智能核心重大升级，将助力XR发展

摘要：生成式AI并不仅仅适用于沉浸式产品供应商，这项技术在XR软硬件开发领域已经非常普遍。

生成式人工智能（Generative AI）已经成为了XR领域强大的技术伙伴。而MR混合现实更是被微软称为人工智能的“眼睛和耳朵”。

XR和AI这两种新兴技术和谐共生，将最终实现共同用户的工作效率。如此看来，两者之间似乎不存在直接的竞争关系。

然而，虽然这两种技术之间的竞争可能并不像我们想象中的那么激烈，但是随着大部分人从元宇宙转向生成式人工智能之后，AI可能已成为了目前最受关注的技术。对此，拥有OpenAI等顶级人工智能公司的微软，也早已制定好了战略规划路线——要在2024年之前实现工业元宇宙。

生成式AI并不仅仅适用于沉浸式产品供应商，这项技术在XR软硬件开发领域已经非常普遍。

随着各种AR/VR/MR新硬件的层出不穷，但如果没有适合的应用支持，用户为什么要购买昂贵的XR设备？所以，让内容创作者设计面向企业和消费者的应用及系统的需求越发增多。但是，从事XR开发的人才却太少了。

生成式AI可以简化XR内容的创建，帮助更多人设计AR/VR/MR服务。诸如Unreal, Unity和Omniverse等RT3D开发引擎也在利用生成式AI来优化开发工作流程。尤其是那些刚刚崭露头角的XR内容创作者，对他们来说，AI是最重要的开发助手之一。

英伟达生成式AI的核心升级

NVIDIA公司Omniverse和仿真技术的副总裁Rev Lebaredian表示，最新的Omniverse产品允许XR开发人员使用基于生成式AI的工作流程。

此次生成式AI升级是NVIDIA在其服务中引入OpenUSD的一部分，OpenUSD是一个可互操作的图形框架。

通过增加OpenUSD在Omniverse上的使用，NVIDIA可以添加生成式AI服务，包括Cesium、Convai、Move AI、SideFX Houdini和Wonder Dynamics等，协助工业数字化运营。

根据Lebaredian的说法，这套OpenUSD生成式AI工作流程优化了Omniverse开发人员工具，让企业“构建更大、更复杂的世界规模模拟，作为其工业应用程序的数字测试场地”。

此外，Lebaredian还补充道:“工业企业正在竞相将其工作流程数字化，这增加了对支持OpenUSD、可连接、可互操作的3D软件生态系统的需求。”

更新后的Omniverse引入了USD Composer，允许RT3D开发人员可以使用OpenUSD框架设计大规模场景。

此外，Omniverse还将新增Audio2Face——这是一个基于生成式AI的编程接口插件，允许XR开发人员从音频文件中创建逼真的面部动画和手势。Audio2Face功能支持多语言，包括默认基于女性的一个模型。

英伟达同时添加了新的开发人员模板和资源，旨在降低使OpenUSD工具的使用门槛。这些模板能够支持更多人使用无代码的方式进行开发。

OpenUSD不仅仅为Omniverse引入了新的生成式AI服务。Pixar制作的图像格式为Omniverse产品打开了行业用例范围，让RT3D引擎进一步成为开发定制解决方案的重要工具。

Omniverse的关键改进

Omniverse在集成生成式AI和OpenUSD的同时还推出一系列更新。

英伟达扩展其Omniverse套件扩展注册表，包含模块化应用程序构建功能，以优化制作自定义应用程序的过程，并开放600多个核心第一方扩展的额外访问。

同时，英伟达还通过引入基于Ada Lovelace的优化渲染来提高Omniverse的效率和用户体验。并推出了支持“大规模工业场景实时4K路径追踪”的AI去噪器等功能。

正如苹果Vision Pro所展示的那样，英伟达也在整合XR开发工具，用于在Omniverse生态系统中设计空间环境（这里的空间环境指的是头显用户看到的3D计算空间）。

英伟达希望在为开发人员和企业最终用户提供设计沉浸式应用程序的工具方面处于领先地位，在提高企业用户工作效率的同事开发更多面向消费者的用例。

对XR开发的支持

今年8月，NVIDIA与Varjo合作，将光线追踪工具引入其Omniverse平台，为工业XR企业客户提供高质量的云渲染服务。

Varjo软件合作总监Marcus Olssen表示:“到目前为止，图形和计算需求使得我们无法在高分辨率VR环境中对这些逼真的场景进行光线追踪。在NVIDIA Omniverse的支持下，MR开发者和用户就可以在Varjo XR-3中渲染逼真的场景，并在MR中解锁光线追踪。”

英伟达在2023 GPU技术大会(GTC)上推出了CloudXR 4.0平台，用于扩展XR在云计算框架内的部署，并为开发应用程序提供了额外的优化服务器和客户端灵活性。

通过这些升级，XR开发人员可以在云端、5G移动计算边缘(MEC)以及BTOB网络中使用该平台。

本文编译自：

https://www.xrtoday.com/virtual-reality/how-is-nvidia-using-generative-ai/

编译/R星人（文中图片均来源于网络）

点个赞再走吧~