英伟达宣布将生成式AI引入OpenUSD工作流程

基于OpenUSD的全新生成式AI和基于NVIDIA Omniverse的开发工具

（映维网Nweon 2024年07月30日）英伟达日前发布了一个基于OpenUSD的全新生成式AI和基于NVIDIA Omniverse的开发工具。相关进步将把通OpenUSD扩展到机器人、工业设计和工程领域，这样开发者就可以为人工智能的下一次发展快速构建高度精确的虚拟世界。

OpenUSD是一个用于3D和仿真工作流程的开源框架和数据交互格式。这种多功能性允许开发者构建高度精确的、支持人工智能的虚拟世界具。

借助基于OpenUSD的全新生成式AI和基于NVIDIA Omniverse的开发工具，更多行业的开发者将能够创建用于可视化工业设计和工程项目的应用程序，或用于模拟环境以构建下一波物理人工智能和机器人。

新的开发工具包括：

• 用于OpenUSD语言、材料、空间智能和物理AI的NVIDIA NIM微服务和工作流程指南。
• 通过OpenUSD Exchange SDK和USD Connector来支持行业特定数据，包括机器人和工业模拟格式。
• NVIDIA Omniverse Kit SDK和开发者工具，用于从零构建和部署基于OpenUSD的应用程序。

将生成式AI引入OpenUSD工作流程

今天，生成式AI对于基于文本和数字的应用程序而言相对简单。但要在3D场景中发挥作用，AI需要同时具备空间智能和物理智能。

针对OpenUSD语言、材料、空间智能和物理AI的全新NVIDIA NIM USD微服务将生成式AI引入了OpenUSD工作流程。作为开发者，你可以使用相关微服务将生成式AI和代理合并到你的3D工作流程中。这扩大了OpenUSD在制造业、汽车和机器人等新行业的应用。

如图1所示。USD Search NIM允许开发者使用自然语言或图像输入搜索大量的OpenUSD、3D和图像数据库

预览版中提供的微服务包括：

• USD Code NIM微服务：最先进的LLM，可回答OpenUSD知识查询并生成USD- python代码。
• USD Search NIM微服务：使用基于文本或图像的输入对OpenUSD数据、3D模型、图像和asset进行人工智能搜索。
• USD Validate NIM微服务：验证OpenUSD asset与RTX渲染和基于规则的验证的兼容性。

用于OpenUSD开发的其他NIM微服务即将推出。其中包括：

• USD Layout NIM：这个生成式AI模型用于从一系列文本提示中组装基于OpenUSD的场景
• USD SmartMaterial NIM，用于将逼真的材料应用于3D对象。

另外，NIM微服务即将用于fVDB，这是一个用于构建具有空间智能的物理人工智能的深度学习框架。

使用NVIDIA Omniverse构建OpenUSD本地应用程序

你可以使用Omniverse从零开始构建OpenUSD本地应用程序。最新版本Omniverse Kit SDK 106包含了新的工具和增强的功能，为开发工作流程提供了更大的易用性和可控性。

将你的行业特定数据连接到OpenUSD

为了进一步推进OpenUSD生态系统的扩展，英伟达宣布OpenUSD Exchange SDK将于今年晚些时候通过GitHub发布。使用这个SDK，你可以构建自己的OpenUSD数据插件、转换器和交换器。这样，各地的开发者都能够更容易地访问和贡献越来越多的第三方解决方案。

OpenUSD Exchange对于需要用OpenUSD交换行业特定数据的开发者特别有用。为了帮助实现这一目标，NVIDIA将继续构建和支持从关键格式到OpenUSD的连接器，例如统URDF。

另外，英伟达发布了旨在通过NVIDIA GDN将大规模OpenUSD场景流式传输到Apple Vision Pro的开发者工具和API（抢先体验版）。

如上面的视频所示，Omniverse Cloud API允许开发者为Apple Vision Pro创建沉浸式工厂规划应用。线管工具可以流式传输Apple Vision Pro，并帮助可视化和模拟工厂数据。

更多信息请访问英伟达开发者官网。

---

原文链接：https://news.nweon.com/123352