助攻生成式AI落地边缘！NVIDIA扩展机器人平台，推出API和微服务
芯东西（公众号：aichip001）
作者 | ZeR0
编辑 | 漠影
芯东西10月20日报道，NVIDIA本周宣布对适用于边缘AI和机器人的NVIDIA Jetson平台上的两个框架Metropolis和Isaac进行有史以来规模最大的软件扩展。NVIDIA Isaac ROS机器人框架已全面上市，NVIDIA Metropolis在Jetson平台上的扩展也即将推出。
生成式AI具有的“零样本学习”能力和自然语言界面，能够简化边缘AI的开发、部署与管理。NVIDIA创建了一个Jetson生成式AI实验室，以供开发者利用最新的开源生成式AI模型进行开发，从而加速边缘AI应用的开发与部署。
目前，已有超过120万名开发者和1万多家客户选择了NVIDIA AI和Jetson平台，包括亚马逊云科技（AWS）、思科、约翰迪尔、美敦力、百事、西门子等。
一、助攻生成式 AI 发力边缘应用， Jetson 平台进行大规模软件扩展
开发者在构建边缘AI应用时，面临着开发周期延长的挑战，为了实时满足客户不断变化的环境、生产线和自动化需求，需要反复对机器人和AI系统进行编程。这个过程非常耗时，还要求开发者具备足够的专业技能，而生成式AI正发挥助力。
生成式AI通过理解人类的语言提示，对模型进行更改，极大提高了易用性。这些AI模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，并借此超越了基于卷积神经网络（CNN）的传统模型。据ABI Research预测，到2033年，生成式AI将为全球制造业务增收105亿美元。
NVIDIA嵌入式和边缘计算副总裁Deepu Talla相信，生成式AI具有前所未有的泛用性、易用性和精确性，将显著加快边缘AI的部署。
对此，NVIDIA在Jetson平台上对Metropolis和Isaac框架进行了有史以来规模最大的软件扩展，并结合Transformer模型与生成式AI的强大功能来满足这一需求。
NVIDIA Jetson生成式AI实验室为Jetson开发者提供经过优化的工具和教程，用以部署开源大语言模型（LLM）、文生图的扩散模型、视觉语言模型（VLM）以及视觉Transformer（ViT）。
开发者还可以使用NVIDIA TAO Toolkit，为边缘应用创建高效而精确的AI模型。TAO提供了一个用于微调和优化ViT、视觉基础模型等视觉AI模型的低代码接口，并支持定制、微调NVIDIA NV-DINOv2等基础模型或OpenCLIP等公共模型，用很少的数据创建高度精确的视觉AI模型，还推出了一个基于Transformer的新型缺陷检测模型VisualChangeNet。
二、 年底前推出 Metropolis API和微服务扩展集，Isaac ROS达生产就绪状态
NVIDIA Metropolis提供了一系列功能强大的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用，从而能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉AI解决方案，以改善至关重要的运营效率和安全问题。
宝马集团、百事、克罗格、泰森食品、印孚瑟斯、西门子等1000多家公司正在使用NVIDIA Metropolis开发者工具，通过视觉AI来解决物联网（IoT）、传感器处理和运营方面的难题。该开发者工具已被希望构建视觉AI应用的用户下载了100多万次。
NVIDIA Jetson平台上的Metropolis API和微服务扩展集将在年底前推出，帮助开发者快速构建和部署可扩展的视觉AI应用程序。数百家客户使用NVIDIA Isaac平台，在农业、仓储自动化、最后一公里配送、服务机器人等多个领域开发了高性能机器人解决方案。
在ROSCon 2023上，NVIDIA宣布推出Isaac ROS和Isaac Sim软件的全新版本，对感知和模拟功能进行了重大改进，以简化ROS开发者对高性能AI机器人应用的构建与测试。
开源机器人操作系统（ROS）在不断发展进化，并为整个机器人社区提供开源软件。基于常用ROS的 Isaac ROS，为移动的物体带来了“视觉”和“听觉”感知能力。借助GPU加速的GEM的视觉里程测量、深度知觉、3D场景重建、定位和规划等功能，机器人开发者可以获取为不同应用快速定制机器人解决方案所需的各种工具。
开源机器人基金会首席技术官Geoff Biggs认为，NVIDIA此次版本中全新预构建的ROS 2软件包，将助力广大NVIDIA Jetson开发者社区随时使用ROS 2。
Isaac ROS 2.0最新版本已达到生产就绪状态，主要的优化升级包括原生ROS 2 Humble支持、NITROS ROS桥接器、CUDA NITROS、Stereolabs ZED摄像机集成、Nova Carter、ESS 3.0性能等，可帮助开发者使用Jetson平台创建并推出高性能机器人解决方案。
三、提供精选AI工作流参考，大幅减少开发时间
开发生产级AI解决方案，需要开发和训练针对特定用例定制的AI模型，在平台上实现强大的安全功能、编排应用、管理机队、建立边缘到云的无缝通信等。
“随着应用需求的日益复杂化，我们需要从根本上转向能够简化和加速边缘部署创建的平台。”Tirias Research首席分析师Jim McGregor谈道。
NVIDIA则推出了一套基于Metropolis和Isaac框架的精选AI工作流参考，帮助开发者快速采用整个工作流或有选择性地集成独立部分，大幅减少开发时间和成本。三个AI工作流包括：网络视频录制、自动光学检测和自主移动机器人。
Jim McGregor评价说：“NVIDIA的这一重要软件扩展为开发者带来了全新的多传感器模型和生成式AI功能。”
结语：全新 JetPack 6 今年年底推出，加快边缘 AI 开发进度
总体来看，NVIDIA新推出一系列系统服务，为开发者提供了边缘AI解决方案时所需的基本功能，从而简化与工作流的集成，提高效率。
全新NVIDIA JetPack 6将于今年年底推出。AI开发者将无需全面升级Jetson Linux，就能保持在计算领域的最前沿，大幅加快开发进度。JetPack 6还将通过与Linux发行版合作伙伴的合作，扩大基于Linux的发行版的选择范围，包括Canonical的优化及经过验证的Ubuntu、Wind River Linux、并行实时Redhawk Linux以及各种基于Yocto的发行版。
作为NVIDIA合作伙伴网络中的一部分，Jetson合作伙伴生态系统提供了从硬件、AI软件和应用设计服务到传感器、连接和开发者工具的广泛支持。最新版本通过采用更多具有更强性能与功能的AI技术，帮助Jetson合作伙伴加快产品上市并扩大客户群。拥有广泛而多样化的用户群与合作伙伴生态的NVIDIA Jetson，已经成为助推边缘机器人和AI革命的关键力量之一。