【AI推理加速落地】
推出专门用于AI推理的DGX H100计算平台。人工智能推理的作用越发重要,Chatgpt目前已被整合到各项领域中(如:Microsoft 365),在此次大会上,Nvidia 宣布推出用于AI推理的DGX H100计算平台(性能提高9倍、网络速度提升2倍),微软为首个大规模用户,并将提供对 DGX H100 的早期。
新推出4个推理平台(L4、L40 、H100 NVL和Grace-Hopper),针对各种快速兴起的生成式 AI 应用程序进行了优化。
①L4:提供增强的视频解码和转码功能、视频流、增强现实、生成 AI 视频等。可实现比CPU高120倍的AI视频性能,同时能源效率提高 99%
②L40:主要用于图像生成,并对图形和支持 AI 的 2D、视频和 3D 图像生成进行了优化。
③H100 NVL:主要用于大型语言模型部署,非常适合大规模部署 ChatGPT 等大型 LLM。
④Grace Hopper:主要用于图形推荐模型、矢量数据库和图形神经网络等领域。
【硬件进展顺利】
Hopper H100目前已全面投入生产,并部署在许多数据中心,包括来自 Microsoft Azure、谷歌、甲骨文等的数据中心。
新推出DPU BlueField-3。(a)在此次大会上,英伟达宣布将新推出BlueField-3,该产品上一代DPU产品,多出两倍的 Arm 处理器内核和更多的加速器,因此它可以将工作负载的运行速度提高八倍。(b)BlueField-3 可以跨云、高性能计算、企业和加速 AI 用例卸载、加速和隔离工作负载。(c)目前Oracle Cloud Infrastructure 正在标准化 BlueField-3 以运行其 DGX Cloud
【推出AI Foundations服务】
伴随着生成式AI技术的发展,AI正在重塑千行百业,英伟达在此次大会上新推出的AI Foundations服务,使得下游客户可在“英伟达依靠自己的数据制定的基础模型”,构建定制的生成式 AI 应用程序。目前该产品主要用于NVIDIA NeMo语言服务、 NVIDIA Pacass 影像服务与 NVIDIA BioNeMo 生物学三大领域。
【新推出多种软件库&商业化进展速度】
除了深度学习中使用的训练模型所需的计算外,Nvidia 还拥有数百个库来帮助各种行业和模型。在本次大会上,英伟达介绍了以下软件库的进展和内容:
①英伟达的量子平台(cuQuantum),可用于帮助量子计算领域的研究人员。
②用cuLitho加速创新。在此次GTC大会上,公司新推出cuLitho,可用于光刻工艺的图案和掩模的创建。通过该产品,可将两周的工作量缩减至8小时内。
③推出DGX Cloud,使得自定义AI模型的更加民主化。(a)在上,Nvidia 发布了DGX Cloud,该产品是一种基于 DGX 平台的混合云培训即服务。通过将 DGX功能导入云端,相关企业可立即“为生成 AI 训练高级模型”所需的基础设施和软件。(b)DGX Cloud 目前可在 Oracle Cloud 和 Equinix 上使用,并将进入 Microsoft Azure 和 Google Cloud。商业化进展不断加快。
④宣布与医疗器械公司Medtronic plc合作,开发了GI Genius AI 辅助结肠镜检查系统。
⑤Omniverse目前已经得到广泛部署,下载量超过30万次。微软和Nvidia将合作将Omniverse直接集成到 Microsoft 365中,其中包括Teams、OneDrive和SharePoint,使用户能够直接从业务应用程序 metaverse功能。
来源——中信前瞻