当前位置:首页|资讯|生成式AI

ComputeX 2024:GeForce RTX AI PC,NVIDIA使AI助手栩栩如生

作者:微型计算机杂志发布时间:2024-06-11

2024年6月2日,COMPUTEX 2024开幕前夕,NVIDIA宣布推出全新NVIDIA RTX技术,用于支持在全新GeForce RTX AI笔记本电脑上运行的AI助手及数字人。同时,NVIDIA还发布了一系列AI技术的更新和一些新的笔记本电脑、GPU等产品。下面就随我们一起来看看吧。

AI助手,G-Assist

6月2日,NVIDIA正式推出G-Assist项目, 一款由RTX支持的AI助手技术演示Demo,可为PC游戏和应用提供上下文感知帮助。G-Assist项目的技术Demo将首度亮相于Studio Wildcard推出的《方舟:生存飞升》(ARK:Survival Ascended)中。NVIDIA还发布专为NVIDIA ACE数字人平台打造的首个基于PC的NVIDIA NIM推理微服务。

这些技术由NVIDIA RTX AI Toolkit支持——这是一套全新工具和SDK,可帮助开发者在Windows PC上优化及部署大型生成式AI模型。它们加入了NVIDIA的全栈RTX AI创新,加速了超过500款应用和游戏,以及200款OEM合作伙伴的笔记本电脑设计。

NVIDIA消费级AI业务副总裁Jason Paul表示:“NVIDIA在2018年发布搭载Tensor Core的RTX GPU和DLSS技术,开启AI PC时代。如今,借助G-Assist项目和NVIDIA ACE,NVIDIA将赋能超过1亿RTX AI PC用户开启新一代AI体验。”

PC游戏提供庞大的游戏世界可供探索,还提供复杂的机制供玩家掌控,即便对于最资深的玩家来说,这也是极具挑战性又非常耗时的。G-Assist项目旨在利用生成式AI,将游戏知识触手可及地提供给玩家。

G-Assist项目可接收玩家的语音或文字输入内容,游戏窗口的上下文信息,并通过AI视觉模型处理数据。这些模型增强了与游戏知识数据库相连的大语言模型(LLM)的上下文感知和对特定游戏及应用的理解,然后生成定制的回复,以文本或语音形式的传递给用户。

NVIDIA和Studio Wildcard合作,在《方舟:生存飞升》(ARK:Survival Ascended)的演示Demo中展示该技术。G-Assist项目可帮助回答有关生物、物品、背景知识、任务、关卡BOSS等方面的问题。由于G-Assist项目具有游戏环境感知和上下文理解功能,能根据玩家的游戏进程提供个性化回复。

G-Assist项目还能配置玩家的游戏系统,以获得最佳游戏性能和能效。它可以提供性能指标的深入理解,根据玩家的硬件优化图形设置,进行安全超频,甚至在保持性能目标的同时智能降低功耗。

首款ACE PC NIM亮相

用于为数字人提供助力的NVIDIA ACE技术现在将通过NVIDIA NIM应用于RTX AI PC和工作站,NVIDIA NIM推理微服务使开发者将部署时间从数周缩短到数分钟。ACE NIMs可在设备上本地运行高质量推理,用于自然语言理解、语音合成、面部动画等。

COMPUTEX期间,NVIDIA ACE NIM在PC上的游戏首秀将在和Inworld AI合作开发的Covert Protocol技术Demo中亮相,演示在PC本地运行的NVIDIA Audio2Face和NVIDIA Riva自动语音识别技术。

为本地PC SLM增加GPU加速功能

微软(Microsoft)和NVIDIA合作帮助开发者将全新生成式AI功能应用到Windows原生和网络应用中。双方的合作将为应用开发者提供便捷的API以访问GPU加速的小语言模型(SLM),并支持在设备上运行的基于Windows Copilot Runtime驱动的检索增加生成(RAG)功能。

小语言模型为Windows开发者提供巨大的可能性,包括内容摘要、内容生成和任务自动化。RAG功能使AI模型访问基础模型中未能充分表示的特定领域信息,来增强小语言模型。开发者可以通过检索增加生成(RAG)API利用应用特有的数据源,并根据应用需求调整小语言模型的行为和功能。

NVIDIA RTX GPU及其他硬件厂商的AI加速器将加速这些AI功能,从而在整个Windows生态系统中为终端用户提供快速、响应迅速的AI体验。据悉,该API将于今年晚些时候发布开发者预览版。

RTX AI Toolkit发布,模型速度提升4倍,体积缩小3倍

AI生态系统已构建数十万个开源模型供应用开发者使用,但大多数模型都是为通用目的而预训练,并且构建在数据中心运行。

为帮助开发者构建在PC上运行的特定应用的AI模型,NVIDIA推出RTX AI Toolkit,一套用于在RTX AI PC上自定义、优化及部署模型的工具和SDK。RTX AI Toolkit将于6月发布,供更多开发者使用。

开发者可使用开源的QLoRa工具自定义预训练模型,并使用NVIDIA TensorRT™ Model Optimizer 来量化模型,以减少多达3倍的RAM消耗。NVIDIA TensorRT Cloud将会对模型进行优化,以实现在RTX GPU产品中的峰值性能。与预训练模型相比,性能提升至高可达4倍。

NVIDIA AI Inference Manager (AIM)应用开发工具包(SDK)现已推出抢先体验版,在PC和云端之间完美调度AI推理,为PC应用开发者简化AI集成的复杂度。它还以统一的NIM格式为PC预配置必要的AI模型、引擎和依赖包,并支持所有主流的推理后端,包括跨不同处理器(GPU、NPU和CPU)的TensorRT、DirectML、Llama.cpp和PyTorch-CUDA。Adobe、Blackmagic Design和Topaz等软件合作伙伴将 RTX AI Toolkit的组件集成到其热门创意应用中,以提升RTX PC上的AI性能。

Adobe创意云端产品市场部副总裁Deepa Subramaniam表示:“Adobe和NVIDIA将持续合作,为视频、图像、设计、3D等所有创意工作流提供突破性的客户体验。RTX PC上的 TensorRT 10.0为创作者、设计师和开发者提供前所未有的性能表现及由AI驱动的功能,为Photoshop等行业领先的创意工具中的内容创作开启全新创意可能性。”

TensorRT-LLM等 RTX AI Toolkit组件,已集成到生成式AI的热门开发者框架和应用中,包括Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga和Sanctum.AI。

用于内容创作的AI

去年,NVIDIA为最热门的Stable Diffusion用户界面之一的Automatic1111引入使用TensorRT的RTX加速。从本周开始,RTX还将加速广受欢迎的ComfyUI,与目前已推出的版本相比,性能最高可提升60%,与MacBook Pro M3 Max相比,性能提升至原来的7倍。

NVIDIA RTX Remix是一个MOD平台,可利用全景光线追踪技术、NVIDIA DLSS 3.5和物理精确材质,重制经典的DirectX 8和DirectX 9游戏。RTX Remix包括一个Runtime渲染器和RTX Remix工具包应用,可简化游戏资产和材质的修改过程。

▲去年,NVIDIA将 RTX Remix Runtime开源,允许Modder扩展游戏兼容性和提升渲染能力。

自2024年早些时候推出以来,已有2万名Modder使用该工具包重制经典游戏,在RTX Remix Showcase Discord上开发了超过130款RTX重制版游戏。

今年6月,NVIDIA将开放RTX Remix工具包的源代码,让Modder能够简化资产替换和场景重新布光的方式,增加RTX Remix资产摄取器支持的文件格式,并使用全新模型增强RTX Remix的AI纹理工具。

此外,NVIDIA还通过REST API使RTX Remix工具包的功能可访问,让Modder实时链接RTX Remix和Blender等数字内容创作工具、Hammer等Mod制作工具,以及ComfyUI等生成式AI应用。NVIDIA还为RTX Remix Runtime提供SDK,允许Modder将RTX Remix的渲染器部署到DirectX 8和DirectX 9经典版之外的其他应用和游戏中。

▲随着更多RTX Remix平台的开源,全球的Modder可创造更多令人惊叹的RTX重制版游戏。

RTX Video,超级清晰视频

NVIDIA RTX Video这项热门AI超分辨率功能,现在已作为 SDK 对所有开发者开放,可在Google Chrome、Microsoft Edge和Mozilla Firefox浏览器中使用。它帮助开发者原生集成AI,进行采样、锐化、降低压缩失真和高动态范围(HDR)转换。

视频编辑软件Blackmagic Design的DaVinci Resolve和Wondershare Filmora即将支持RTX Video,它将使视频编辑用户能够将低质量视频文件升级至4K分辨率,并将SDR源文件转换为HDR视频。此外,免费媒体播放器VLC media即将在其现有的超分辨率功能基础之上添加 RTX Video HDR 的支持。

▲NVIDIA在ComputeX 2024上宣布,将有更多的新游戏加入DLSS阵营,其中包括支持DLSS 3.5的《星球大战:亡命之徒》和支持DLSS 3的《漫威争锋》

FF-Ready Enthusiast GeForce Card发布

紧凑小型PC布局

在ComputeX上,NVIDIA还正式推出了之前提倡的SSF小型PC新生态系统的成员,SSF-Ready Enthusiast GeForce Card。

SSF-Ready Enthusiast GeForce Card的尺寸为紧凑型的304mm×151mm×50mm,用于组装紧凑的小型PC。目前包括影驰、技嘉、索泰等核心AIC厂商已经推出或计划推出涵盖RTX 4070到RTX 4080 SUPER的不同档次的SSF-Ready Enthusiast GeForce Card。

另外,在适配的机箱产品上,包括Tt、银欣、恩杰、迎广、联力等厂商也推出了SS-Ready的机箱产品。

▲诸多合作伙伴还推出了全新的RTX AI笔记本电脑

在6月2日的开幕前夕的传统预热演讲场上,NVIDIA的重心毫无疑问是将AI体现得淋漓尽致,围绕RTX GPU打造的全新AI生态圈也正在走向更成熟的未来。随着ComputeX 2024的逐步展开,RTX AI相信会成为本次展会上的一大核心亮点,《微型计算机》也将继续关注本次电脑展会的进展,并第一时间为大家带来最新的IT硬件科技资讯,敬请关注。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1