自2022年开始,人工智能全面爆发,AI开始走进到普通大众的身边,进入到发展的高速路,于是我们便看到了上游产业对AI算力的孜孜以求,早已布局AI的硬件厂商NVIDIA作为AI算力的“至优解”,通过强大的技术能力重塑了硬件行业的格局,股价、市值在这两年来一路飙升。截止6月中旬,NVIDIA总市值达到3.24万亿美元,是Intel市值1296万亿美元的25倍,是AMD市值2580亿美元的12.5倍,远远甩开了他在PC行业的两个老对手。
在今年ComputeX大会开幕前,NVIDIA以“加速一切”为主题召开了演讲,强调了AI在未来的重要性以及NVIDIA将推动新一轮的技术进步,并展示了产品路线图,助力AI工厂、数据中心、机器人工厂降本增效。
不过,这些有点“宏观叙事”的介绍仿佛还离我们普通人相距甚远,我们既不是大模型公司的高层决策者也不是寻求增加效率的数字化工厂主,现阶段,NVIDIA能为我们提供什么样的AI应用体验呢?这个答案我们移步到NVIDIA的展台就能找到答案了。
总体来讲,通过GeForce RTX 40系列GPU强大的AI性能,在本地AIGC、游戏等场景中可以为我们带来前所未有的体验,还为高性能MINI PC发布全新标准。
ChatRTX是一款运行在本地的AI对话应用,不过ChatRTX不同于其他软件只有运行加载大语言模型的能力,在此基础上,通过GeForce RTX 40系列GPU的加速,ChatRTX还具备Retrieval-Augmented Generation检索增强生成功能,可以对本地PC中的文档、笔记等数据进行学习,并由LLM大语言模型驱动进行反馈。
例如在下面的视频中就是针对本地数据的显示,NVIDIA ACE NIM推理微服务是在这次展会中刚刚发布的一个项目(文章之后我们也会介绍到),在ChatRTX中加载选择Llama 2 13B模型,问及NVIDIA ACE相关的问题时,其回答是完全错误的,这是因为Llama 2 13B模型在发布时,NVIDIA ACE还没有公布,所以它的回答是错误的。但我们可以将一些含有Nvidia ACE相关的文件放到本地的硬盘中,选择这些文件所在的目录后,借由RTX显卡便可以对这些文件进行学习,再问及相同的有关NVIDIA ACE的问题时便可以回复准确,并且给出本地文件的准确位置。
在视频的后半段,还展现了ChatRTX的本地检索功能,通过语音输入,可以精准查找出符合描述的本地图片,例如视频中演示人通过语音要求查找出“Pictures of hiking”,即户外徒步的照片,ChatRTX便查找出了相关的本地图片。
ChatRTX完全在本地运行,并且不单单具备运行各种LLM大语言模型的“常规功能”,还可以检索或生成针对于用户本地数据的内容,极大程度的拓宽了本地AI对话的应用场景,并且可保护用户的隐私。
NVIDIA正式开始支持广受欢迎的ComfyUI了,并且可以支持更多更好玩的AI生图玩法,例如我们在展台里体验的“头像生成”功能(下方视频可查看),通过摄像头拍摄到自己的头像,然后根据示意图、关键词生成了我们自己的“超级英雄”形象。
根据NVIDIA自己的描述,由RTX显卡加速下的ComfyUI性能可提升60%,生图时间要远低于苹果的M3 Max或M3 Pro,具体到我们这次的体验,6张图的生成用时大概在20秒左右。
DLSS 3.5是在DLSS 3 帧生成技术的基础上加入了光线重构技术,简单点来说,光线重构技术是专为游戏中的“光线反射”开发的AI模型,通过AI训练识别各类光线,解决人工设计的光线模拟质量低、噪点多的问题,从而提升游戏中光线反射的真实度、画面质量、清晰度以及帧数表现。
我们分别来看下在开启和关闭DLSS 3.5之后,可以为画面与帧数带来多大的提升。
首先是画面光影效果:
在开启DLSS 3.5后,光的反射更加清晰与真实了,整个画面也会明亮许多,尤其是物体反射的边缘位置,模糊和锯齿都被优化了许多。
左:关闭DLSS 3.5 右:开启DLSS 3.5
同场景下,开启DLSS 3.5后,帧数从33帧上升到了110帧左右,有3倍多的帧数提升。
NVIDIA ACE生成式AI微服务旨在为游戏、娱乐、医疗、各类客户服务等场景提供数字人服务,其中包括:
运行在本地RTX GPU的:
Riva ASR、TTS、NMT:用于自动语音识别、文本到语音转换、翻译。
mniverse RTX:用于实时路径追踪,以制作逼真的皮肤和毛发。
运行在云端服务的:
Nemotron LLM:用于语言理解,并根据上下文生成回复。
Audio2Face:根据音轨制作栩栩如生的面部动画。
另外还有两项全新推出的技术:
Audio2Gesture,用于根据音轨生成肢体手势
Nemotron-3 4.5B,45亿的小语言模型,为低延迟、本地端RTX AIPC推理设计。
现场展示了两个Nvidia ACE的DEMO,可以看以下两个视频:
这是由Inworld制作的一个酒店大堂的场景,其中拥有诸多的NPU与场景供玩家进行对话、探索,每一个角色都有自己的设定和背景故事。
第二个是由完美世界制作的DEMO,可以跟一位来自部落的公主进行对话,支持中文。
NVIDIA与Studio Wildcard合作,在现场展示了《方舟:生存飞升》的G-Assist 项目DEMO。
在这个DEMO中,G-Assist项目可以帮助玩家给出在当前进度下的游玩建议、给出有关游戏的背景知识、某个物品该如何打造等等游戏内相关的内容,让玩家可以直接在游戏中就可以“查攻略”,例如下面的视频,演示者通过语音输入,询问G-Assist项目“游戏初期最好的武器是什么?该如何制作它?”。
除了游戏中的内容外,G-Assist项目还可以给出游戏的平均功耗、帧率曲线图,也可以对G-Assist项目提出游戏帧率的要求,让G-Assist项目根据玩家需求调整画质,从而提升硬件效能。
Assist项目可以讲是目前游戏场景中数一数二的AI助手,可以在游戏内提供攻略,通过AI识别游戏内容、游戏攻略,给出游玩建议,还可以对游戏的硬件性能智能调节,这是实实在在为游戏玩家所设计的AI应用。
SFF-Ready是NVIDIA为高性能小尺寸PC发布的全新标准,旨在为紧凑型机箱爱好者选择硬件时提供兼容性方面的建议。
显卡方面,需要满足以下条件的尺寸,并且级别在GeForce RTX 4070及以上,目前已经有36款来自不同厂商的显卡经过认证:
另外,还有23款来自不同厂商的机箱经过SFF-Ready认证。
作为AI领域硬件的绝对龙头,NVIDIA在软件与技术上面也在积极提升普通用户的使用体验,本次的ComputeX NVIDIA亲自下场打样,给大家伙展示一下行业巨头的技术能力,以RTX显卡驱动,在游戏、创作、本地AI助手等方面为玩家、创作者提供了更多玩法。让我们共同期待NVIDIA能够为我们带来更多更好的硬件以及更有趣、更方便使用的应用吧。