据外媒报道,最近马斯克向投资者透露,他创办的AI公司xAI计划建造超级算力工厂(Gigafactory of Compute),为下一代AI聊天机器人Grok提供算力支持。这个超级计算机计划连接10万块英伟达H100 GPU。
建成后,这一超级计算机的规模将至少是目前最大GPU集群的四倍,例如Meta为训练其AI大模型构建的集群,后者由英伟达的超6000个A100 GPU构成。马斯克此举背后,英伟达或成最大赢家。英伟达在最新季报中还宣布,全球将新增9台采用其Grace Hopper芯片的超级计算机。
超级计算机或用于训练Grok 3
马斯克表示,他希望在2025年秋季之前让超级计算机运行起来,并补充说xAI可以与甲骨文合作开发这台大型计算机。xAI是甲骨文最大的H100芯片服务器的租赁客户,已经使用了后者超过1.5万块H100芯片。
马斯克去年7月创立了xAI,专注于人工智能业务,旨在挑战微软支持的OpenAI和谷歌。去年11月,xAI推出首款AI大模型聊天机器人Grok,能实时连接到其名下的社交媒体平台X。
目前,Grok的最新版本为3月底发布的Grok 1.5,该版本实现了长上下文理解和高级推理能力,可以处理128K token的长上下文窗口。xAI官方博客表示:“对于构建能够理解世界的AGI(通用人工智能)来说,提高我们的多模态理解和生成能力是重要步骤。未来几个月,我们预计在图像、音频和视频等多模态中对这两种功能进行重大改进。”
马斯克此前透露,xAI正在训练的Grok 2已经耗费了约2万块H100 GPU,训练进程一度因芯片短缺受阻,预计于今年5月训练完成。未来进阶版本的Grok 3可能需要高达10万块H100 GPU。
多个AI巨头寻求构建超级计算机
3月底,有消息称,微软和OpenAI正在计划一个数据中心项目,该项目将包含一个拥有数百万专用服务器芯片的超级计算机,以支持OpenAI的人工智能技术。项目成本可能高达1000亿美元,包括一个名为Stargate(星际之门)的AI超级计算机,预计将于2028年启动。微软很可能负责资助该项目。
2022年初,Meta和英伟达发布了一个大型AI研究超级计算机,其连接了6080个A100 GPU,可以提供五百亿亿次级的AI计算性能。全面部署后,这一超级计算机成为最大的英伟达DGX A100客户系统,用于训练具有超过1万亿个参数的AI模型。
马斯克的特斯拉也构建了一个超级计算机Dojo,它由特斯拉自研的D1芯片构成,用于服务其自动驾驶业务。此前,特斯拉发布的算力规划显示,2023年7月Dojo正式投产。随后,特斯拉的算力规模将进入快速增长期,2024年2月进入全球前五,10月达到100EFLOPS,相当于30万块英伟达A100 GPU的算力总和。
构建超级计算机需要大量投资。近日,外媒报道称,据一位知情人士透露,xAI预计将于6月完成一轮融资,包括最新注入的现金在内,这轮融资可能使该公司的估值超过240亿美元。
在和OpenAI的竞争中,xAI还标榜其能够利用马斯克社交平台X的高质量数据,这对训练大语言模型来说至关重要。
英伟达或成最大赢家
马斯克欲打造的超级计算机计划连接10万块英伟达H100 GPU,英伟达或成最大赢家。
英伟达最新财报数据显示,公司第一财季(截至2024年4月28日)实现营收260亿美元,较去年同期增长262%;净利润148.1亿美元,同比上涨628%。
其中,第一财季英伟达数据中心收入创下225.63亿美元的纪录,较上一季度增长23%,同比涨幅高达427%。英伟达还在季报中宣布,全球将新增9台采用其Grace Hopper超级芯片的超级计算机。
美东时间周四,英伟达股价再度刷新历史新高,总市值达到2.56万亿美元(约合人民币18.54万亿元),超过在德国首次上市公司的总市值。
在新一届全球最节能超级计算机Green500榜单中,前三名的超级计算机均为新上榜者,均基于英伟达Grace Hopper打造。在榜单前10名的超级计算机中,有7个采用了英伟达技术;前50中有40台都使用了英伟达技术。
英伟达也对xAI表示了认可和支持。英伟达首席财务官科莱特·克雷斯(Colette Kress)在提及将首批体验英伟达下一代旗舰芯片Blackwell的客户名单时,特别提到了xAI。这份名单中还包括了OpenAI、亚马逊、谷歌等行业巨头。
责编:王时丹 | 审核:李震 | 监审:万军伟
(来源:上海证券报)