马斯克的xAI公司Colossus系统上线，由10万块Nvidia H100 GPU驱动

9月4日消息，近日，据外媒报道，埃隆·马斯克领导的xAI公司再次取得重大进展。该公司宣布，已经完成了一个名为Colossus的人工智能训练系统的组装，该系统配备了10万张英伟达的H100显卡。

（图片来源：xAI）

Colossus系统已于上周末正式上线，马斯克在X公司的一篇文章中宣布了这一里程碑。据称，该系统是目前世界上最强大的AI训练系统，其性能甚至超过了美国能源部的Aurora系统，Aurora是世界上最快的AI超级计算机。在5月份的基准测试中，Aurora在87%的硬件处于活动状态时达到了10.6 exaflops的最高速度。

Colossus系统的核心是英伟达的H100显卡，该显卡自2022年首次亮相以来，一直被认为是英伟达最强大的AI处理器。H100显卡的运行速度是英伟达上一代GPU的30倍，这得益于其Transformer Engine模块，这是一组专门优化的电路，用于运行基于Transformer神经网络架构的AI模型。

据悉，xAI公司的旗舰语言模型Grok-2目前正在15,000个GPU上进行训练。Colossus系统的10万张芯片预计将助力开发更强大的语言模型。xAI公司计划在年底前发布Grok-2的后续产品。