当前位置:首页|资讯|英伟达|生成式AI

英伟达公布截至2027年的GPU与互联技术路线图

作者:反二侠发布时间:2024-06-05


在计算、网络和图形技术发展史上,英伟达曾经先后做出过卓越而独特的贡献。但如今的英伟达正掌握着前所未有的巨量资金,并凭借其自身架构、工程与供应链优势而在生成式AI市场上处于领先地位,因此能够随心所欲地制定几乎任何符合其发展规划的技术路线图。

其实从本世纪初开始,英伟达就已经成为市场上极为成功的创新厂商,单凭数据中心计算领域之外的消费级市场已经赚得盆满钵满。但高性能计算(HPC)研究人员还是成功将英伟达推向了加速计算领域,而后AI研究人员又凭借GPU计算创造出一个全新市场。从历史角度来看,这一市场已经酝酿了四十年,期待以合理的价格对超大规模数据执行海量计算,从而真正将愈发强大的思考机器带入每一个人的日常生活。

这不禁让我们想到Danny Hillis、Marvin Minksy和Sheryl Handler等行业先驱,他们早在上世纪80年代就曾尝试制造这样的机器,创立了Thinking Machines以推动AI处理,希望在传统的HPC模拟与建模应用之外开辟出新的智能空间。还有Yann LeCun,他成功在AT&T贝尔实验室创造出卷积神经网络。但当时的他们既没有充足的数据,也不具备相应的计算能力来开发如今我们所熟知的现代AI。当时的黄仁勋还在存储芯片制造商LSI Logic公司担任董事,随后成为AMD的CPU设计师。而就在Thinking Machines于90年代初陷入困境并最终破产之后,黄仁勋在圣何塞高速公路旁的一家Denny’s餐厅里遇见了Chris Malachowsky和Curtis Priem,三人最终联合创立了英伟达。意识到研究领域及超大规模社区中蕴藏着新兴的AI技术机遇,英伟达公司决定构建系统软件及底层大规模并行硬件,希望能让这场自计算技术发展之初就伴随而生的AI革命之梦落地生根、开花结果。

AI可以说是人们一直以来所追求的终极计算形态,也代表着我们所期待的发展奇点。如果其他星球上也有生命,那这些生命也一定会进化至拥有大规模毁灭性武器、并创造出AI技术的水平,而且二者很可能是相辅相成、互为因果。也正是这道技术门槛,包括对这两项技术的处理方式,将决定一个生物种群能否在大规模灭绝事件当中幸存下来。

前面聊的这些似乎跟本文讨论芯片制造商路线图的主旨有些偏离,但并非如此,我们正生活在一个前所未见的有趣时代。

在本届于中国台北召开的年度Computex贸易展主题演讲当中,英伟达公司联合创始人兼CEO黄仁勋再次强调将生成式AI革命,也就是他所谓的第二次工业革命作为时代背景,希望一窥AI、特别是英伟达硬件的未来。我们也由此了解到英伟达的GPU与互连技术路线图,而且据称这些内容跟黄仁勋以往的演讲一样,都是在最后一刻才被确定下来。

技术革命已经不可避免

黄仁勋在演讲中提醒我们,生成式AI的关键在于规模,并强调2022年底的ChatGPT时刻完全是技术和经济双重驱动下的必然结果。具体来讲,要想实现ChatGPT这样的突破性时刻,首先要求GPU性能实现大幅提升,之后要在此基础上实现庞大的GPU产能。英伟达在性能层面确实取得了成功,而性能是决定AI训练与推理可行性的前提。更重要的是,强大的性能显著降低了大语言模型在生成响应token时所耗费的能耗。下面我们具体来看:

从“Pascal”P100 GPU到“Blackwell”B100 GPU之间相隔了八年,期间GPU性能提高了1053倍。最新的B100 GPU将于今年晚些时候正式出货,并持续供应至2025年。(图表上展示的数字为1000倍,但实际并不准确。)

其中部分性能提升是通过降低浮点精度实现的——具体降幅为四分之三,即由Pascal P100、Volta V100和Ampere A100 GPU中的FP16格式转变为Blackwell B100中使用的FP4格式。如果忽略精度降低的部分,那么实际性能提升将只有263倍,但精度降低并不会对大语言模型的性能造成显著影响,而这要归功于数据格式、软件处理以及硬件层面的一系列数学“魔法”。另外这里要强调,相较于这八年以来CPU每代核心性能提升10%到15%、核心数量增加25%到30%的成绩,GPU的发展已经相当值得赞叹。毕竟如果按两年为一个升级周期计算,这八年间CPU的吞吐量仅仅增长了4到5倍。

从上图中可以看到,单位工作负载的功耗降低成为另外一项关键指标。因为如果没有足够的能源支撑系统,自然也就没有实用层面的价值。单个token的电力成本必须降低,也就是说大语言模型在生成每个token时所消耗电量的降幅,必须要比性能提升的速度更快。

在主题演讲中,黄仁勋公布了更加深入的背景信息。在Pascal P100 GPU上生成一个token需要1.7万焦耳,大致相当于将两只灯泡点亮两天的耗电量。而平均每个单词大约对应3个token。所以如果要生成大量单词,就相当于要点亮许许多多个灯泡!现在大家应该理解为什么八年之前,我们根本不可能在现实任务上拥有运行良好的大语言模型了。下面来看由1.8万亿参数、8万亿token数据驱动并训练的GPT-4混合专家大模型的当前运行功率:

如果使用P100 GPU集群,那么这样的模型运转起来需要超过1000千兆瓦时,耗电量相当恐怖。

但黄仁勋解释道,在Blackwell GPU的帮助下,企业客户能够在约10000张GPU上用约十天时间就训练出这套GPT-4 1.8T混合专家模型。

而如果AI研究人员和英伟达没有发现降低精度的秘密,那么在这8年时间里,性能提升只能达到250倍左右。

另外,降低能源成本跟降低系统成本还不一样。在传统摩尔定律的末期,这两者的实现难度已经变得越来越高。所谓摩尔定律,是指每18到24个月晶体管的尺寸会进一步缩小,因此令芯片成本更低、性能更强。现如今,计算复合体的尺寸已经逼近光刻工艺的极限,单个晶体管的制造成本也变得越来越昂贵,自然拉动计算设备的价格水涨船高。而且除了先进封装技术之外,HBM内存也成为成本结构中的又一个大头。

以SXM版本的各代GPU(注意,不是PCI-E版本)为例,P100在初发布时的成本约为5000美元,V100成本约为10000美元,A100来到约1.5万美元,而H100的成本则在2.5万到3万美元之间。最新一代B100的成本预计将在3.5万至4万美元之间——黄仁勋本人曾在今年早些时候接受采访时,大致提到过Blackwell的这一价格区间。

黄仁勋并没有在演讲当中具体公布,各代产品需要多少张GPU来训练GPT-4 1.8T混合专家模型,包括这些GPU在运行期间产生的电力成本。但我们根据他提出的大约需要1万张B100、耗时10天训练GPT-4 1.8T混合专家模型的结论,推衍制作出了下面这份电子表格。我们一起来看:

在过去8年当中,GPU的价格上涨了7.5倍,但性能却提高了1000多倍。因此现在使用Blackwell系统能在十天左右时间里训练出GPT-4这样拥有1.8万亿参数的大语言模型,但短短两年前Hopper刚刚亮相之时,想在几个月时间里训练出拥有数千亿参数的模型都还十分困难。另外前后对比,两年之间GPU集群的系统成本和运行电力成本基本相当。(GPU约占AI训练系统成本的一半,因此采购1万张Blackwell GPU系统大约需要8亿美元,而运行10天的电费约为54万美元。如果减少GPU采购量,那么单位时间之内的电费当然可以相应降低,但总训练时长也会随之增加,同样会令成本继续上升。)

所以在客户来看,GPU升级就成一块既没便宜可占、又没办法直接放弃的“鸡肋”。

其实英伟达也面临着类似的难题。黄仁勋在本届Computex主题演讲中坦言,哪怕打造出了Hopper H100 GPU平台这款“有史以来最成功的数据中心处理器”,英伟达也一刻都不能停止前进的脚步。

旁注:我们不妨将Hopper/Blackwell的投资周期跟六十年前的IBM System/360进行一番比较。我们之前曾经解释过,IBM当时也押下了公司历史上规模最大的赌注。1961年,IBM着手推动的“下一产品线”研发在那整个十年之间共烧掉了超过50亿美元,而当时蓝色巨人一年的总收入也只有22亿美元。IBM之所以成为华尔街第一家蓝筹公司,就是因为其投入整整两年的收入和未来二十年的利润来开发System/360。没错,最终成果仍有缺憾和不足,但还是彻底改变了企业数据处理的基本思路。当时按IBM最乐观的想法,System/360应该能在60年代末为其带来600亿美元的销售额(以换算之后的2019年美元购买力计算),但实际销售额达到惊人的1390亿美元,利润则在520亿美元左右。

英伟达无疑为数据中心计算的第二阶段掀起了更大的波澜。而这位新时代下的最大赢家,会不会成为绿筹企业中的典范?

一切抗拒都虚弱无力

无论是英伟达还是其竞争对手、包括客户,都无法抗拒AI掀起的巨大引力以及潜在利润与生产力增长的可能性。而且如今的生成式AI已经不是在用耳畔低语的方式“蛊惑人心”,而是站在房顶上冲着全世界“疯狂布道”。

因此,英伟达必将加快步伐、突破极限。凭借手上250亿美元的现金流和年内预计超1000亿美元的销售额,还有未来大概率能够实现的500亿美元新增资金储备,相信英伟达能够引领我们开疆拓土、拥抱未来。

“在这个令人难以置信的增长时期,我们希望继续坚守性能提升路线,不断降低训练成本和推理成本,并努力扩展AI功能以供更多企业使用。性能水平越高,成本的下降幅度也就越大。”

而从我们前面整理的表格来看,情况的确如此。

以下是更新之后的英伟达平台路线图:

可能不太好理解,让我们具体分析一番。

从Hopper一代开始,最早的H100发布于2022年,采用六层HBM3内存并配备一个拥有900 GB/秒端口的NVSwitch以实现互连,同时采用400 Gb/秒端口的Quantum X400(之前被称为Quantum-2)与ConnectX-7网络接口卡。到2023年的H200,则升级为具有更高容量和带宽的六层堆叠HBM3E内存,得以提高H200封装中底层H100 GPU的实际性能。其时BluleField 3 NIC也已经问世,为网络接口卡添加了Arm核心以执行部分附加工作。

到2024年,Blackwell GPU当然会采用8层堆叠HBM3e内存,同时辅以1.8 TB/秒端口的NVSwitch 5、800 Gb/秒的ConnectX-8,以及采用800 GB/秒端口的Spectrum-X800及Quantum-X800交换芯片。

而从现在的路线图中可以看到,2025年B200(即图中的Blackwell Ultra)将采用高度为12层裸片的8层堆叠HBM3e内存。据推测,B100中的堆叠高度为8层裸片,换算下来Blackwell Ultra上的HBM内存容量至少会增加50%,实际可能更多,具体取决于所使用DRAM的容量。此外,该HBM3e内存的时钟速率可能也会更高。英伟达对其Blackwell系列的内存容量一直含糊其辞,但从今年3月Blackwell发布会上的情况来看,B100估计将配备192 GB内存和8 TB/秒带宽。而对于未来的Blackwell Ultra,相信内存速率将进一步提升,实际数字甚至可能达到288 GB容量加9.6 TB/秒带宽。

我们还推测,Ultra版本在流式多处理器(SM)方面也将有所改进,因此其性能应该会略高于前代非Ultra产品。

英伟达还将在2025年推出基线性能更强的Spectrum-X800以太网交换芯片,可能配备6个ASIC来建立无阻塞架构,借助这种主流设计思路将总带宽再翻一倍。这意味着单一交换芯片所能支持的端口数量,或者每端口所能提供的带宽也将随之倍增。

2026年,我们将迎来英伟达的“Rubin”R100 GPU,这款产品在去年公布的路线图中被称为X100。当时我们就猜测,所谓X只是个临时占位符,并没有确切的含义。事实证明的确如此。Rubin GPU将采用HBM4内存并配合8层堆叠架构,每一层包含12个DRAM;而2027年的Rubin Ultra GPU将把HBM4内存堆叠数量提升至10层以上,甚至可能更高(但路线图中并未展示)。

2026年还将有“Vera”CPU问世。作为“Grace”CPU的继任产品,Vera代表英伟达推出的更加强大的Arm服务器CPU。与之匹配的将是NVSwitch 6芯片,采用3.6 TB/秒端口,ConnectX-9端口的运行速率为1.6 Tb/秒。有趣的是,路线图中还提到一款名为X1600 IB/以太网交换芯片的产品,这可能意味着英伟达正尝试将InifniBand与以太网ASIC融合起来,这几乎就是十年之前Mellanox的研发思路。又或者英伟达只是单纯想要勾起观众们的好奇心。继续将目光投向2027年,潜在的发展方向还包括Ultra Enthernet Consortium将全面支持NIC和交换芯片,甚至可能通过UALink交换机实现GPU在节点之内及跨机架间的连接。

作为八大科技巨头共同打造的、用于对抗英伟达的交换技术,让GPU巨头采用UALink当然有点荒谬。但谁知道呢,毕竟技术行业从来不缺少出人意料的故事。



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1