最强AI芯片英伟达H200,Llama2-70B推理提速90%,2024年二季度发货
机器之心报道
编辑：蛋酱、陈萍
芯片巨头英伟达，又打出一张王牌。
英伟达在 2023 年全球超算大会（SC2023）上发布了目前世界上最强的 AI 芯片 H200。
这款新的 GPU 基于 H100 进行了升级，内存带宽提高了 1.4 倍，内存容量提高了 1.8 倍，提高了处理生成式 AI 任务的能力。该公司高性能计算和超大规模数据中心业务副总裁 Ian Buck 表示：「英伟达在硬件和软件上的创新正在缔造新型 AI 超算。」
英伟达在官方博客中表示：NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能，可增强生成式 AI 和高性能计算 (HPC) 工作负载。作为首款采用 HBM3e 的 GPU，H200 借助更大更快的内存可加速生成式 AI 和大型语言模型 (LLM) 的运行，同时推进 HPC 工作负载的科学计算。
除此以外，Buck 还展示了一个服务器平台，该平台通过 NVIDIA NVLink 互连连接四个 NVIDIA GH200 Grace Hopper 超级芯片。四核配置在单个计算节点中配备了多达 288 个 Arm Neoverse 内核和 16 petaflops 的 AI 性能，以及高达 2.3 TB 的高速内存。
大模型推理加速 1.9 倍
NVIDIA H200 基于 NVIDIA Hopper 架构，与 H100 相互兼容，这意味着已经使用先前模型进行训练的人工智能公司将无需更改其服务器系统或软件即可使用新版本。
H200 是首款以 4.8 TB/s 速度提供 141 GB HBM3e 内存的 GPU，这几乎是 NVIDIA H100 Tensor Core GPU 容量的两倍。H200 还配备了高达 141GB 超大显存，与 H100 的 80GB 相比，容量几乎翻倍，并且带宽还增加了 2.4 倍。
H200 更大更快的内存可加速生成式 AI 和 LLM 的运行，同时以更高的能源效率和更低的成本推进 HPC 工作负载的科学计算。
例如，在处理 Llama2 等 LLM 时，H200 的推理速度比 H100 GPU 提高了近 2 倍。
运行 GPT-3 等模型时，NVIDIA H200 Tensor Core GPU 的推理性能提高了 18 倍。不仅如此，在其他生成式 AI 基准测试中，还能在 Llama2-13B 上每秒可处理 12000 个 tokens。
内存带宽对于 HPC 应用程序至关重要，因为它可以实现更快的数据传输，减少复杂的处理步骤。对于那些内存密集型 HPC 应用如模拟仿真、人工智能研究等，H200 更高的内存带宽可确保高效地访问和操作数据，与 CPU 相比，给出结果的时间最多可加快 110 倍。
随着 H200 的推出，能源效率和 TCO 达到了新的水平。
下图为 H200 一些参数介绍：
英伟达表示，从明年开始，亚马逊网络服务、谷歌云、微软 Azure 和甲骨文云基础设施将成为首批部署基于 H200 实例的云服务提供商。
官网信息显示，H200 将于 2024 年第二季度开始向全球系统制造商和云服务提供商供货。但对于 H200 的价格，英伟达还没有透露具体数字。CNBC 报道称，上一代 H100 的售价估计为每台 2.5 万美元至 4 美元，需要数千台才能以最高水平运行。
关于 H200 是否会像 H100 一样供应紧张，英伟达对此并没有给出答案。
在给 The Verge 的邮件中，英伟达发言人 Kristin Uchiyama 表示 H200 的亮相不会影响 H100 的生产：「你会看到我们全年的总体供应量有所增加，并且我们将继续长期购买供应。」
最新一期超算 Top500 出炉
8 成新上榜系统使用英伟达 H100
与此同时，SC23 大会还发布了最新一期超算 TOP500 榜单。Frontier 系统仍保持榜首位置，并且仍然是榜单上唯一的百亿亿次计算机，但前十名的格局已经被五个新的或升级后的系统改变。
榜单地址：https://www.top500.org/lists/top500/2023/11/
在新一期榜单中，使用英伟达技术的超算系统数量达到了有史以来的最高水平 379 台，其中包括 49 台新上榜超算中的 38 台。这一数字在今年 5 月份是 372 台。
英伟达为这些系统提供了超过 2.5 exaflops 的高性能计算性能，高于 5 月份的 1.6 exaflops。其中，在前 10 名中，英伟达就贡献了近 1 exaflops 的高性能计算性能和 72 exaflops 的 AI 性能。
比如，微软 Azure 的 Eagle 系统在 NDv5 实例中使用了 H100 GPU，以 561 petaflops 的成绩位列第 3，在新上榜的超级计算机中遥遥领先，巴塞罗那的 Mare Nostrum5 排名第 8，英伟达 Eos（最近在 MLPerf 基准测试中创造了新的 AI 训练记录）排名第 9。
基于强大的性能，英伟达未来将为世界各地的超算中心提供更好的算力服务。就在 SC23 大会上，多家超算中心宣布了正在为自己的超算集成 GH200 系统。
比如，德国尤利希超算中心将在「木星」（JUPITER）上使用 GH200 超级芯片，这将成为欧洲第一台百亿亿次超级计算机。
参考链接：
https://blogs.nvidia.com/blog/efficient-ai-supercomputers-sc23/
https://www.theverge.com/2023/11/13/23958823/nvidia-h200-ai-gpu-announced-specs-release-date