芯片战场｜英伟达AI芯片H200亮相：性能飙升近一倍，将于明年二季度上市
南方财经全媒体记者江月 上海报道时隔19个月，英伟达对AI芯片明星产品H100进行升级，推出H200芯片。由于AI芯片价格高昂、利润可观，并将在生成式AI发展中扮演关键角色，因此H200的发布引起科技市场和金融市场的双重关注。
当地时间11月13日，在国际超算大会SC23上，英伟达发布了新一代数据中心用GPU芯片H200。这款芯片采用当前最先进的存储技术HBM3e，在多款流行的生成式AI大模型上展现出前所未有的性能。
在2023年前三个季度中，H200的上一代产品H100成为科技市场上的当红硬件，给英伟达创造了数百亿美元的收入及或达到1000%的利润率。H200将从2024年第二季度起在全球售卖，或将成为下一款畅销芯片，并继续成为英伟达业绩增长的关键动力。
进入11月以来，在美联储暂缓加息的宏观背景下，英伟达股价继续上涨。按照11月13日收盘价每股486.2美元计算，英伟达目前市值达到1.2万亿美元。
H200芯片性能大升级
H200是一款新的GPU芯片，也是当今用于AI工作的核心硬件之一。此次技术升级反映出，当前的AI芯片市场主要围绕存储技术进行竞争。此外，除了训练能力之外，推理能力也日臻重要。
H200使用的存储技术是HBM3e，这种高宽带存储技术问世于2023年5月。当时，韩国存储巨头SK海力士率先宣布了这项技术，计划在2024年上半年投入规模化生产。在随后的7月26日和10月20日，另两大存储大厂美光和三星也相继宣布可以生产HBM3e产品。尽管如此，这种存储技术依然被三大巨头垄断，且在制造端受到产量制约。
存储技术正成为AI芯片升级的一大关键。在SC23会议上，英伟达副总裁Ian Buck直言：“如果要处理生成式AI的大量数据和高性能计算应用，高速、大容量的GPU存储是必要的配置。”
搭载HBM3e后，H200的存储容量升级至141GB，带宽升级至每秒4.8TB，而前一代H100存储容量最高为80GB，带宽为每秒3.35TB。
除此以外，申万宏源在11月14日的行业点评中称，H200相对H100进行了软件升级，大幅强化了推理功能和HPC性能，显著降低能耗和整体成本。
这种堆满“高精尖”技术的芯片，目前在AI大模型开发市场上尤为受欢迎。英伟达用一些市面流行的知名AI大模型进行了运行演示，结果显示，在参数量700亿的Llama 2大模型上，H200的推理速度比H100快90%；在参数量1750亿的GPT-3大模型上，H200的推理速度比H100快60%。
从技术上，H200将可以全面取代H100。同时，无论是在服务器里，还是在另一款超级芯片GH200中，H200都可以代替H100。
英伟达还宣布，亚马逊云AWS、谷歌云、微软Azure云和Oracle云，将在2024年开始成为首批用上H200的云服务商。
创造下一个“利润牛”
生成式AI正在促进全球开发AI大模型，性能优越的AI芯片成为半导体市场里的“抢手货”。H100芯片是2023年最受关注的AI芯片之一，其价格高昂、供小于求，堪称英伟达的“利润牛”。H200是否将继承H100的辉煌？
美国当地时间11月21日盘后，英伟达将发布有关8月至10月的2024财年第三财季财报。按照此前英伟达官方预测，这个季度的收入会达到约160亿美元、同比增幅高达170%。另外non-GAAP口径下的调整后毛利润率将达到72.5%，反映期内产品售价会进一步上涨。
在这份财报中，H100的表现十分关键。H100亮相于2022年3月22日，是英伟达设计的第九代数据中心GPU。自从2022年9月量产投入市场后，该芯片成为了市场上最受欢迎的AI训练芯片之一。
过去四个季度以来，H100芯片堪称英伟达收入和利润“支柱”，在其带动下，英伟达搭乘上生成式AI的发展浪潮，抵御住了半导体行业的下行周期，业绩逆势成长。
此前，美国金融机构Raymond James曾在一份报告中称，H100芯片成本仅3320美元，但英伟达对其客户的批量价格高达2.5万至3万美元，这导致H100利润率或高达1000%，也是英伟达有史以来“最赚钱”的一款芯片。
根据英伟达和台积电内部人士向媒体透露的信息，2023年英伟达将在全球范围内交付约55万块H100芯片。如果按照中位数售价2.75万美元计算，2023年英伟达或将从H100这一单品上获得151.25亿美元的销售收入。
在英伟达的财报中，数据中心和游戏一向是两大支柱性业务。而包含AI芯片在内的数据中心板块，在过去一年中对业绩的贡献率已经反超游戏。
在英伟达2024财年第一季度、第二季度，数据中心业务收入为42.84亿美元、103.2亿美元。数据中心产品包括H100、A100等GPU以及基于这些GPU的DGX系统性解决方案，此外还包括Grace CPU、Bluefield DPU等不同类型的数据中心芯片产品。
谁卡住英伟达脖子？
尽管H200的发布显示了英伟达继续“雄踞”市场的决心，但目前多个因素仍是H200发展头顶上的阴云。其中，先进封装端、HBM3e供应端的产能限制，或导致H200继续在市场上短缺。
招商电子等多家券商在H200发布后呼吁，投资者应关注全球HBM和先进封装产业链，因这两个市场产能紧缺，将成为H200未来出货量的“瓶颈”。
8月21日，SK海力士宣布已经向英伟达提供HBM3e DRAM芯片样品；10月，美光透露正在让英伟达验证其HBM3e产品。这反映出，两大巨头正争取在最先进的AI芯片上亮相。
不过，HBM市场上目前仅有SK、美光、三星竞争，这导致相关存储产品在供应量受限的同时，价格居高不下。根据TrendForce在8月发布的报告，2023年在HBM市场上，SK的全球市占率预计为46%至49%，三星与之齐平，剩余的4%至6%市场会被美光占据。除了英伟达以外，AMD、亚马逊、微软等巨头也都在竞购市场上供应不多的HBM3e。
在先进封装端，台积电CoWoS封装技术十分关键，这是一种2.5D封装技术，也是H100采用的封装技术。在7月下旬，台积电总裁魏哲家表示，虽然前端（制造端）产能充足，但后端（即高级封装）产能“较为紧张”，预计要到2024年底才能释放出新的产能。11月则有市场消息指出，因应英伟达、AMD、博通、迈威尔等多家客户的需求，台积电将把2024年的CoWoS封装产能提升到3.5万片，也就是较2023年增长120%。
尽管如此，CoWoS设备交付期仍长达8个月，这也导致台积电的相关封装产能会在2024年上半年持续吃紧。
H200的发布，也将拉动芯片产业链上其他多个环节。11月14日，招商电子在市场点评中称，应关注英伟达产业链相关的服务器ODM厂商、存储、PCBIC载板、连接器及线缆、散热、电源、模拟芯片、接口类芯片、RAID卡、功率器件等环节厂商。此外，国产算力虽短期内距离国际水平有较大差距，但建议持续关注关注国产GPU和CPU厂商及自主算力产业链相关公司。
更多内容请下载21财经APP
