南方财经全媒体记者江月 上海报道时隔19个月,英伟达对AI芯片明星产品H100进行升级,推出H200芯片。由于AI芯片价格高昂、利润可观,并将在生成式AI发展中扮演关键角色,因此H200的发布引起科技市场和金融市场的双重关注。
当地时间11月13日,在国际超算大会SC23上,英伟达发布了新一代数据中心用GPU芯片H200。这款芯片采用当前最先进的存储技术HBM3e,在多款流行的生成式AI大模型上展现出前所未有的性能。
在2023年前三个季度中,H200的上一代产品H100成为科技市场上的当红硬件,给英伟达创造了数百亿美元的收入及或达到1000%的利润率。H200将从2024年第二季度起在全球售卖,或将成为下一款畅销芯片,并继续成为英伟达业绩增长的关键动力。
进入11月以来,在美联储暂缓加息的宏观背景下,英伟达股价继续上涨。按照11月13日收盘价每股486.2美元计算,英伟达目前市值达到1.2万亿美元。
H200芯片性能大升级
H200是一款新的GPU芯片,也是当今用于AI工作的核心硬件之一。此次技术升级反映出,当前的AI芯片市场主要围绕存储技术进行竞争。此外,除了训练能力之外,推理能力也日臻重要。
H200使用的存储技术是HBM3e,这种高宽带存储技术问世于2023年5月。当时,韩国存储巨头SK海力士率先宣布了这项技术,计划在2024年上半年投入规模化生产。在随后的7月26日和10月20日,另两大存储大厂美光和三星也相继宣布可以生产HBM3e产品。尽管如此,这种存储技术依然被三大巨头垄断,且在制造端受到产量制约。
存储技术正成为AI芯片升级的一大关键。在SC23会议上,英伟达副总裁Ian Buck直言:“如果要处理生成式AI的大量数据和高性能计算应用,高速、大容量的GPU存储是必要的配置。”
搭载HBM3e后,H200的存储容量升级至141GB,带宽升级至每秒4.8TB,而前一代H100存储容量最高为80GB,带宽为每秒3.35TB。
除此以外,申万宏源在11月14日的行业点评中称,H200相对H100进行了软件升级,大幅强化了推理功能和HPC性能,显著降低能耗和整体成本。
这种堆满“高精尖”技术的芯片,目前在AI大模型开发市场上尤为受欢迎。英伟达用一些市面流行的知名AI大模型进行了运行演示,结果显示,在参数量700亿的Llama 2大模型上,H200的推理速度比H100快90%;在参数量1750亿的GPT-3大模型上,H200的推理速度比H100快60%。
从技术上,H200将可以全面取代H100。同时,无论是在服务器里,还是在另一款超级芯片GH200中,H200都可以代替H100。
英伟达还宣布,亚马逊云AWS、谷歌云、微软Azure云和Oracle云,将在2024年开始成为首批用上H200的云服务商。
创造下一个“利润牛”
生成式AI正在促进全球开发AI大模型,性能优越的AI芯片成为半导体市场里的“抢手货”。H100芯片是2023年最受关注的AI芯片之一,其价格高昂、供小于求,堪称英伟达的“利润牛”。H200是否将继承H100的辉煌?
美国当地时间11月21日盘后,英伟达将发布有关8月至10月的2024财年第三财季财报。按照此前英伟达官方预测,这个季度的收入会达到约160亿美元、同比增幅高达170%。另外non-GAAP口径下的调整后毛利润率将达到72.5%,反映期内产品售价会进一步上涨。
在这份财报中,H100的表现十分关键。H100亮相于2022年3月22日,是英伟达设计的第九代数据中心GPU。自从2022年9月量产投入市场后,该芯片成为了市场上最受欢迎的AI训练芯片之一。
过去四个季度以来,H100芯片堪称英伟达收入和利润“支柱”,在其带动下,英伟达搭乘上生成式AI的发展浪潮,抵御住了半导体行业的下行周期,业绩逆势成长。
此前,美国金融机构Raymond James曾在一份报告中称,H100芯片成本仅3320美元,但英伟达对其客户的批量价格高达2.5万至3万美元,这导致H100利润率或高达1000%,也是英伟达有史以来“最赚钱”的一款芯片。
根据英伟达和台积电内部人士向媒体透露的信息,2023年英伟达将在全球范围内交付约55万块H100芯片。如果按照中位数售价2.75万美元计算,2023年英伟达或将从H100这一单品上获得151.25亿美元的销售收入。
在英伟达的财报中,数据中心和游戏一向是两大支柱性业务。而包含AI芯片在内的数据中心板块,在过去一年中对业绩的贡献率已经反超游戏。
在英伟达2024财年第一季度、第二季度,数据中心业务收入为42.84亿美元、103.2亿美元。数据中心产品包括H100、A100等GPU以及基于这些GPU的DGX系统性解决方案,此外还包括Grace CPU、Bluefield DPU等不同类型的数据中心芯片产品。
谁卡住英伟达脖子?
尽管H200的发布显示了英伟达继续“雄踞”市场的决心,但目前多个因素仍是H200发展头顶上的阴云。其中,先进封装端、HBM3e供应端的产能限制,或导致H200继续在市场上短缺。
招商电子等多家券商在H200发布后呼吁,投资者应关注全球HBM和先进封装产业链,因这两个市场产能紧缺,将成为H200未来出货量的“瓶颈”。
8月21日,SK海力士宣布已经向英伟达提供HBM3e DRAM芯片样品;10月,美光透露正在让英伟达验证其HBM3e产品。这反映出,两大巨头正争取在最先进的AI芯片上亮相。
不过,HBM市场上目前仅有SK、美光、三星竞争,这导致相关存储产品在供应量受限的同时,价格居高不下。根据TrendForce在8月发布的报告,2023年在HBM市场上,SK的全球市占率预计为46%至49%,三星与之齐平,剩余的4%至6%市场会被美光占据。除了英伟达以外,AMD、亚马逊、微软等巨头也都在竞购市场上供应不多的HBM3e。
在先进封装端,台积电CoWoS封装技术十分关键,这是一种2.5D封装技术,也是H100采用的封装技术。在7月下旬,台积电总裁魏哲家表示,虽然前端(制造端)产能充足,但后端(即高级封装)产能“较为紧张”,预计要到2024年底才能释放出新的产能。11月则有市场消息指出,因应英伟达、AMD、博通、迈威尔等多家客户的需求,台积电将把2024年的CoWoS封装产能提升到3.5万片,也就是较2023年增长120%。
尽管如此,CoWoS设备交付期仍长达8个月,这也导致台积电的相关封装产能会在2024年上半年持续吃紧。
H200的发布,也将拉动芯片产业链上其他多个环节。11月14日,招商电子在市场点评中称,应关注英伟达产业链相关的服务器ODM厂商、存储、PCBIC载板、连接器及线缆、散热、电源、模拟芯片、接口类芯片、RAID卡、功率器件等环节厂商。此外,国产算力虽短期内距离国际水平有较大差距,但建议持续关注关注国产GPU和CPU厂商及自主算力产业链相关公司。
更多内容请下载21财经APP
AbMole 2024-12-16
科盛光伏 2024-12-16