当前位置:首页|资讯

AMD发布Instinct MI325X和MI355X AI GPU,引领AI加速器市场

作者:锤刻创思发布时间:2024-10-11

AMD最新推出的Instinct MI325X AI GPU加速器,配备了256 GB的HBM3e内存,而明年的MI355X预计将配备288 GB内存。


AMD全力提升HBM3e内存容量

在"Advancing AI"活动中,AMD发布了全新的Instinct MI325X AI GPU加速器,这款产品在MI300X的基础上进行了多项升级。

AMD的Instinct平台已经获得了全球顶级AI公司的支持,并被Meta、OpenAI和微软等大品牌所使用。

AMD致力于在性能领导力、轻松迁移、开放生态系统和以客户为中心的产品组合方面取得进展,这使得公司获得了领先OEM和云合作伙伴的大力支持。

随着行业对AI的需求不断增长,AMD加快了下一代解决方案的推出。

搭载256 GB内存和CDNA 3架构的AMD MI325X


目前,AMD的MI300X系列在多种AI应用场景下的性能已经超越了英伟达的H100,提升了30%。通过在ROCm软件套件上的持续优化,AMD成功地从其旗舰加速器中释放出更多的潜力。现在,AMD准备在保持强大软件支持的同时,推出更出色的硬件产品。

接下来,让我们详细了解AMD Instinct MI325X,这是一款全新设计的加速器,它沿用了MI300X的基础设计和架构。MI325X采用了CDNA 3 GPU架构,可以看作是一次中期的技术升级。

它提供了256 GB的HBM3e内存,这种内存采用了16层高密度堆叠技术,能够提供高达6 TB/s的内存带宽。在性能方面,MI325X能够达到2.6 PFLOPs的FP8计算性能和1.3 PFLOPs的FP16计算性能,所有这些都集成在一颗拥有1530亿个晶体管的芯片上。

AMD预计Instinct MI325X AI GPU的生产将于2024年第四季度开始,相应的服务器解决方案将于2025年第一季度通过主要合作伙伴推出。

AI Instinct服务器将支持多达8个MI325X配置,最高可达2 TB的HBM3e内存,896 GB/s的Infinity Fabric带宽,48 TB/s的内存带宽,20.8 PFLOPs的FP8和10.4 PFLOPs的FP16性能。每个GPU的功耗也提升至1000W,这比MI300X的750-700W配置有了显著提高。

具体到性能,AMD声称Instinct MI325X AI GPU加速器在Mixtral 8x7B中比英伟达H200快40%,在Mistral 7B中快30%,在Meta Llama 3.1 70B LLMs中快20%。

一个8x MI325X平台在Llama 3.1 405B中比H200 HGX AI平台快40%,在70B推理测试中快20%。在AI训练方面,MI325X将提供与H200平台相似或高出10%的性能。

搭载288 GB内存和CDNA 4架构的AMD MI355X


明年,AMD计划推出一款全新的Instinct MI355X GPU加速器,专门针对AI工作负载设计,并将在3nm工艺节点上构建。这款GPU将采用CDNA 4架构。在规格方面,内存将升级到更高的容量,高达288 GB HBM3e,同时支持FP4/FP6数据类型。

AMD表示,CDNA 4架构在CDNA 3上提供了35倍的性能提升,AI计算能力提升了7倍,内存容量和带宽提升了50%,并且还带来了最新的网络效率进步。

在性能方面,AMD Instinct MI355X AI GPU将提供高达2.3 PFLOPs的FP16性能,比MI325X高出80%,而FP8性能也提升了80%,达到了4.6 PFLOPs。新的FP6和FP4计算性能达到了9.2 PFLOPs。

MI355X在内存容量和内存带宽上都提升了50%,速度高达8 TB/s,超过了当前一代MI300X。首批搭载这八个MI355X GPU的平台将在2025年下半年推出,提供高达2.3 TB的HBM3E内存容量,64 TB/s的带宽,18.5 PFLOPs的FP16,37 PFLOPs的FP8,以及74 PFLOPs的FP6/FP4计算。

ROCm 6.2继续为Instinct提升AI性能


在软件方面,AMD宣布了其最新的ROCm 6.2生态系统,该系统在推理和训练中的一系列AI工作负载中平均性能提升了2.4倍,最高可达2.8倍。

最后,AMD仍在确认其在2026年发布的Instinct MI400,作为"CDNA Next"部分,而不是最近披露的UDNA架构名称。也许现在使用UDNA命名还为时过早,因为AMD还没有正式宣布,尽管他们的一位顶级代表已经确认了这一点,所以我们将看看未来会如何发展。

话虽如此,AMD似乎要全力以赴地投入到AI热潮中,未来Instinct产品将与英伟达等公司展开激烈的竞争,同时也在努力追赶一直在努力跟上的英特尔。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1