当前位置:首页|资讯|GPT-4|人工智能

仅用19天,全球最大AI算力集群建成!10万块液冷H100 GPU上线,价值将超30亿美元,算力是GPT-4的20倍【附智算中心技术架构分析 】

作者:前瞻网发布时间:2024-07-24

图片来源:摄图网

算力和人工智能芯片是人工智能技术发展中的两个关键方面。算力指的是计算机系统处理数据和执行指令的能力,对于人工智能应用来说,需要大量的算力来处理复杂的数据和算法。人工智能芯片则是专门为人工智能任务设计的芯片,具有高效的并行计算能力和低能耗特性。这两者密切相关,因为人工智能应用需要大量的算力支持,而人工智能芯片能够提供高效的计算能力。因此,算力和人工智能芯片的发展相辅相成,共同推动了人工智能技术的进步和应用。

当地时间7月22日,“硅谷狂人”马斯克在X平台上发文称赞了xAI、X、英伟达,以及其他支持团队的工作,并表示,在当地时间凌晨4:20,这些团队合力打造的“孟菲斯超级集群”开始投入训练。

每经网消息,孟菲斯“超算工厂”拥有10万块液冷H100 GPU,在单个RDMA结构(即远程直接数据存取结构)上运行,是全球最大的超算集群。按照成本估算,每块H100的价格约为3万-4万美元。这也就意味着,马斯克的“超算工厂”价值将达30亿-40亿美元(约合人民币218亿-290亿元)。从算力上来看,OpenAl GPT-4的训练用了25000块A100 GPU,约为“超算工厂”的1/20。

马斯克在接受著名心理学教授乔丹·彼得森的专访时透露,我们建造了一个大型训练中心,从硬件安装到投入训练,总共只花了19天。同时,马斯克表示,Grok 2的训练已经完成,将于下个月发布。目前,Grok 3正在孟菲斯的超算中心中进行训练,预计年底将会发布,届时将是市面上最强大的模型。

回看智算中心行业发展情况:

——智算中心采用领先的人工智能计算架构

《智能计算中心创新发展指南》指出,智算中心的发展基于最新人工智能理论和领先的人工智能计算架构,算力技术与算法模型是其中的关键核心技术,算力技术以AI芯片、AI服务器、AI集群为载体,而当前的算法模型发展趋势以AI大模型为代表。在此基础上,通过智算中心操作系统作为智算中心的“神经中枢”对算力资源池进行高效管理和智能调度,使智算中心更好地对外提供算力、数据和算法等服务,支撑各类智慧应用场景落地。而软件生态则是智算中心“好用、用好”的关键支撑。

——AI芯片是智能计算的主流模式

基于AI芯片的加速计算是当前智能计算的主流模式。AI芯片通过和AI算法的协同设计来满足AI计算对算力的超高需求。当前主流的AI加速计算主要是采用CPU系统搭载GPU、FPGA、ASIC等异构加速芯片。

近年来,国产AI加速芯片厂商持续发力,在该领域取得了快速进展,相关产品陆续发布,覆盖了AI推理和AI训练需求,其中既有基于通用GPU架构的芯片,也有基于ASIC架构的芯片,另外也出现了类脑架构芯片,总体上呈现出多元化的发展趋势。

——AI集群能够满足智算中心的大规模算力需求

大模型参数量和训练数据复杂性快速增长,对智算系统提出大规模算力扩展需求。通过充分考虑大模型分布式训练对于计算、网络和存储的需求特点,可以设计构建高性能可扩展、高速互联、存算平衡的AI集群来满足尖端的智能计算需求。

2023年7月,华为宣布昇腾AI集群全面升级,推出首个万卡AI集群,拥有更快的训练速度和30天以上的稳定训练周期,十倍领先业界。目前,昇腾AI集群已支撑全国25个城市的人工智能计算中心建设,其中7个城市公共算力平台入选首批国家“新一代人工智能公共算力开放创新平台”。

——AI大模型是一种新的智能计算范式

超大规模智能模型,简称大模型,是近年兴起的一种新的人工智能计算范式。和传统AI模型相比,大模型的训练使用了更多的数据,具有更好的泛化性,可以应用到更广泛的下游任务中。按照应用场景划分,AI大模型主要包括语言大模型、视觉大模型和多模态大模型等。业界典型的自然语言大模型有GPT-3、源、悟道和文心等。视觉大模型也已广泛应用于自动驾驶、智能安防、医学影像等领域。基于多模态大模型的以文生图技术也迅速发展,AI内容生成(AI Generated Content,AIGC)已成为下一个AI发展的重点领域。

前瞻产业研究院分析认为,算力资源是数字经济发展的重要底座。随着数字经济蓬勃发展,未来智能算力的发展需求将快速扩大,智算中心建设浪潮掀起。同时,通用智能的算法模型快速演进,大模型加速人工智能应用;普适普惠的服务生态逐步构建,算力服务普惠化、算法应用普适化;绿色低碳的发展格局加速形成,节能降耗的液冷技术对于密度高、规模大、散热需求高的智算中心优势明显,将得到进一步推广应用。

前瞻经济学人APP资讯组

更多本行业研究分析详见前瞻产业研究院《》。

同时前瞻产业研究院还提供、、、、、、、、、、等解决方案。在招股说明书、公司年度报告等任何公开信息披露中引用本篇文章内容,需要获取前瞻产业研究院的正规授权。

更多深度行业分析尽在,还可以与500+经济学家/资深行业研究员交流互动。更多企业数据、企业资讯、企业发展情况尽在,性价比最高功能最全的企业查询平台。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1