当前位置:首页|资讯|ChatGPT|生成式AI|微软|谷歌

陈根:英特尔Aurora genAI模型以万亿参数入局大模型领域

作者:根新未来发布时间:2023-06-05

原标题:陈根:英特尔Aurora genAI模型以万亿参数入局大模型领域

文/陈根

自从ChatGPT诞生以来,越来越多的科技公司入局生成式AI的开发,大模型领域变得“越来越卷”。紧随微软、谷歌、Meta之后,英特尔亦于日前,在德国汉堡举行的国际超级计算大会高性能会议上,官宣“与阿贡国家实验室携手,用Aurora超级计算机开发生成式AI模型Aurora genAI,参数量将多达1万亿”。

英特尔Aurora genAI模型将以NVIDIA的Megatron和微软的DeepSpeed两个框架为基础。这些结构增强了强度和容量。其中,Megatron用于分布式训练大规模语言模型的架构,专门针对Transformer进行了优化,不仅支持传统分布式训练的数据并行,也支持模型并行。DeepSpeed则专注于优化大型深度学习模型的训练,通过提高规模、速度、成本和可用性,释放了训练 1000 亿参数模型的能力,极大促进大型模型的训练。

英特尔Aurora genAI模型的规模达1万亿个参数,相较于ChatGPT的1750亿参数,其在参数规模上增长了约570%。而支持这大规模参数所需的算力则是由英特尔与阿贡国家实验室和HPT合作开发的百万兆级超计算机Aurora提供。Aurora 超级计算机由英特尔Xeon CPUMax和Xeon GPU Max系列芯片提供支持,采用了21248个Sapphire Rapids至强CPU、63744 个Xe架构的Ponte Vecchio GPU。Aurora超级计算机还使用了1024个DAOS节点和10.9PB的DDR5傲腾持久内存,所有这些组件通过oneAPI互相链接,实现了百万兆级性能。Aurora 超级计算机的浮点运算能力达到了2exaFLOPS,而目前TOP500排名第一的超级计算机Frontier其浮点运算能力也才1exaFLOPS。

作为一个纯粹以科学为中心的生成式AI模型,Aurora genAI将被应用于各类科学领域,包括从分子和材料设计到涵盖数百万来源的综合知识素材;可用于各种科学应用,如系统生物学、高分子化学、能源材料、气候科学和宇宙学研究等,并为此提供值得探索的实验设计思路。这些模型还将用于加速癌症及其他疾病的相关生物过程的识别速度,并为药物设计提供靶点建议。除了科研之外,Aurora genAI 还具有在自然语言处理、机器翻译、图像识别、语音识别、金融建模等商业领域的应用潜力。

作为ChatGPT的有力竞争对手,Aurora genAI的公布预示着AI大模型赛道上的重磅玩家在不断的升级,这将极有可能在未来对各种科学领域产生重大影响。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1