陈根：英特尔Aurora genAI模型以万亿参数入局大模型领域
文/陈根
自从ChatGPT诞生以来，越来越多的科技公司入局生成式AI的开发，大模型领域变得“越来越卷”。紧随微软、谷歌、Meta之后，英特尔亦于日前，在德国汉堡举行的国际超级计算大会高性能会议上，官宣“与阿贡国家实验室携手，用Aurora超级计算机开发生成式AI模型Aurora genAI，参数量将多达1万亿”。
英特尔Aurora genAI模型将以NVIDIA的Megatron和微软的DeepSpeed两个框架为基础。这些结构增强了强度和容量。其中，Megatron用于分布式训练大规模语言模型的架构，专门针对Transformer进行了优化，不仅支持传统分布式训练的数据并行，也支持模型并行。DeepSpeed则专注于优化大型深度学习模型的训练，通过提高规模、速度、成本和可用性，释放了训练 1000 亿参数模型的能力，极大促进大型模型的训练。
英特尔Aurora genAI模型的规模达1万亿个参数，相较于ChatGPT的1750亿参数，其在参数规模上增长了约570%。而支持这大规模参数所需的算力则是由英特尔与阿贡国家实验室和HPT合作开发的百万兆级超计算机Aurora提供。Aurora 超级计算机由英特尔Xeon CPUMax和Xeon GPU Max系列芯片提供支持，采用了21248个Sapphire Rapids至强CPU、63744 个Xe架构的Ponte Vecchio GPU。Aurora超级计算机还使用了1024个DAOS节点和10.9PB的DDR5傲腾持久内存，所有这些组件通过oneAPI互相链接，实现了百万兆级性能。Aurora 超级计算机的浮点运算能力达到了2exaFLOPS，而目前TOP500排名第一的超级计算机Frontier其浮点运算能力也才1exaFLOPS。
作为一个纯粹以科学为中心的生成式AI模型，Aurora genAI将被应用于各类科学领域，包括从分子和材料设计到涵盖数百万来源的综合知识素材；可用于各种科学应用，如系统生物学、高分子化学、能源材料、气候科学和宇宙学研究等，并为此提供值得探索的实验设计思路。这些模型还将用于加速癌症及其他疾病的相关生物过程的识别速度，并为药物设计提供靶点建议。除了科研之外，Aurora genAI 还具有在自然语言处理、机器翻译、图像识别、语音识别、金融建模等商业领域的应用潜力。
作为ChatGPT的有力竞争对手，Aurora genAI的公布预示着AI大模型赛道上的重磅玩家在不断的升级，这将极有可能在未来对各种科学领域产生重大影响。