比 ChatGPT 大 5 倍！英特尔官宣 1 万亿参数 AI 大模型，计划 2024 年完成
整理 | 郑丽媛
出品 | CSDN（ID：CSDNnews）
眼看着 ChatGPT 持续爆火了几个月，期间微软、谷歌、Meta 等科技巨头接连入局，如今英特尔也终于官宣“参赛”。
上周末，在德国汉堡举行的国际超级计算大会 （ISC） 高性能会议 （HPC）上，英特尔不仅展示了其在 HPC 和 AI 工作负载方面的领先性能，还宣布了一项出人意料的计划：与阿贡国家实验室携手，用 Aurora 超级计算机开发生成式 AI 模型 Aurora genAI，参数量将多达 1 万亿！
要知道，ChatGPT 的参数规模仅为 1750 亿，即 Aurora genAI 模型将比它至少大 5 倍。
（图片来自英特尔官网）
AI 模型将由 Aurora 超算提供算力
据了解，英特尔 Aurora genAI 模型将以两个框架为基础：NVIDIA 的 Megatron 和微软的 DeepSpeed。
▶ Megatron：用于分布式训练大规模语言模型的架构，专门针对 Transformer 进行了优化，不仅支持传统分布式训练的数据并行，也支持模型并行。
▶DeepSpeed：专注于优化大型深度学习模型的训练，通过提高规模、速度、成本和可用性，释放了训练 1000 亿参数模型的能力，极大促进大型模型的训练。
除了这两个框架，Aurora genAI 模型还将由 Aurora 超级计算机来提供算力——这台英特尔为阿贡国家实验室设计的超级计算机，在经历了各种推迟后，如今终于成型了。
根据目前公开的资料显示，Aurora 超级计算机由英特尔 Xeon CPU Max 和 Xeon GPU Max 系列芯片提供支持，总共有 10624 个节点，拥有 63744 个 Ponte Vecchio GPU、21248 个 Sapphire Rapids 至强 CPU、1024 个分布式异步对象存储 （DAOS） 存储节点以及 10.9 PB 的 DDR5 傲腾持久内存。
此外，英特尔方面还透露了 Aurora 超级计算机的早期性能结果：“Aurora 超算在科学和工程工作负载上具有领先性能，比 AMD MI250 GPU 的性能高 2 倍，在 QMCPACK 量子力学应用上比 H100 提高了 20%，并接近线性扩展，可达到数百个节点。”
值得一提的是，与最初的 1 Exaflop 目标相比，预计 Aurora 超级计算机在今年推出时，将提供超过 2 Exaflops 的双精度浮点计算性能——比目前多次蝉联全球超算 Top500 榜首的 Frontier 超级计算机 （1.194 Exaflop/s）还要高。
以科学为重点的生成式 AI 模型
有了算力强悍的 Aurora 超算打底，注定 Aurora genAI 模型的规模不会小。据英特尔官方介绍，阿贡国家实验室正在为 Aurora genAI 模型牵头开展国际合作。
阿贡副实验室主任 Rick Stevens 表示：“该项目旨在利用 Aurora 超级计算机的全部潜力，以产生一种资源，可用于能源部实验室的下游科学，并与其他机构合作。”
总体而言，Aurora genAI 是一个以科学为重点的生成式 AI 模型，因此将在通用文本、代码、科学文本以及生物学、化学、材料科学、物理学、医学等科学数据上进行训练。
计划 2024 年完成
除此之外，有关 Aurora genAI 模型的更多信息英特尔尚未剧透，不过据外媒报道， 英特尔计划在 2024 年开发和完成 Aurora genAI 模型——如果进展顺利，或许我们等待的时间并不会太久。
这一消息的发布，引来了不少人的关注，而英特尔入局 AI 大模型即宣布 1 万亿参数起步，更是令人期待未来 GPT-4 等竞品的发展：
▶“万亿参数应该是一个特殊的极限，但你也可以持怀疑态度，说这只是一个需要关注的巨大整数。毫无疑问，如果此模型类似于 GPT-4，这将增加一个数据点。但随着各大公司宣布这个又宣布那个，我想知道我们是否会在 6 月达到顶峰。”
▶“人们正在使用 H100 构建新系统，并且已经有明显更好的 AI GPU 了，如果这种情况继续下去， NVIDIA可能需要尽快宣布新卡以保持领先地位。 ”
▶“我猜 GPT-4 很快就不会在许多基准测试中继续保持 SOTA（state of the art，指在特定任务中目前表现最好的方法或模型）了，或许未来它也将在世界上最快的超级计算机上进行训练。作为参考，OpenAI 超级计算机拥有大约 10000 个 GPU，而 Aurora 有 63744 个 GPU。”
参考链接：
https://www.intel.com/content/www/us/en/newsroom/news/intel-delivers-ai-accelerated-hpc-performance.html#gs.yhhdis
https://www.reddit.com/r/singularity/comments/13ozabi/intel_announces_aurora_genai_generative_ai_model/
▶“28 年后，Windows 终于原生支持了 RAR 文件！”
▶ 高级工程师比普通开发者更容易被裁、AI/ML 岗大热，2023 技术人才报告发布！
▶ 阿里云回应裁员7%，只是正常岗位优化；Bing将成为OpenAI默认搜索引擎；nginx 1.25.0发布|极客头条