技术干货 | HCCL集合通信常见问题定位思路

前言 HCCL（Huawei Collective Communication Library）是基于昇腾AI处理器的高性能集合通信库，提供单机多卡以及多机多卡间的集合通信能力，支持大模型的数据并行、模型并行、专家并行、pipeline并行、序列并行等多种加速方案。更详细的介绍，可参考以下博文： · HCCL——昇腾高性能集合通信库 · HCCL集合通信算法开发Hello World示例（超详细）  本文介绍了集合通信运行的三个关键阶段，并介绍了这三个阶段对应的常见问题及定位思路。通过本文，读者可建立起对...【查看原文】