当前位置:首页|资讯

技术干货 | HCCL集合通信常见问题定位思路

作者:昇腾AI开发者发布时间:2024-09-30

前言 HCCL(Huawei Collective Communication Library)是基于昇腾AI处理器的高性能集合通信库,提供单机多卡以及多机多卡间的集合通信能力,支持大模型的数据并行、模型并行、专家并行、pipeline并行、序列并行等多种加速方案。更详细的介绍,可参考以下博文: · HCCL——昇腾高性能集合通信库 · HCCL集合通信算法开发Hello World示例(超详细)  本文介绍了集合通信运行的三个关键阶段,并介绍了这三个阶段对应的常见问题及定位思路。通过本文,读者可建立起对...【查看原文】


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1