商汤大装置昇腾原生开发实践：集群规模扩展至3倍，线性加速比超97%

“集群规模扩展至3倍后线性加速比超97%、102B模型训练性能达业界120%以上……”商汤大装置事业群研发总监张行程近日在华为全联接大会2024上介绍了商汤基于昇腾计算生态的最新成果。

图片来源：商汤提供

会上，IDC发布了《AI时代数据中心网络白皮书》，介绍了商汤与华为共同解决Al时代数据中心网络建设挑战，以大规模连接性、智能负载均衡等能力，提高大规模集群吞吐量，提升训练效率，实现AI大模型的快速迭代。

图片来源：商汤提供

历年来，商汤基于昇腾计算生态，共同推进基础模型、行业大模型应用与创新。

商汤举例，通过高效并行、通信优化及网络架构感知和任务调度等软硬优化技术，构建了大规模并行训练加速系统，其中102B模型的训练性能达到了业界的120%以上，同时单一任务集群规模扩展至3倍，算力效率损失仅为3%。

基于昇腾计算生态，商汤还建设长序列并行训练加速机制。商汤提供的数据显示，与业界相比，4K序列性能提升1倍以上，32K序列性能持平，甚至还能处理128K长序列训练。

通过与昇腾团队合作，商汤将全栈大模型生产能力产品化，构建了从基础层、模型层、串联层到应用层的大模型生产工具链。

商汤提到，通过大模型生产工具链，商汤大装置可为客户提供涵盖算力、软件平台部署及模型迁移等端到端的大模型自主创新落地全流程业务服务。

不仅如此，据商汤介绍，面向不同客户的特定应用场景需求，商汤还可提供业务流设计、应用编排、数据迭代等增值服务，助力客户从0到1建立AI能力体系。同时，针对客户不同的吞吐量、部署规模等要求，商汤还会进行专项性能优化。

“商汤基础大模型、行业大模型基于昇腾原生开发，持续探索在技术联创、产业共建等方面的合作。”商汤表示，通过不断的技术联创与资源共享，商汤将持续助力昇腾计算生态发展，联合为客户提供智算服务，推动AI在各行业的广泛应用与深入融合。