微软推出ZeRO++技术，可显著减少AI大模型训练时间和成本

据微软官方消息，微软研究人员日前推出了名为 ZeRO++ 的新技术，可显著减少大模型训练时间和成本。ZeRO++ 建立在 ZeRO 传输技术基础上，提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始 Zero 传输技术更快更准确。微软研究人员表示，与 ZeRO 相比，ZeRO++ 减少了高达 4 倍的通信量，提高了训练吞吐量和效率。...【查看原文】