构筑未来：AIGC推动运营商智能化革命
ChatGPT引发生成式AI热潮，首次展现极强的语义理解能力、文字流畅性和持续对话能力，代表着通用人工智能奇点时刻的到来。产业界纷纷加强大模型相关领域的研究，并推出一些新产品和新应用，传统信息产业生态正在被重构。运营商作为ICT基础设施建设的主力军，迎来智算发展的新机遇。
AI创新，加速运营商数字化转型
在网络基础设施运营方面，AIGC可以助力产品创新智能化、IT/网络运维智能化，甚至提供网络费用智能稽查、网络投诉自服务机器人等服务。智慧运营不仅可以提升运维效率，还能优化服务品质，提升客户体验。例如中国移动的“九天”AI平台，在网络智能化运营方面有诸多创新实践。
在创新业务方面，如视联网、VR、直播等领域，AIGC不仅可以提升机器视觉算法的准确率，还能快速生成数字内容，提供个性化、沉浸式体验。这些创新业务为运营商带来新增长动力。如天翼云的“明厨亮灶”服务，通过多种识别算法提升了食品安全保障，还比如韩国KT的VR服务，提供丰富的互动内容。
在ToB业务方面，“5G/专线+工业互联网”有广泛的应用前景，比如煤矿、智慧校园等。面对运营商海量边缘业务场景，AIGC不仅可以帮助边缘IT平台实现业务自治，减少故障发生的次数，还能通过自主训练和推理不断提升边缘业务服务水平，提升对不同场景的适应性。如中国电信iStack（灵动版）边缘一体机，广泛应用于各种边缘AI场景。
AIGC的到来，数据基础设施面临哪些挑战？
抓住AI发展机遇，需要加强技术创新与基础设施建设，而提到AI产业的基础设施，普遍会关注AI芯片、深度学习框架、预训练大模型，却经常会忽略另一个关键问题：大模型将带来巨大的数据压力，数据存储也是AI发展进程中的支柱。那么，从数据归集，数据预处理，到数据训练的AIGC大模型流程中，数据基础设施有哪些挑战呢？
挑战一：数据归集慢
数据归集需从跨域多数据源拷贝PB级原始数据，涉及到数据迁移和数据汇聚，类似使用硬盘邮递进行数据迁移，时间长达数周；由本地向目标中心远程传输，时间也需长达数天；分散的多样化数据源实则造就了信息孤岛，使用时无法有效快速归集数据；为此，如何打通数据孤岛、缩短归集时长？是我们面临的第一个挑战。
挑战二：数据预处理周期长
通过收集、网络爬取的原始数据是不能直接用于AI模型训练的，需要将多样化、多格式的数据进行清洗、去重、过滤、加工，我们称其为“数据预处理”。与传统的单模态小模型训练相比，多模态大模型所需的训练数据量是其1000倍以上，例如一个典型的百TB级大模型数据集，预处理的时长超过10天，占比AI数据挖掘全流程的30%。与此同时，数据的预处理伴随着频繁的高并发的处理，对CPU消耗巨大，抢占系统昂贵的CPU资源。如何以最经济的手段，缩短数据预处理的时长？是当前亟需解决的问题。
挑战三：训练易中断，数据恢复时间长
相较于传统深度学习模型，大模型训练带来参数、训练数据集指数级增加。目前，主流预训练模型已经有千亿级参数，甚至将发展至万亿级。因此，频繁的参数调优、网络不稳定、服务器故障等多种因素带来训练过程不稳定，易中断返工，需要Checkpoint机制能够确保训练回退到某一个点，而不是初始点。当前，由于Checkpoint需要天级的恢复时长，导致大模型整体训练周期陡增，而面对单次10TB的数据量和未来小时级的频度要求，需要认真考虑如何减少Checkpoint恢复时长。
综合来看，AIGC大模型的持续创新突破，需要从数据存储的角度对归集、预处理、训练全流程进行优化。
面向AIGC，运营商智算中心需如何建设？
运营商加强AI智算中心建设，需要重视数据存力的建设，实现存算均衡发展。我们建议可以从以下方面去考虑：
首先，消除数据孤岛，缩短归集时长。
面对多数据源难以共享的问题，运营商需要构建智能数据编织能力，实现跨系统、跨地域、跨云的全局统一数据视图和调度。华为通过GFS（Global File System），帮助客户打通数据孤岛，提升3倍数据调度效率，小时级数据归集时长，更好地支持上层应用的数据价值挖掘。
其次，通过近数据加速，缩短数据预处理耗时。
面向海量的原始数据预处理任务，华为数据存储提供高效数据底座，支持多协议互通，免数据格式转换，高效识别多样化的数据格式；单节点340万IOPS，满足海量数据并行预处理高性能要求；并且未来将支持预处理任务下推，由存储承接数据的预处理，大幅减少CPU资源的开销，降本增效。
最后，用创新的AI存储解决方案，减少Checkpoint恢复时长。
面对大模型训练易中断，需要Checkpoint快速恢复的要求，华为通过创新的AI存储解决方案，高带宽、大容量的存储设备，来满足面向PB级数据、小时级频度的CheckPoint要求，提升训练预处理效率，支持万亿参数大模型训练。
AIGC奔涌而来，智算底座将成为千行百业创新变革的重要基石。生成式AI已进入网络运营、创新业务、ToB边缘等运营商应用场景。华为数据存储通过创新的存储技术，打造领先的全闪存架构产品和解决方案，携手AI产业生态伙伴，率先实现存储创新与AI发展的紧密契合，助力运营商构筑可靠AI数据基础设施。
END
作者：华为数据存储产品线副总裁 顾雪军
责编/版式：甄清岚
审核：舒文琼
监制：刘启诚
今天因为你的点赞，让我元气满满！