大模型时代的存储革命：云厂商加速产品能力迭代
21世纪经济报道记者白杨 北京报道
2024年，AI大模型的火热态势仍在持续，从去年的单模态到今年的多模态，大模型能力不断进化。
与此同时，与大模型相关的技术也在不断迭代。
目前业界已经明确，决定大模型能力的除了算法、算力、数据等核心因素，还有计算、网络、存储等基础设施能力。
以存储为例，大模型的研发生产流程大致可分为数据收集与清洗、模型训练、推理三大环节，在每个环节，都对存储能力有着极高的要求。
大模型需要更强的存储性能
首先在数据收集与清洗环节，工程师需要从公开网络上采集原始数据，并进行数据清洗，将重复、错误、无效的数据过滤掉。
由于数据来源多样且规模达到PB级别，该环节的存储系统需要支持多种协议，并能提供超大读取带宽。
跟大数据场景类似的是，AI大模型也需要使用灌入大量的非结构化数据，目前业界趋势是使用spark计算引擎（数据湖）。
在大数据场景下，为了提升整个链路的效率，通常会将数据预处理算法做并行化执行。然而，AI大模型的原始数据集实在太大，以往训练数据的清洗场景中数据量为 GB 级别（数十或者数百 GB），AI大模型的数据是TB和PB级别。
这对存储的读写性能，尤其是吞吐要求很高。做数据清洗，要把上T的数据读到计算引擎中，这对存储带宽有很大压力。在传统的方案中，仅读取数据的时间就要30多分钟。
而在AI大模型训练场景下，需要反复地将训练数据从对象存储COS拉取到文件存储中，再从文件存储读取到缓存中用于模型训练与计算，在这个过程中需要大量的读取、写入或者创建删除等操作，要求超高的IOPS（每秒读写次数）。
另外，大模型训练集群通常为几百到数千台计算节点，集群规模大，机器、应用等异常出现次数相对多。一旦出现该情况，如果模型没有保存，相当于前功尽弃。
因此，为了减少计算节点的物理损坏带来的损失，大模型需要周期性地进行保存当前的阶段，也就是checkpoint（检查点），以便在机器宕掉的时候，可以快速恢复。通常，2-4小时保存一次checkpoint，上千台机器并发，会带来百GB/s的读写吞吐。这个阶段，也要求存储能够在高并发的情况下，具备快速读写数据的能力。
云厂商加速产品能力迭代
为了适应大模型时代的存储需求，过去一年，各个云厂商也在加速对自身的存储解决方案进行升级。4月8日，腾讯云交出了其最新升级的云存储解决方案。
据介绍，腾讯云AIGC云存储解决方案由对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI等产品组成，是国内首个实现存储引擎全面自研的云存储解决方案。
对于上文提到的一些场景，腾讯云也进行了针对性升级。比如面向大模型训练场景，腾讯云自主研发的并行文件存储CFS Turbo，每秒总读写吞吐可达TiB/s级别，每秒元数据性能达百万OPS，这使得3TB checkpoint的写入时间从10分钟缩短至10秒内。
腾讯云存储总经理马文霜在接受21世纪经济报道采访时打了个比喻，“如果存储是仓库，计算是加工厂，数据是货物，把数据喂给大模型进行训练就像把货物从仓库运到加工厂进行加工。”
而传统的分布式存储（NFS协议）像传统仓库，是单链路传输，这导致吞吐存在性能瓶颈。腾讯云CFS Turbo则像先进仓库，是N条链路同时传输。
“我们提供的并行访问，相当于把巨大仓库分了区域，并开了好多扇门，这就允许每个客户直接从仓库的各个区域直接取货。同时，除了仓库本身，还在仓库前有一片离客户更近的前置仓（缓存），专门用于存放各个客户最近经常购买的东西，或者放置最近运送来存储的货物，这样如果客户要买甚至都不用进到仓库里拿或取，直接从前置仓即可获取，缩短时间，这则至智能缓存”。马文霜表示。
据马文霜介绍，目前，已经有80%的头部大模型企业选择了腾讯云AIGC云存储解决方案，包括百川智能、智谱、元象等明星大模型企业。其中，CFS Turbo也被应用于自动驾驶与工业仿真场景。
在大模型时代。数据已经成为至关重要的生产要素，其也为社会发展带来新动能。IDC发布的《数据时代2025》显示，2018年我国数据圈（以数据圈代表每年被创建、采集或是复制的数据集合）为7.6ZB，预计到2025年将增至48.6ZB，成为全球最大的数据圈。2018年至2025年年均复合增长率将达到30.35%
而数据的快速增长也在推动数据存储需求大幅增加，所以接下来，将存储能力的快速迭代，以适应市场需求，仍会是云厂商重点发力的一个方向。
更多内容请下载21财经APP
