东数西算AB面：算力与存力如何协同？
东数西算AB面：算力与存力如何协同？
今年年初，以ChatGPT为代表的AIGC，引爆了AI技术应用热情。从上半年国内百度文心一言、紫东太初等通用大模型百花齐放，到下半年垂直大模型涌现，再到具身智能机器人陆续亮相……AI应用的一把火，似乎越烧越旺。
AI应用将算法、算力、数据作为三要素，也重构了传统生产关系。数据可以看作生产资料，算法代表新的生产关系，算力则是像水、电一样新型生产力。AI算法进步背后，需要算力与海量数据的支持。
目前国内10亿参数量以上的大模型至少有79个，东部算法产业发达，面临着海量算力需求如何满足，算力成本如何降低等种种难题。实际上，国家正在建设东数西算工程，为的就是让西部的算力资源更充分地支撑东部数据的运算。
东数西算工程主要从两方面展开，一方面是建设8大算力枢纽节点，10大数据中心集群，发挥类似“发电厂”-提供计算能力、“客运站”-提供算力中转的作用。
另一方面，算网融合也是建设重点，即“计算+网络”协同发展，编织出“算力一张网”，发挥“高速公路”的效果，让算力传输更高效。
算网融合建设，数据存储是重要一环
算网融合，即是指将通信网络设施和计算设施的融合，形成计算、存储、网络的统一管控，以满足对网络和算力泛在、弹性的需求。目前算网融合建设主力军，主要为三大运营商。例如，中国移动以4+3+X数据中心布局为基础，使得网络从前期的连接算力转向可以感知、承载、调配算力。
在算网融合中，数据存储能力也是重要的一环。但在过去几年存力发展较被忽视，反而成为算网融合效果的制约因素。“国家在部署东数西算时，提出来三力融合，就是指存力、算力和传力。大容量的数据怎么存储处理，是新的挑战。”武汉光电国家研究中心教授吴非指出。
而在中国移动算网融合过程中，存力建设也面临两大挑战：
一是海量温冷数据，如何提升存储性价比。据统计，每天产生的80%以上为非结构化数据，这些非结构化数据里面，60%以上是冷数据。海量数据无限生产，数据存储如何做到多场景支撑，并且让存储收益最大化，亟待解决。
“不同的应用对下层存储的需求是不一样的。有的数据可能体量大，一个文件就能到多少TB;有的数据就是一些小文件，数量大，所以对存储的需求是不好统一要求的。”谈及存储需求，中国计算机行业协会信息存储与安全专委会秘书长阳小珊认为。
“因为有些东部地区的数据，比如医疗行业，他们的数据产生之后有十年到十五年的长期存储需求，需要一定的时间传输到西部更低成本来保存。”曙光公司存储事业部副总经理张新凤分享了观点。
二是数据大规模跨域安全与流通效率问题。数据跨域交换带来数据流动速度、范围和密集度的巨大变化，同时也具有新型数据安全风险和挑战。
面对两大难题，在中国移动算网融合建设中，曙光存储发挥了积极作用。在与中国移动合作三年过程中，曙光存储为中国移动构建了从底层硬件平台、存储OS到上层存储管理软件的全自研存储解决方案，实现东西部数据中心存力平台的数据迁移和标准数据中心的绿色升级，为算网融合带来安全稳定、绿色节能的存储价值。
对此，曙光公司存储事业部副总经理张新凤表示“曙光作为从产品方案到服务的专业供应商，洞察到近几年算网融合趋势，提前做了存储相关的技术储备和方案整合，当前无论是算力的规模还是存力的规模都已经超过EB的级别。”
编织存力一张网，曙光存储牢筑存力底座
实际上，在东数西算工程中，不止需要算力一张网，还需要存力一张网。因东数西算工程衍生出众多应用场景，东数西算表现出的实质，更多为东数西存。
例如东数西存-东部计算数据、西部备份存储;东数西训-东部提供大模型算法和数据、西部进行离线大模型训练;东视西渲-东部影视公司制定特效工程，西部制作公司满足图像渲染、视频渲染等后台制作等等。
“数据中心未来向好发展，存算网的协同融合、协同发展非常非常重要。”张新凤认为。
为推动存算协同发展，曙光存储在积极推进存力一体化布局建设。通过将存储和计算的资源进行整合，实现数据高效统筹调度，提升存算效率。
在存储服务方面，通过代码级开发优化，对东西部冷温热数据分级分层，建立起分布式存储集群，智能分区存储;并通过视图化平台，实现跨域多中心之间的数据统一管理、热温冷数据的智能流动，让数据管理更简单，存储更有性价比。
在安全保障方面，曙光自2009年入局分布式存储领域，十余年时间掌握了存储系统从软件到硬件的全栈自主技术，保障数据流通时安全合规。
近期，曙光存储总结技术应用经验，以“六个一”先进理念，即“场景融合一体化”、“数据联邦一体化”、“生命周期一体化”、“数据服务一体化”、“ “数据安全一体化”，“数据绿色一体化”，带来曙光存力一体化解决方案。
据了解，曙光存储一体化存力解决方案，还为西部(重庆)科学城先进数据中心、某AI科技公司大模型训练提供存储技术支持。历经大规模商业化部署考验，更加凸显出曙光存储存力底座的高效、可靠与安全。