随着大模型成为热词,大模型研发的过程也为更多人所知晓。一个重要的生产要素贯穿在大模型的素材采集与清洗、模型训练、推理等重要环节中,这个要素便是数据。
国内云厂商正为大模型的加速落地提供便利。4月8日,腾讯云宣布云存储解决方案面向AIGC场景全面升级,升级后能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。南都记者了解获悉,采用腾讯云AIGC云存储解决方案,可将大模型的数据清洗和训练效率均提升一倍,需要的时间缩短一半。值得关注的是,腾讯云存储总经理马文霜还在接受媒体群访时强调,云存储解决方案升级后价格不变。不过在腾讯云宣布升级解决方案的当天,“腾讯云崩了”也登上了热搜,随后腾讯云方面在官微表示“已整体恢复”。
同天,阿里云也宣布海外市场全线降价。南都记者获悉,继一个月前中国区全线降价后,阿里云此次降价幅度覆盖全球13个地域节点部署的核心云产品、500多个产品规格,平均降幅23%,最高降幅59%。据悉,降价后阿里云海外市场云产品价格全面低于其他国际主流云厂商。
腾讯云升级存储解决方案,阿里云加速出海
据介绍,此次腾讯云升级的AIGC云存储解决方案,主要由对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI等产品组成,是国内首个实现存储引擎全面自研的云存储解决方案。此前,腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。
另一边,阿里云在针对涉及计算、存储、网络、数据库、大数据功效的五大类主营产品进行降价的同时,也于4月8日面向海外推出PAI灵骏智算服务、大模型托管服务和可持续发展解决方案能耗宝OpenAPI,据悉,这些主要集中在AI领域的产品此前已在国内推出,此次是首次向海外推出。
值得一提的是,南都记者对比发现,腾讯与阿里云同天推出的方案或活动,都旨在为AI企业和开发者们“降本增效”。
用阿里云智能国际事业部总裁袁千的话来说,全球正处于由传统计算向AI计算转型的关键时刻,绝大多数AI计算将在公共云平台上进行,而阿里云则通过释放规模和技术红利,持续降低云计算成本,并积极推进从底层算力到AI平台再到模型服务的全栈技术创新,加大本地化服务和生态建设投入,支撑全球开发者和企业抓住AIGC带来的增长机遇。
腾讯集团副总裁、腾讯云与智慧产业事业群COO兼腾讯云总裁邱跃鹏则曾表示,大模型将开创下一代云服务,腾讯云致力于打造“最适合大模型的云”。
文生视频后,数据量级“上了一个台阶”
随着AI大模型成为了去年和今年的热词,AI大模型的研发生产流程也逐渐走入人们的视线。一般而言,在研发、生产一个AI大模型前,会经过数据采集与清洗、模型训练、推理三大环节,而每个环节都涉及海量的数据处理。
在接受媒体群访时,负责腾讯云对象存储、数据万象产品团队的腾讯云存储总经理陈峥提到,他亲自目睹了整个大模型多模态的进化。“最开始是文生文这种比较简单的模型,你给模型提问,模型给你一个回答;到了文生图阶段,人在对话的同时可能你想要一些视觉上、效果上的变化,游戏行业里比较多的模型是美工、美化这种,腾讯游戏团队每个人都会基于自己的数据去训练一个自己的小模型,基于这个模型它会喂一些数据产生出来它想要的图片,再做一些美化和美工。这时效率提升蛮快的,本来一周的工作一天就可以完成。”
多模态的进化,同时也带来了训练数据量的变化。在陈峥看来,在模型的文生文与文生图时代,需要投入训练的数据量并不多。但今年,当文生视频模型出来后,数据的需求量级直接上了一个台阶,也导致训练出来的模型参数包括Checkpoint(检查点)都有了倍数的增长关系。面对多种模态的演进,腾讯云的产品怎样去做提前的布局和规划、怎样面对海量数据的增长,则成了腾讯云必须面对的挑战。
升级后大模型研发效率翻倍,国内80%头部厂商采用
南都记者获悉,腾讯云云存储解决方案面向AIGC场景全面升级后,能针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示,采用腾讯云AIGC云存储解决方案,可将大模型的数据清洗和训练效率均提升一倍,需要的时间缩短一半。
具体来看,在数据清洗环节,大数据引擎需要快速地读取并过滤出有效数据,COS可实现高达数TBps的读取带宽,支撑计算高速运行,大大提升数据清洗效率;在模型训练环节,通常需要每2-4小时保存一次训练成果,快速地读写checkpoint(检查点)文件也成了能否高效利用算力资源、提高训练效率的关键。而腾讯云CFS Turbo将3TB checkpoint 写入时间从10分钟,缩短至10秒内,使大模型训练效率大幅提升;此外,大模型推理场景对数据安全与可追溯性提出更高要求。腾讯云数据万象CI为此提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等能力。
在客户方面,据介绍,目前,国内已有80%的头部大模型企业选择了腾讯云AIGC云存储解决方案,包括百川智能、智谱、元象等明星大模型企业。此外腾讯的解决方案也被广泛应用于自动驾驶与工业仿真场景,包括博世汽车、蔚来等自动驾驶厂商,上海电气、深势等仿真场景,墨镜天合、追光等影视特效场景。
未来AIGC应用繁荣,云存储或聚焦数据治理、审核、应用
腾讯云存储总经理马文霜还提到,他观察到今年Q1大模型企业在云存储的消耗同比增加了,这可能是因为大模型企业拿到的投资更多了。此外,在他看来,目前AIGC应用虽然在爆发式地增长,但远没有到繁荣的阶段。在目前的阶段,云存储首要解决的问题主要还是聚焦在大模型训练中,围绕算力与网络,让训练可以更高效,因此当下主要针对性能高、性价比高等方面做升级。
腾讯云存储总经理马文霜。
不过,马文霜还提到,虽然目前工信部认证的大模型已经达到了180多个,但未来或许“每个人都有一个大模型”。到那时候,云存储要解决的问题或许会转向数据治理、审核和应用方面。“等到未来有这么多的大模型出来以后,后续应用也会逐步更繁荣,应用繁荣了以后AI生成的内容会更加指数式爆发增长。那时候我认为我们会在数据审核、数据治理、数据应用这个场景帮助更多我们的开发者、创业者、创业团队去做它的数据应用。”
陈峥接着还补充表示,目前腾讯云云存储团队已经提前做了布局。“不管是我们的对象存储也好、文件存储也好还是块存储也好,不管是不同场景选定的AIGC还是自动驾驶这个场景,我们其实都在技术指标、产品形态与能力、规模指标等方面做预先布局,来满足未来2-3年或者3-5年业务的发展。”
采写:南都记者 林文琪
苔米传媒 2024-12-19
普泰法尔车辆自动灭火 2024-12-19