为何大模型推理成本能翻10倍？深度解读百度文心4.0

ChatGPT的火爆全网也将“大模型”这一新鲜的名词带到了所有国人面前。

什么是大模型？在计算机科学和人工智能领域，大模型通常指的是具有大量参数和复杂结构的模型。这些模型通常需要大量的计算资源和数据来进行训练，以便能够捕捉到数据中的丰富信息和模式。大模型在很多任务中表现出色，如智能对话、内容生成、内容设计、音视频制作等等。

随着大模型的日渐普及，其功能和涉及的领域也在快速增加。日前，赛迪顾问《IT 2023》系列研究对外发布,研究显示大模型蕴含无限的潜力，创新应用场景十分广阔，为人类的生活和工作提供便利。

大模型行业高速发展，未来竞争将愈加激烈

综观国内外的大模型行业，均呈现出多元化和快速发展的趋势，正向着更加精细化、智能化的方向发展。随着人工智能技术的不断进步，大模型的规模也在不断扩大，同时也在提高其预测和决策的准确性。

国内应用层面的需求推动AI产业的加速发展，或将带来市场的爆发性增长。根据IDC数据预测，2021年中国人工智能软件及应用市场规模为51亿美元，预计2026年将会达到211亿美元。数据、算法、算力是AI发展的驱动力，其中数据是AI发展的基石，中国数据规模增速或排名全球第一。据IDC统计，中国数据规模将从2021年的18.51ZB增长至2026年的56.16ZB，年均增长速度CAGR为24.9%，增速位居全球第一。

国外以ChatGPT等为代表，国内以百度的文心一言等为代表，各大科技公司都在积极研发和应用大模型，希望通过这种方式提升自身的竞争力。

有媒体报道，百度正在加紧训练文心一言的基础模型——文心大模型4.0，或将在10月17日百度世界大会上发布。据消息人士透露，文心大模型4.0的进展比预期快很多，文心4.0对标GPT4，能力（综合模型能力）有明显提升，将是基础模型的大升级，理解、生成、逻辑、记忆四大核心能力都将提升，尤其在逻辑推理、代码和数学等方面提升最明显。同时，文心大模型 4.0参数规模将大于市面上所有已经公开发布参数规模的大语言模型，预计将突破万亿级别。

据悉，更多百度的新型大模型产品，将在10月17日的“百度世界2023”上展现。百度CEO李彦宏还将教你怎么做AI原生应用，还有云智一体的新架构、百度智能云千帆大模型平台新动态，AI原生应用的新落地案例，也将在当日大会上展示。

大模型是否该收费？是必由之路也是大势所趋

在不远的未来，大模型行业的竞争将更加激烈。一方面，现有的大模型已经开始训练，在模型训练上有绝对的优势，模型的效果也会更好；另一方面，随着大模型版本的迭代，每一代大模型的算力、训练成本也有迹可循，对资金的需求也会持续扩大，没有雄厚资金支持的企业会逐渐掉队。

最近关于文心4.0的爆料消息不断，很值得关注的是模型推理成本的增加，因为这直接关系到大模型厂商为用户提供生成内容服务时所需要投入的资源成本。据爆料，文心大模型4.0的推理成本相比3.5增加很多，有传闻是8-10倍，也有说法是至少翻了10倍。

有大模型行业专家透露，大模型的推理成本跟三个因素相关：模型的网络结构和参数规模、推理部署方式、芯片和集群架构。

从已经爆出来的信息看，文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型。网络结构更复杂、参数规模更大，这必然带来更大的计算量，推理成本增加顺理成章。

推理部署方面，一直是百度的强项，尤其是在其自研的深度学习框架飞桨的支持下，并行推理、量化推理和变长优化等等都是飞桨在大模型推理上很好用的工具。在模型参数量变大的情况下，通过飞桨和文心的联合优化或许能找补一些成本。

芯片和集群方面，使用什么样的芯片型号，用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例，据爆料，GPT-4推理运行在由 128 个 GPU 组成的集群上。在不同地点的多个数据中心存在多个这样的集群。

随着大语言模型的不断升级迭代，参数量越来越大、模型能力越来越强、用户使用量激增，推理成本都是大模型厂商需要持续优化投入的。

笔者认为，大模型厂家或许要思考费用的问题了。而付费是大模型行业的大势所趋，专业版付费为国际主流趋势，大模型要健康正向、长远发展，为用户持续提供优质服务，就必须解决长期可持续问题。解决成本问题，也可以持续地、健康地运营，为更多用户提供更好的服务。