破解AI大模型落地成本难题，开源开放是“必修课”丨ToB产业观察

生成式AI带来的新一轮AI浪潮已经席卷各行业接近两年，经历过去一年的“卷”参数之争，今年各行各业，包括大模型厂商，都将目光投向行业侧应用落地。

“诸如大模型的这类数字技术就像是锤子，而应用像是钉子，场景像是墙，只有找到合适的场景，再用锤子将钉子‘钉’上去，才能实现最后的价值。”东软集团联席总裁兼首席运营官盖龙佳在近期与钛媒体APP的对话中形象地比喻道，“而没有应用，没有场景，光有技术，这个技术也是没有用的。”

行业大模型落地成本是个难题

正如盖龙佳所述，应用和场景对于一项技术而言，是其真正发挥价值的着力点。

不过，今年以来，各行业对AI大模型的态度多少有点“趋之若鹜”。尚且不论这些应用场景的好坏，一个个不断涌现的场景也为企业在数字化向数智化转型的过程中，增加了无形的成本压力。

虽然以通义千问为代表的一大批大模型已经在公有云价格战之后，打响了大模型的价格战，将Token的价格不断打下去，但对于企业而言，应用大模型的成本依旧很高。

一方面，应用大模型的场景尚处于探索之中，目前还没有现象级或者质的飞跃的产品问世，产品的迭代很可能意味着花更多的钱去购买一项自己可能并不那么需要，或者提升并不大的服务；

另一方面，因为出于数据安全的考虑，企业即便明确了大模型的应用场景，也需要本地化部署，或者采用本地化部署+云端调用的方式。本地化部署意味着原先的机房设备很可能无法支持大模型的良好运行，即便这个模型参数可能很小。硬件的设备升级又很可能是“牵一发而动全身”，因为兼容性、匹配度等因素的影响，可能需要对原有机房设备进行“大换血”。而部署大模型带来的提升与企业付出的成本很可能不成正比。

对此，浪潮信息服务器产品线总经理赵帅表示，对于绝大多数企业而言，AI的应用只是嵌入其工作流中的一小部分，企业却要为此花费单台200万—300万（以8卡机为例）的价钱，同时购买十几台，甚至二十几台服务器做AI，“对于企业来说，成本的压力是巨大的。”。

尤其对于中小型企业来说，不寻求大模型的应用，将面临着落后于竞争对手、被时代淘汰的风险；积极拥抱大模型，中小型企业需要面临成本的压力，同时“试错”的机会也不多。

与此同时，随着大模型能力的持续进化，AI大模型的规模和复杂性不断增加，数据量越来越大，算力需求在不断攀升，需要同时应对Scale up（单系统性能提升），和Scale out（集群规模扩展）两个方向扩展的挑战。

在单系统性能提升方面，增加单个设备或节点的计算能力。这就需要使用更强大或者更多的AI加速卡、处理器等，更高速的互联通信，以提升计算效率。

在集群规模扩展方面，通过增加计算节点的数量来构建大规模集群，集群规模扩展不仅给大规模AI集群组网、网络带宽带来很大的挑战，也给基础设施的建设带来了快速部署、提供高效供电与制冷等挑战，“除此之外，在数据中心的算力资源管理方面，也会面临不同平台芯片、部件如何定义精细化的管理设计的问题。”赵帅如是说。与此同时，从中国智算产业角度出发，国内的智算网络基本上都是基于集群规模扩展开发的网络。

开源开放是大趋势

面对大模型给企业带来的使用成本的问题，赵帅告诉钛媒体APP，开源的软件与开放的硬件设计是一条可行之路。

在软件层面，开源大模型降低了企业的应用成本，以及应用门槛。据统计，目前有超过三分之二的模型都选择了开源，“超过80%以上的AI项目使用开源框架进行开发。开源模型的下载量突破3亿次，并衍生出了超过 3万个新模型。可以说是开源开放带来了AI的发展和繁荣。”赵帅指出。

虽然开源大模型相关产品比闭源大模型的产品问世的时间较晚，但是其增长速度迅猛，而开源大模型的能力当下也足以媲美最先进的闭源大模型。例如，Meta最新发布的Llama3.1模型的参数规模达到403B，是目前参数规模最大的开源模型。

“国内外多个大模型全面开源，允许开发者自由使用、修改和改进，促进大模型性能快速提升，”赵帅告诉钛媒体APP，“可以说开源开放的大模型成为的创新的驱动力，也带动了应用和产业的全面发展。”

国内，阿里云也一直在持续升级通义系列大模型的开源版本。今年六月份通义千问发布的Qwen2.0包含五个尺寸的预训练和指令微调模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。阿里云很多客户根据具体场景对输出质量和响应时长要求来综合考量选取相应参数模型。

大模型在行业的落地除了离不开开源的模型和开源的软件生态之外，在硬件层面，开放的设计，以及成熟的产业上下游生态也已经成为大模型产业发展不可或缺的关键因素。

开放设计的第一步就是制定标准，有了一个开放的标准后，上下游企业在根据这个标准进行适配，就可以构建一个完善的生态。开放的标准和生态构建以后，可以让服务器厂商与用户的连接更加紧密，“用户都想要在享受新技术提升生产效率的同时，又不被一家或几家厂商绑定。这时候，一个开放的生态就能让用户有更多自主选择的权力，反而会增加了用户黏性。”赵帅指出。

除了可以提高用户黏性以外，一个开放的硬件生态还为新技术快速的产业化、规模化落地提供了良好的环境。“如果一个技术没有人，或者只有很少人用，一般来说成本会很高，产业化也很难，”赵帅明确道，“而开放会让很多人快速地拥抱新技术，从而快速降低成本，进一步来讲，就能快速降低产业化的难度。”

浪潮信息AI&HPC产品线高级产品经理张政告诉钛媒体APP，当下，企业级用户想要获取高端算力资源十分困难，一方面价格会很贵；另一方面渠道又很少，“这时候，多元算力的生态就体现出了价值。通过多元算力生态，企业能更容易的获得算力，”张政强调，“在OAM（开放加速规范）标准之下，企业可以在模型训练的场景提供足够的算力和性能，尤其是一些传统的垂直行业，为了更好的支持AI在自身业务场景中的落地，他们采购OAM标准的产品的意愿很强烈。”

以传统的8卡服务器为例，其传统的GPU高速互联，已经无法满足当下万亿规模的MoE模型的训练或者推理需求，但是通过OAM 集群规模扩展的方式，就能够实现16卡的高速互联，“这项技术已经很成熟了，可以很快的就将服务器迁移过来，满足当下企业对于大模型的需求。”张政指出。

这样的小场景还有很多，而从中获利的企业也有不少，以浪潮信息为例，自2019年开始涉足开放加速计算服务器领域，彼时的合作芯片厂商只有1-2家，客户接受度很低，但是经过五年来的发展，如今形成了颇为可观的产业生态，“现在浪潮信息基本兼容了国内外所有的芯片厂商，我们最高端的产品全部采用了开放的标准，”赵帅告诉钛媒体APP，“目前来看，通过开放的态度，产业上下游获得的收益巨大。”

除了现实利益方面给用户和服务供应商带来了可观的利益价值以外，OAM标准还能加速上游AI芯片的技术迭代，起到推动技术演进的作用。以前，无论是CPU，还是GPU，其迭代速度大概在2—3年迭代一次，“目前，像GPU芯片，已经变成了一年一迭代，甚至有的是半年一迭代，”张政指出，“在高速迭代下，企业不可能每次迭代都开发一个全新的系统，这时候通过标准化平台，产业链在加速上游芯片迭代的同时，还能够满足企业不断推进应用的升级。”

展望未来，为AI大模型而生的OAM，自然也成为了AI大模型在更行业落地过程中的重要推手，而如何构建更强大的高速互联的产品和方案，也成为了当下各大厂商普遍关注的焦点。

未来，一切计算皆AI

开源的软件生态与开放的硬件生态，其目的只有一个——让更多人可以以更低的成本，拥抱AI算力带来的红利。“未来，一切计算皆AI。”赵帅说。

从当下的技术演进上已经不难看出，无论是手机、电脑这类端侧的硬件设备，还是CPU服务器、加速服务器这类企业级硬件设备，都具备了AI计算的能力，也都在承载着多样化的AI应用。显然AI算力已经深入到千行百业之中，“AI算力已经渗透到了每个计算设备中，面向人工智能的算力范式不断革新。”这是赵帅对于当下及未来算力发展趋势的研判。

与此同时，从应用角度出发，AI算力正在快速渗透至金融、通信、公共事业等更多传统企业应用。为了支撑千行百业最广泛的场景，让AI大模型应用与云、大数据、数据库等通用场景实现更为紧密高效的融合，而当下以及未来，通用算力也要具有AI计算的能力。

但目前x86、ARM、RISC-V等不同架构的CPU处理器百花齐放，仅中国，目前就有10多种CPU处理器，不同CPU协议标准不统一，系统功耗、总线速率、电流密度不断提升，导致硬件开发、固件适配、部件测试资源等时间激增，给算力系统设计带来巨大挑战。如何快速完成芯片到计算系统的创新，已经成为推动人工智能产业发展的关键环节。

在这些背景下，构建统一CPU底座的开放标准就显得更加重要。近日，2024开放计算中国峰会上，开放算力模组（OCM）规范正式启动，首批成员包括中国电子技术标准化研究院、百度、小红书、浪潮信息、英特尔、AMD、联想、超聚变等。

全新的开放算力模组OCM规范，旨在建立基于处理器的标准化算力模组单元，通过统一不同处理器算力单元对外高速互连、管理协议、供电接口等，实现服务器主板平台的深度解耦和模块化设计，兼容不同架构的多代处理器芯片，方便客户根据人工智能、云计算、大数据等多样化应用场景，灵活、快速匹配最适合的算力平台，推动算力产业高质量快速发展。

OCM规范是国内首个服务器计算模组设计规范，产业界上下游伙伴将基于OCM规范，共同建立标准化的算力模组单元，构建开放合作、融合创新的产业生态，为用户提供更多通用性强、绿色高效、安全可靠的算力选择。（本文首发于钛媒体APP，作者｜张申宇，编辑丨盖虹达）