神州数码副总裁李刚：大模型幻灭低谷or波动上升？｜甲子引力

精度、算力和应用场景局限，是大模型跨越幻灭低谷的关键。

在2024年12月11日的“万千流变，一如既往”2024甲子引力年终盛典上，神州数码副总裁、CTO李刚发表了题为《跨越幻灭低谷，怀疑还是行动？》的演讲。

演讲中，李刚强调了大模型技术对企业级应用带来的机遇与挑战，并指出了当前企业面临的三大核心问题：精度、算力成本和应用场景局限。

李刚指出，神州数码深耕To B领域超过20年，服务上千家国内大型企业。面对大模型对传统数字化系统的颠覆性影响，神州数码视其为重要的战略方向。

然而，尽管LLM在提升效率和改善用户体验方面展现了显著进步，其企业级应用效果尚未完全达标。部分原因是这些项目带有防御性质，更多是为了跟上技术潮流而启动，而非基于明确的应用场景需求。

自2023年起，神州数码深入研究并致力于LLM的应用探索，发现客户反馈的“幻灭”主要源于三个方面的问题：精度问题、算力成本高、应用场景局限。

针对这些挑战，李刚着重分析了精度问题。大模型虽然能处理通识知识，但在特定企业的内部知识理解上可能存在偏差，导致不准确的回答。

为解决此问题， 神州问学通过封闭的知识空间内训练模型，即对企业内部知识进行治理，从而大幅提升模型对特定企业知识的理解精度。

此外，随着单位算力成本的快速下降及技术创新，如神州数码推出的异构融合智算加速平台HICA，算力正在变得如同电力一样普及且经济，极大降低了企业的进入门槛。

李刚呼吁企业积极应对而非被动等待，抓住这一历史性机遇，避免因错失而丧失竞争力。他认为，持续解决问题将使大模型跨越幻灭周期，在企业应用中实现更广泛的发展。

神州数码副总裁、CTO李刚

以下是神州数码副总裁李刚演讲实录，「甲子光年」整理删改：

神州数码专注于To B领域已有20年，特别是在服务大型企业方面，为上千家国内B端企业提供服务。大模型现在是我们的一个重要的战略领域。

首先，大模型有可能彻底颠覆现有的To B数字化系统。有观点认为它将重塑所有的数字化解决方案。我们认识到这种潜力，并将其视为重要的发展机遇。

其次，从事B端业务的一个显著优势是，一旦深入客户环境，便能建立难以逾越的客户粘性和竞争壁垒。这是神州数码坚持深耕B端市场的另一个重要原因。

此外，神州数码在过去20年间经历了多次技术革命，如互联网和移动互联网等，这些都对B端业务模式产生了重大影响。面对当前的大模型浪潮，我们并不感到陌生，因为类似的冲击我们已经历过。

‍

根据Gartner 2024年的技术成熟度曲线，大语言模型（LLM）已从2023年的期望膨胀期步入泡沫破裂低谷期，这一年被视为LLM应用的元年。现在，在大模型的实际应用中，已经出现了“幻灭低谷”的现象。这是新技术在进入企业应用环境时不可避免地经历的一个阶段，从萌芽期、期望膨胀期到幻灭低谷期，最后逐步进入稳步上升期。

实际情况是，尽管生成式AI已经开始为企业带来成本节约、员工效率提升或营收增长，但许多企业客户反馈现有解决方案尚未完全满足企业级应用的需求。

当真正要推进大模型应用时，企业常常表示对投资回报率（ROI）并不十分清楚。这种不确定性导致了一种“噪音”，似乎表明大模型在企业落地过程中进入了幻灭期。

我们进行了非常深入的分析，基于服务数百家企业，并帮助大约100家实施应用的经验，发现企业客户认为大模型进入幻灭期的主要原因有三个方面：

1. 精度问题：大模型幻觉、上下文遗忘、可解释性差以及领域知识缺失。

2. 算力成本高：高昂的投资、能源消耗及资源调度分配的复杂性。

3. 应用场景局限：高昂的投资、能源消耗及资源调度分配的复杂性。

关于精度问题，它是大模型在企业落地过程中的核心障碍。如果可以突破这一瓶颈，将极大地加速大模型的应用进程。

当前，很多应用场景集中在简单的知识问答上，尽管这类场景看似基础，但如果企业内部一个大模型对企业内部的知识能够100%的答对，那么它的下游爆发出的场景是有无限想象空间的。

为了实现这一目标，我们认为关键在于在一个封闭的知识空间内提高精度到企业可接受的水平。企业内部的知识空间不像通用大模型那样没有边界；相反，它是有限且具体的。

例如，在汽车行业，“车书”涵盖了所有与车辆相关的资料。如果一个大模型能够完全掌握这些资料的内容，其产生的价值将是不可估量的。

以神州数码发布的 神州问学产品为例，我们进行了一项对比测试，结果显示，未经优化的基础大模型在获取企业知识后进行检索时，答案往往是不准确的。但是，经过企业知识治理并提升精度后，模型可以输出完全不同的结果，显著提高了准确性和可靠性。这表明，通过针对性的知识优化，可以在企业内部实现大模型的有效应用，从而克服精度问题，推动更多应用场景的开发。

在企业内部，还有大量的表格、图片、专业术语以及复杂的公式等知识形式。对这些知识进行完整的治理后，我们可以大幅减少大模型可能出现的幻觉现象。就像数字化转型中的数据治理一样，知识治理将是大模型成功落地的关键工作之一。一旦这项工作完成，将会极大地促进企业大模型应用场景的爆发。

关于算力问题，在2024年初与企业的交流中，许多企业都表达了对算力成本的巨大压力，动辄需要几百万甚至上千万的投资。企业在没有产生足够真实的场景来证明算力需求合理性时，往往会望而却步。

然而，我们可以预测到，随着应用场景的爆发，算力需求将进一步提升。特别是从模型训练转向推理的过程中，这种需求会发生变化：训练所需的算力会逐渐下降，而推理所需的算力则会上升。

根据IDC的数据，从2022年到2027年，智能算力的复合增长率预计将达到33%。虽然算力需求增长显著，但好消息是单位算力成本正以每两年4-8倍的速度快速下降。

例如，神州数码推出的异构融合智算加速平台HICA，算力正在变得如同电力一样普及且经济，极大地降低了企业的进入门槛。这样的技术进步不仅促使企业更快地采用更多模型，还降低了算力成本。

最后再来看应用场景局限性问题。

作为一项革命性的创新技术，企业现在需要改变其拥抱新技术的方式。传统的数字化转型体系非常完善，通常基于自顶向下的项目规划和预算设定。

但在大模型时代，我们转向了产品交付组合型的数字化转型，即围绕具体任务场景不断优化迭代，明确目标。当前AI在企业中的应用具有更大的不确定性，系统化的数字化转型方法论正在形成之中，尚未完全固定。这一过程既是挑战也是未来提升空间所在。

人工智能的应用将通过不断的迭代——无论是数据还是用户反馈——逐步实现新的范式。随着大模型场景的逐步落地，智能化转型将迎来一个新的阶段。

回顾最初的技术成熟度曲线，如果我们只是怀疑和等待，迎接我们的可能不是大模型技术的幻灭，而是企业错失战略性甚至历史性的机遇，从而丧失竞争力。积极面对并解决问题，这将不是一个幻灭的过程，而是一个波动上升的过程，是暂时的波折。实际上，幻灭的破灭，正是大模型进一步深入企业应用深度和广度发展的良好时期。