AI大模型如何在行业实际落地：企业对话场景拥抱大模型之路
采访嘉宾 | 中关村科金·AI 平台能力中心
作者 | 刘燕
大模型构建人机协同的新型生产关系 。
1对话式 AI 产品拥抱大模型
一个大胆的决定
自 2014 年成立以来，中关村科金就选择专注于企业服务赛道提供对话场景服务，聚焦生成式 AI 技术，包括领域大模型、大数据分析、多模态交互三大核心技术。如今基于这三大类核心技术，已形成了一套完备的技术体系，并构建了一个基础的技术底座 — 即生成式的得助对话引擎。
这些底座式的能力都由 AI 平台能力中心来提供支持的。这是一个在内部被定义为偏底层、汇聚“原子能力”的地方。这个能力中心，既要构建前沿的技术能力，又要快速响应前端业务系统的变化，构建标准化的产品组件用以快速落地。
“我们一直在探索对话式 AI 技术在企业服务赛道的创新应用，同时积累数据，比如对话场景的 KnowHow。此外我们一直紧密跟踪大模型的发展趋势，进行相关的技术更新和迭代，比如预训练模型如何在领域里做优化，为企业提供贴合实际应用场景的模型等。” 中关村技术副总裁张杰博士表示。
自 2018 年开始，预训练模型逐渐兴起，起初用的比较多的是判别式模型，例如 BERT 模型。近几年，预训练模型几乎是以爆发式的速度增长，参数规模逐年上涨。尤其是去年 11 月底，ChatGPT 火爆出圈成为革命式的事件，基于 GPT 出色的生成效果，很多传统的 NLP 任务都规划到了生成模型中。从 BERT 到后来的 T5，再到 GPT4，张杰团队观察到， 整个技术发展的趋势，在向一个统一范式的方向发展。
“大模型 + 领域知识”这一路线，核心是为了利用大模型的理解能力，将散落在企业内外部各类数据源中的事实知识和流程知识提取出来，然后再利用大模型的生成能力输出长文本或多轮对话。但是这个方向上一直没有一个创新力强的产品出来。ChatGPT 发布后，让张杰和他的团队眼前一亮。
“以前我们主要用 BERT 技术体系解决实际业务问题，ChatGPT 出来后，我们重新研究了 GPT 整个发展路线，梳理好整个大模型的技术发展脉络后， 从 AI 技术发展角度研判，生成式大模型可能是未来通向通用性 AI 的一条可行性路线，于是大胆地做了一个决定——在产品中，积极探索应用生成式大模型解决实际业务问题 。”
从传统对话引擎转向大模型对话引擎
“通过新一代的得助对话引擎， 我们正在从传统的对话引擎迈向大模型的对话引擎，用一套对话引擎支持多种业务系统，业务系统会基于行业线进行拆分，在不同的行业线还推出了私有化和 SaaS 化的版本。”中关村科金资深 AI 产品总监曹阳介绍，通过一套技术体系对产品进行能力赋能具有很多优势，以前产品矩阵的底层有几百个定制化模型，运维起来非常麻烦，现在可以统一用一套大模型就搞定了。
于皓介绍， 新一代得助对话引擎的核心能力是：领域 CoT + 领域大模型 + 领域知识库 + 领域能力套件。通过将领域的 konw-how 转化为领域 CoT，使大模型具有更复杂的业务问题解决能力；通过外挂知识库的形式，把事实性知识的流程性知识都放在领域知识中台内，大模型用来做抽取、调度和生成，然后下游业务系统通过 API 获取结果，以保证业务知识的实时性、可靠性；通过领域能力套件，打通大模型和企业已有系统的融合，建立模型和企业已有业务系统的无缝链接，将大模型的能力充分释放到各个业务系统中。
在新一代得助对话引擎的设计中，充分考虑到实际业务情况， 轻量化部署本地化大模型是未来企业的强烈需求，团队研发了本地化大模型的快速优化套件，主要包括领域知识的注入能力、领域 prompt 生成能力、领域指令自主生成能力、领域指令微调能力和领域规范行为对齐能力，可以帮助企业快速构建适合于自身业务场景的大模型，降低大模型在企业的落地门槛。
于皓介绍，在得助对话引擎架构的设计过程中，也充分考虑了 ToB 场景的特性。在 ToB 场景中，企业有很多领域知识，但这种领域知识基本都固化在各个知识库里，如何结合大模型的隐性领域知识和推理能力，与企业已有的固化好的显性知识融合起来，这是目前需要解决的一个大问题。
因此在设计引擎架构时，于皓的算法团队把知识库和大模型的基础推理能力相融合，结合企业固有的知识满足实际业务场景需求。针对解耦合的模式设计了交互式的推理能力，例如针对问答场景，首先要理解问题语义，抽取出问题中涉及到的实体关系，如果问题属于隐形知识范畴，就由大模型直接回答。如果涉及到业务中的显性知识，其可能存在于结构化数据库或者文档库等形式的知识库中，大模型需要利用领域 CoT 和领域能力套件自主性生成查询语句，根据查询语句到知识库里查出相关知识，把知识提炼出来之后，再根据上下文生成对话的形式，将一个复杂的问题做思维链推理，提炼成简单的问题，借助于领域能力组件可以从知识库、业务系统或者互联网等资源检索信息，再借助于大模型的上下文学习能力归纳总结出答案，在这一模式下，重点在于大模型解决问题时的推理合理性、过程可控性和结果的可靠性。
2大模型如何在领域落地，打造超级员工
“超级员工”形成的技术路径
在基础大模型能力加持下，得助对话引擎帮助企业构建“超级员工”，需要经历“学、教、用”三步形成路径。
第一步：学，大模型在领域数据上的无监督学习。
大模型就像是一个智商较高、理解能力很强、过目不忘的“文科生”。中关村科金 AI 平台能力中心在这个底子很好的“文科生”基础之上，注入企业的领域知识，如各种培训材料、行业通用知识等，让大模型能够理解领域知识，成为一个具备领域知识的“普通员工”。
这一步的重点是让大模型从散落在各处的数据源中萃取出领域事实性知识。
中关村科金高级算法工程师罗华刚介绍，做到这一步的关键是要“及时动手自制”。ChatGPT 用的数据都是开源的，没有规范的具体领域数据。而如果要应用到领域里，则首先要用自己的领域数据。比如中关村科金积累了多个行业大量的对话数据，把这些高质量对话数据灌到大模型里训练，就可以让模型更符合领域分布，那么，它生成答案就会带有领域的知识，这种是隐性的知识。
对于事实性的动态知识，模型是难以把控的。比如针对具体某个金融产品，客户会询问利率，正确答案是 5%，但是大模型生成的结果可能是 6%。大模型善于理解用户的意图，使生成的回答符合逻辑，但并不能保证事实性。另外，随着时间的推移，这款产品的利率可能会降低，变为 4%，大模型很难及时跟进此变化。
事实性的动态知识尽管也可以通过训练融入大模型，但无法保证输出的正确性。如果要保证正确性，就会让这个模型过度拟合，这不符合训练模型的目的。因此对于事实性的动态知识，非固有的领域性知识，罗华刚团队参考了 GPT-4 提供的插件功能，来保证大模型实时输出的正确性。“我们将它作为插件，领域知识库 / 中台作为它的事实性或动态知识的存储地，大模型负责对给出的问题做语义理解，同时发挥中枢调度的功能，最终生成答案。“
第二步：教，从人类反馈中以小规模有监督学习的方式做微调。
“普通员工”依托专业的产品设计，不断和人类专家进行闭环反馈。基于人类专家的反馈，它能够不断地获得提升，逐步成为“超级员工”。
这一步的技术难点是，如何让大模型学到流程性知识。因为与事实性知识相比，流程性知识更强调连续性和逻辑性。
为了让大模型具备流程性知识，罗华刚介绍，可以采用两种方式。一是无指导学习的方式，让模型自己去体会对话中存在的知识，将对话数据以及对话数据产生的目标（比如，营销场景下坐席与客户的对话数据，最终是否完成了销售任务）设为标签，作为一个监督性的任务进行微调。
第二种是有指导学习的方式，告诉模型怎么做，这具体有两种方法，一是采用思维链的技术，加入逻辑引导，比如针对一小段对话，加入逻辑分析，告诉模型如何分析这通对话，分析顾客的特点、顾客表现出的意愿等，输出一个更优质的对话告诉模型，这样的例子是比较好的，让模型再去学习这样的案例，大模型通过学习一个评判模型来评判一个对话逻辑。另一种方法可以考虑采用强化学习或 GAN 的形式，比如，机器人与机器人之间产生了对话，再去评判这通对话做的怎么样，通过这样不断地来回学习，使模型的能力越来越强。
第三步：用，在特定场景下以机器人或助手的方式应用。
成为具备领域知识的“超级员工”后，企业可以给它分配特定的任务，在具体的场景下进行应用。比如撰写营销文案，自动解答用户的问题，或辅助坐席去回答一些问题等。
这一步的关键点是产品设计，如何合理的为人类员工和数字员工分配任务，实现能力互补，并且让数字员工从业绩反馈中持续学习。
曹阳介绍，为“超级员工”分配任务，目前是机器 + 人工结合的方式。基于业务属性，会按照一套通用的框架和流程进行分工，到具体环节会采用单元模式的动态人工介入的方式。
这种方式的核心是单元化产品逻辑，所有的业务单元都会抽象到一个整体的单元，系统会按照固定流程执行，流程中涉及到人工审核或验证环节。人工参与的程度可以根据业务问题的复杂度进行动态调整，简单的业务问题系统会进行自动化处理，复杂的问题交由模型处理后，人工再进行审核。针对不同的业务，也会动态化的控制人工参与度，比如，售前营销沟通场景中业务类型比较重要，且用户画像相对丰富，这个环节会有较强的人工介入，其他场景比较简单，动态控制的要求也会相应地降低。
应用案例解析：AI 落地商业空间更大了
“超级员工”的目标是帮助企业降本增效。目前，中关村科金打造的“超级员工”已在各个场景展开试点。罗华刚向 InfoQ 介绍了两个代表性的应用案例。
外呼机器人，让话术师告别“刀耕火种”时代。
一组应用数据显示，以前在一个新场景构建外呼机器人，大概需要 22-23 周时间，且需要非常熟练的话术师才行。但现在，借助一个构造好的领域大模型，只需大约 1-2 天时间就可以成功交付，能明显降低交付成本，加快交付效率。
营销文案助手，赋能理财师撰写营销文案，原先 10 分钟一条营销文案，现在 10 秒即可完成。
当下的财富管理行业面临业务增速较快，但理财师规模和人才增速不足的挑战。理财师的专业要求高，其中，文案生成就是一项刚需工作，如果技能不够，就容易流失很多高净值客户。因此，理财师亟需借助智能助手工具，将一些繁琐的工作，如编写营销话术工作等交给机器完成，这样就能释放出更多精力放在拓展新客户等工作上。
针对理财场景，中关村科金研发了营销文案助手。它发挥大模型的语言理解能力，将产品的介绍文档、行研报告、权威媒体的财经新闻、专家观点等“灌进”大模型，大模型从这些非结构化文档中，抽取出核心观点及关键信息，如新基金产品的发布日期、期限费率、收费政策、风险等级、利好政策、行业趋势等。这些抽取出来的要素，形成了新的领域知识库。
当理财师选择某一客户时，客户的属性就能从 CRM（客户关系管理系统）中关联出来。根据这些客户特有的属性，理财师就能了解其投资偏好。接下来进入营销环节，根据所处的阶段，大模型可以生成相应的营销话术，为保证生成的内容是准确、可控的，理财师最后对生成的内容进行审核和再编辑。
透过实际的落地实践，中关村科金 AI 平台能力中心发现， 拥抱大模型也明显加速了 AI 商业化的进程。
“ 在探索大模型实践的过程中，我们尝试了多个对话应用场景，也和客户共创了一些有场景代表性的试点项目。”张杰坦言，“ 使用大模型以后，已有的对话产品中定制化建模的成本降低了，而且之前技术达不到要求的对话场景现在也可以做数智化尝试，AI 落地的商业空间更大了。”
大模型重塑生产关系
未来“超级员工”在企业里所承担的角色，一方面可以完成一些机械、重复的工作，另一方面，可以辅助人工，承担一些创造性的工作，减少员工的工作量。大模型强大的意图理解能力以及泛化性使其完成一些创造性的任务成为可能，这将对企业的生产关系带来重要的变革。
“中关村科金的愿景是希望通过对话式 AI 技术，重塑企业的生产关系。现在尽管大模型十分火爆， 但在企业服务赛道，很少有人意识到大模型未来会对企业的生产关系带来很大影响。”张杰表示。
现在的企业生产关系是一个树状的架构，从上往下分别是董事会、职能部门、业务部门，一层一层往下是金字塔式的。现阶段在数字化转型中，企业开始将一些简单的体力劳动、能总结出规律的活动，写成具体的程序，通过自动化校对的方式来实现。也有些企业会训练模型，这些模型会以助手的方式辅助一线员工，员工下面一层也就变成了助手机器人。但整体来看，整个组织结构仍然是树状的，是人 - 人 - 机的架构。
未来，情况可能会发生变化。
张杰表示，“未来大模型带来的启示是，它不但能够替代一些简单的体力劳动，还能替代一些简单的脑力劳动，甚至包括那些能够从日志里总结出经验的脑力劳动。”
在张杰看来，未来企业的组织结构将呈现纺锤形，上层是人类经营者，中间层真正负责干活的是机器人，少数的业务专家会指导机器或与机器协同互补，是人— 机—人的架构。“机器人在其中的角色并不完全是助手。最开始由于技术所限，它以助手的形态呈现；未来在具备自主学习能力后，它能够真正成为独立承担工作的数字员工，而且是成本非常低的员工。”
未来，随着大模型重构企业组织架构、重塑企业生产关系，可以释放出更多的人力，开展更具创造性的工作。但不可避免地，重塑生产关系意味着必然有一些人会被替代掉。 张杰认为，从短期来看，大模型带来的影响是，一些不产生价值的、中间的职能岗位，可能会很快将被机器取代掉。长期来看，关于价值判断、规则制定、以及关乎人性和心理的工作，是大模型不能取代的。
3巅覆对话场景：下一阶段企业数字化转型的重点
对于企业来说，数字化是一项“必修课”。最近几年，可以明显感受到，数字化转型逐渐往“纵深化”发展。而大模型技术的爆发，有望给企业的数字化转型进程带来“加速度”。
一个显著的变化是，前几年，企业数字化主要针对企业内部的交易数据和核心业务系统，对这些数据通过数据挖掘的方法进行建模，实现降本增效。
随着近些年大模型的高速发展，对话数据成为企业愈发重视的数据资源。无论在现阶段还是未来，无论是企业与外部客户沟通还是企业内部员工的培训和协作，对话都一直是最主要、最自然的交互形式。在这期间，会产生很多对话数据，包括线下营销和线上营销、文字沟通和电话沟通等场景。
企业希望充分利用对话数据、挖掘对话数据的价值，从而更好地服务于数字化的需求。这也是对话式 AI 技术解决方案提供商当下正在思考的问题。
采访中，张杰谈到了他的一个判断：“ 对话数据，将是企业数字化转型下一阶段的重点。过去，企业的数据只是存了下来，并没有进行结构化的表示和挖掘，更遑论提取出智能服务。随着大模型的到来，可以理解这些非结构化数据中蕴含的语义，进而挖掘出其中的智能服务。”
张杰表示，大模型能解决对话场景下数字化转型中存在的“最后一公里”的问题。以销售话术复盘场景为例，很多企业都在针对其做数字化转型，此前大都通过规整和挖掘订单、客户标签等数据的方式进行。但往往在“最后一公里”的时候，无法实现特别好的转化效果。
“最后一公里”是指，业务人员与客户在门店、连锁店、呼叫中心等线下和线上销售的场景交互时，通过对话的方式进行，这一环节没法做数字化转型；“最后一公里”的分析和挖掘也很难做到位，比如传统的客户呼叫中心在进行电话营销时，原先只能做简单的关键词质检，无法做更细粒度的分析。
大模型具备的超强语言理解能力，让“最后一公里”的销售过程实现数字化转型成为可能。具体的做法可以是，通过电子工牌或呼叫中心将销售过程录下来，采用 ASR 语音转写技术将录音转成文本；再通过对话文本挖掘出用户的意图；随着对话过程不断进行，大模型可以实时生成流程图谱，给销售提供对话建议，分析潜在的话题引导方向，提升销售人员的营销技能，提高成单概率和用户的留存率。由此，既能帮助企业通过智能对话服务实现降本增效，也能有效提升用户体验以及拓展服务外延。
4对话式 AI 及大模型发展技术趋势展望
对话式 AI 下一步重点是流程性问题
张杰认为，对话式 AI 下一步要攻克的一个技术难题是流程性的问题。对话有流程步骤，如何让大模型，基于一个特定的目的，探索出最佳的实践流程，这很关键。
目前，中关村科金 AI 平台能力中心正在对这一问题进行攻坚。让大模型不断从历史对话中总结话术流程，通过不断地总结完善，使其生成的话术流程更有针对性，可以应对不同客户的诉求。这样模型准确度更高，自动化程度更高，智能化程度也会更高。
程序员的归宿不是提示工程
大模型与之前的预训练模型的不同之处之一就是提示学习（Prompt Learning）。 预训练模型需要微调，大模型往往需要提示。
提示学习是 2020 年出现的新概念，主要是为了解决预训练语言模型训练过程的任务和实际业务的任务之间不一致的问题。通过提示语，可以让预训练语言模型理解当前任务的类型，从而可以更好地完成任务。随着 NLP 技术的飞速发展，现在的提示工程已变得更为复杂，提示语通常包含任务指令、任务目标、行为约束、输出规范、资源清单、样例展示和思维能力提示等要素。
于皓的团队将提示学习作为大模型工程化方向上的研究重点，并在多个场景测试效果。团队根据不同的场景设计了自动化封装的 Prompt 工程的方法，一条思路是离散的提示工程，另一种是连续的提示工程，比如用一个模型把对话自动生成向量，隐含提示工程，然后将提示向量融合到大模型向量中解决问题。
关于提示学习的另一焦点话题在于，未来的提示学习工程师可能会比软件工程师多。对此，于皓认为，“Prompt 工程的确在现阶段非常重要，但至于说未来是不是程序员都成为提示工程师，我的观点是，Prompt 工程可能是暂时的一个中间过程。只是说，现在大模型的能力还没有达到基于人工设定的复杂任务目标去自主性进行任务分解，然后根据这些任务转化成一种它可以直接解决的细粒度的自然语言任务。现在大模型需要中间的提示工程师帮助它理解任务，然后转化成它可以直接执行的自然语言任务，这中间是一个适配的过程”。
未来随着大模型的能力向更高层级提升，会覆盖掉现有的 Prompt 工程。因此，于皓认为， 程序员的归宿不是提示工程，提示工程一定会被大模型的能力覆盖。未来大模型一定具备很强的交互能力，甚至实现人人都是“陪练师”。每个人在日常工作中可能都会有大模型与之交互，在交互的过程中，大模型会不断提升其对领域的认知能力，增强大模型专业能力，逐渐成为 7*24 小时的“超级员工”。
算力难题下，如何选择适合自己的模型
大模型迎来爆发后，很多企业都在争相上车，但一个现实的问题是，大模型背后所需的算力成本极为昂贵。
以 ChatGPT 为例，其训练约需要万卡时的计算量。对于大多数的企业来说，做到这一点不太现实，全球可能达到这一量级的企业都极少。此外，还面临很多需要处理的技术难题，例如，数据质量差，训练过程中模型缩小导致最终训练结果不及预期等问题。
因此，罗华刚认为， 当大多数企业很难付出像 ChatGPT 这样的大模型所需的成本时，就需要考虑如何将模型调小以满足需求。模型的规模会随着应用场景的复杂程度及数量发生改变，模型越大，提供的能力会越强；而领域越小，它需要的模型规模越小。因此，在企业自有资源允许的条件下，建议选择尽可能大的模型，使得模型的能力更强。在这种情况下，企业可以考虑用一些方法来降低训练成本，进一步细分到具体的任务场景下，采用比如 Self-Instruction 或 LLM+LoRA 技术。
Self-Instruction 是通过大模型的输入、输出来微调模型，比如，有人训练斯坦福的羊驼模型大概只用了 500 美元的成本，通过调用 ChatGPT 的接口生成一系列的 instruction，微调指令和输入、输出，最后自己的模型只有 70 亿参数，相对而言成本降低了 20 倍，用这样一个模型去拟合，最终它的效果可以接近 ChatGPT 的效果。
LoRA 是指在大模型插入一些小模型，微调时，大模型不动，只微调小模型的部分，也可以达到同样的效果。这种方案牺牲了模型的整体能力，提高了在特定任务上的能力，但这样做能够降低训练成本。
如果企业没有自己的大模型，也没有自己的领域大模型，可以考虑部署开源模型，这样也可以节省算力消耗的资源。
未来：领域模型成王者？
大模型混战之际，业界也在讨论和预测大模型的终局。张杰的判断是，未来会呈现出 基础大模型多家并存、领域模型百花齐放的状态。
“基础大模型，特别是多模态基础大模型，未来应该只有几家公司做，因为做基础大模型需要大量的数据、算力和人才，这些组合资源极少部分企业能够承担得起。因此，未来一定是有数据、有算力、有人才的公司，更可能去构建出基础大模型。基础大模型未来会聚焦在提升多模态能力、挖掘复杂推理能力，以及构建应用生态圈。”
基础大模型如果想用在实际业务中，还有很多方向需要适配，例如在法律、医疗、金融、政务等领域，很多工作流程逻辑复杂，且对数据敏感性、业务可解释性要求高，基础大模型在这些场景无法直接商用。
这就给未来其他企业留下了空间。如何根据实际的业务，将大模型转化成一种具有高效的计算方式的小模型，小模型再根据专业知识做注入、指令微调、思维链提升、对齐等，使其更适配某一领域的规范约束。
作为对话式 AI 技术解决方案提供商，中关村科金需要思考的是， 如何发挥自身优势，在领域内如何积累数据，如何沉淀领域知识，如何将领域知识注入到大模型上，以此构建自己的技术护城河。此外，在具体应用场景下，思考围绕对话和推理两种能力颠覆已有的产品体验，挖掘新的应用场景。
“可以畅想，未来大模型领域会是一个百花齐放的局面。个别头部企业会去做大模型，其他企业根据大模型的能力提升每个领域的中小模型，中小模型再结合领域的知识，变得更专业化，这是一个大趋势。”张杰如是展望。
采访嘉宾介绍
于皓，中科金算法专家，同济大学计算应用技术博士，先后参与机器学习、知识图谱和大模型领域相关项目数十项，具有丰富的项目实战经验；申请国内外技术发明专利 20 多项，获得第十届吴文俊人工智能技术发明一等奖、2019 年上海市科技发明一等奖、第四届中国保险业年度最佳突破奖等数十项奖项。
罗华刚，中关村科金高级算法工程师，北京大学计算数学专业硕士，研究方向为运筹优化、知识图谱、自然语言处理等。曾参与建设 HAO 图谱、知识即服务、图谱 CBB 等多项系统，撰写发明专利三十余篇，协助撰写专著《知识中台》，获 2020 年吴文俊人工智能技术发明一等奖、世界人工智能大会卓越人工智能引领者奖 Top30。
一个价值70亿美元的教训！如何避免平台工程变成“大灾难”？
阿里云一年内将分拆上市；58同城被曝裁员，部分比例达50%；ChatGPT推出iOS版，免费还支持语音 ｜ Q资讯
失控的不仅仅是云成本：一年为可观测性狂烧4.5亿，有钱的“大冤种”也扛不住了
涉及数万人、历时三年，国内最大规模的云原生实践是如何打造出来的？
活动推荐
