对话中关村科金张杰：让大模型落地有“技”可循
嘉宾 | 张杰
采访 | 张晓楠
“2018年，随着Transformer预训练模型的兴起，自然语言处理（NLP）学术圈中形成了一个主流观点——NLP领域的不同技术方向，如文本分类、文本匹配、序列标注等，最终都会被归结到文本生成这一核心任务之下。”这是中关村科金技术副总裁张杰在访谈伊始便提到的一项关键洞察。
作为领先的对话式AI技术解决方案提供商，中关村科金自2014年成立以来便选择聚焦生成式AI技术，专注于企业服赛道提供对话场景服务。并在过去数年中，基于对AI技术栈的全面布局，先后构建了数字化洞察与营销、数字化服务与运营、数“智”底座三大产品矩阵。
ChatGPT引爆大模型热潮后，AI技术积淀深厚的中关村科金也在第一时间选择了全面拥抱大模型，并于2023年11月正式发布了国内首个企业知识大模型、AgentGraph应用开发平台，以及“超级员工”系列AIGC应用，成为了国内大模型应用领域的先行者之一。
本期T·TALK访谈栏目，我们特别邀请到了中关村科金技术副总裁张杰，希望能够通过这场对话，了解到这位经验丰富的技术专家对于AI行业发展的认知与判断，以及中关村科金这家头部智能科技企业在大模型技术与应用领域所积累的宝贵经验。
1.大模型落地的切入点
根据张杰的介绍，此前，行业内普遍会将对话式AI认为是企业与客户沟通的一座桥梁，尤其是在数字化转型的背景下，这座桥梁的主要作用通常会被归结为提升沟通效率与用户体验。
然而随着大模型技术的火爆，业内开始逐渐意识到了对话式AI的更大潜能——“以中关村科金为例，现在我们认为对话式AI在大模型所提供的理解和生成能力加持下，可以通过在对话过程中对企业知识的提取，升级成为企业知识管理甚至是企业群体智能的入口。”
因此在张杰看来，当前很适合大模型落地破冰的切入点，便是面向企业的知识问答场景。常规的企业知识库会包含大量的各式文档，并不利于整理和查询，如今只需要将这些知识信息交给大模型进行处理，便能直接通过对话形式进行关键信息检索。
这不仅能带来成本上的效益，企业不再需要大量人员对文档进行标注整理。且基于大模型的控制，所生成知识信息在合规和可控性上的表现也会更好。更重要的一点是，企业知识中台并非孤立场景，除了赋能内部员工外，对外部客户的触达连接，例如营销、客服等，也都存在着很大的想象空间。
目前，中关村科金AIGC应用知识助手已成功服务银行、证券、财富管理等多个行业客户，包括头部证券公司。在证券行业实践中，基于大模型内容生成能力，为客户经理生成不同对客阶段、多样化的客户营销话术，营销文案撰写时间从10分钟缩短至10秒，高效辅助客户经理展业，提升客户经理对客服务的专业性。在财富管理行业实践中，为智能客服产品赋能，大幅提升客服系统问答意图识别准确率和回复准确率，减少70%以上的系统运营工作，帮助企业实现更加智能、成本更低的客户服务。
“2022年ChatGPT发布后，大模型实现了从学术圈一直到朋友圈的破圈；2023年则是大模型破冰的阶段，无论是基础大模型还是领域大模型厂商，都在积极寻找试点应用场景；而2024年将很有可能会是大模型应用涌现的一年，各种业务场景都会选择拥抱大模型。”张杰如是说。
2.模型与知识的有机结合
作为国内头部的对话式AI技术解决方案提供商，中关村科金在多年的经营历程中积累了丰富的企业级客户服务经验。在企业数字化转型的过程中，张杰总结到，无论在大模型火爆前后，客户对待产品的态度都无外乎两种——足够新颖亦或是足够实用。
因此，通用大模型并不能成为当下企业服务的统一解决方案。通用大模型更强调泛用性，即便模型综合能力很强，但依然会面临一个法则，便是“通用的不好用，好用的不通用”，所以想要解决企业不同业务场景下的特定问题，还需寻找新的突破口。
中关村科金基于对大模型技术的综合判断，探索出“大模型+领域知识”的发展路径，在领域大模型的基础上又提出了企业知识大模型。由于许多知识密集型企业不允许模型存在幻觉问题，这便需要将特定领域知识和语言模型进行有机结合。
企业知识大模型助力构建“企业知识大脑”。例如在制造业，没必要训练领域大模型记忆特定企业每款零件的各种细节数据，只需要将信息储存在企业知识库，并由企业知识大模型进行信息的挖掘与读取，并从中筛选出用户所需的知识点。
张杰表示：“企业知识大模型不与具体领域绑定，更多用于处理不同结构的数据源，并将非结构化的知识转化为大模型能够快速查找的知识库，没有领域特性的特点，也使其能够被更广泛的应用于不同行业的不同业务场景中。”
3.软件工程新范式
根据张杰的介绍，随着企业AI应用场景的不断丰富，很多应用创意将产生在业务部门，他们需要更加简易高效的研发平台快速验证idea，而不是将任务全部交由科技部门慢慢立项研发。
而对于如中关村科金这样具备多样产品体系及完备产品矩阵的企业而言，大模型应用开发平台能够帮助交付人员提高产品的研发和迭代效率并降低成本。所以，中关村科金在推出企业知识大模型的同期上线了AgentGraph应用开发平台。
“基于智能体的应用开发平台将会是一个大的趋势，这将可能会带来软件工程的新范式。”在软件工程2.0时代，数据格式都需要人为进行预定义，但在大模型时代，基于模型对多模态数据的理解，预定义数据结构这项沿用许久的传统势必将被颠覆。
关于AgentGraph应用开发平台的特点，张杰也给出了这样的介绍，“AgentGraph平台分为两层，底层为原子能力，场景组件中封装了大量行业KnowHow，上层则采取拖拉拽即可实现的零代码流程编排画布。能够低成本的链接模型能力和应用场景，是AgentGraph的核心优势。”
张杰表示：“我们希望通过AgentGraph构建一个生态开发平台，把应用开发的权限从算法工程师、IT人员手里开放出来，业务专家可以通过低代码、拖拉拽的方式，快速调用AI底层能力，实现场景应用落地。”
4.产品革命
无论技术亦或是工具的演进，最终所影响的都是产品的迭代和创新。相较于此前基础的AI技术，大模型所能提供的语言理解能力更强，这意味着在大模型的赋能之下，传统AI产品的能力覆盖率将会迎来质的飞跃。
例如在一些客服质检场景，传统方法是利用关键词识别，去判断涉及敏感内容或辱骂性的词句。而依托大模型的语言理解能力，基于大模型所构建的质检系统，一些不含有敏感词但句意为辱骂或涉及违法的内容也将能够被准确识别并抓取。
另外，在我们熟悉的营销领域亦是如此。原先做营销外呼需要将产品话术及对话SOP提前设定好，然而即便如此SOP也没法穷举客户的不同状态，例如客户在开车亦或开会时该怎么做，传统营销系统都难以应付。大模型则只需要通过一些绩优话术的训练，便能够基本达到人类业务员的水准。
目前中关村科金主推的一大产品应用便是能够服务营销、客服、行政、财务等诸多不同业务场景的虚拟员工助手。不同业务场景的虚拟员工都源于同一套技术路径，即底层能力来自大模型及AI原子能力，以支持信息抽取、文本理解及内容生成。
对于企业最关心的大模型落地成本与安全性问题，张杰也总结了一些自己的观点和中关村科金目前所提出的解决方案。在企业私有化部署时，很多场景不需要太大体量的大模型，更没必要从0到1训练基础模型。很多时候几十亿、几百亿参数的小模型就能解决具体问题，加之应用云服务，部署大模型及训练的整体成本并不会过高。
安全层面，中关村科金则提出了一套新的安全体系，通过数据清洗、隐私脱敏、合规加训、提示工程约束与传统合规质检五层安全防护的处理，以确保大模型以及基于大模型所构建的系列应用能够尽可能摆脱幻觉问题的困扰。
5.大模型的应用高地
“随着技术和应用的不断成熟，大模型的应用场景将变得非常多，知识密集型行业将最有可能率先成为大模型落地的高地，例如金融、制造、政务等。”在回答有关大模型领域未来发展趋势的问题时，张杰提出了自己这样的判断。
金融业有着许多大模型应用落地场景，这是由于金融业拥有较强的数字化基础，且每一点小的突破都能带来可衡量的收益。在银行、保险、证券等行业的营销、服务等业务场景中，大模型都能够对业务人员形成很好的赋能。
此外，如制造、政务等领域，虽然仍在数字化进程中，但它们的共同点便是行业内都存在着海量信息，利用大模型将这些知识碎片收集记忆起来，按需赋能给相关人员，将能够显著提升多种场景下业务人员的工作效率。
张杰强调称：“任何技术从前沿的突破，到工程化、产品落地试点，再到大规模落地，都会有一个技术应用的生命周期。现在大模型技术非常火爆，虽然在应用过程中还需要一段的时间积淀，但在未来三到五年，这一领域将会充满机遇。”