【CICC原创】一种基于大型语料库的智能问答系统对保险行业词根表生命周期管理的应用分析
ChatGPT 语言模型对词根表的生命周期管理有参考价值，在保险行业中典型通用词根的统一标准化用词方面是有着正向作用的，在对这类词根进行内容 维护时有参考价值。
一、基于GPT预训练语言模型的智能聊天系统
近来，OpenAI 推出了一种人工智能聊天原型ChatGPT，在人工智能界引发了巨大的讨论热潮，在开放试用的短短几天内就吸引了超过百万级的用户注册应用，那么它的优势是什么？ChatGPT 作为一 种专注于对话生成的语言模型，它能够根据用户的文本输入产生相应的智能响应。OpenAI 使用人类反馈强化学习技术(Reinforcement Learning from Human Feedback)对 ChatGPT 语言模型进行了训练，并加入更多人工监督进行微调，这一训练范式增强了人类对模型输出结果的调节，并且对结果进行了更具理解性的排序，且 GPT语言模型在进行文本预测与生成时是基于庞大的通用语料库的，内置千亿级 训练参数量。截止 2020 年 5 月的 GPT-3，参数量已达到了1750亿（如表1所示）。因此在进行文本预测时，会生成相关性很强的词汇，使智能客服问答回复质量与效率都上升到了新的高度。
表1 各版GPT的参数量
本文利用 ChatGPT 语言模型在自然语言处理(NLP)领域的巨大优势，讨论ChatGPT语言模型参照国际规范标准对保险行业词根表中词根的英文名称定义及缩写等内容的维护是否具有辅助作用，展开 实验并进行分析。
二、保险词根表的生命周期管理
（一）词根表的意义
我们首先讨论词根表的定义及它与过程管理、支撑技术的关系。目前领域知识的表述是沿着两条相关的主线进行的，即：结构主线与流程主线，其中结构主线强调某个环节的具体结构，相对稳定；流程 主线则强调各环节的整体性和过程集成性，相对灵活。在业务实务方面，它们又分别对应表单管理与活动管理。
但无论是结构主线还是流程主线，在讨论领域知识时都有一个共同的基础，就是用词，而词根表就是用词在一个特定层面的标准称呼。词根表作为行业应用软件中用于表述领域术语的词码表，其词根的含义是最基础的词及其缩写符号。我们虽然知道了词根表在领域知识当中的位置，但是还必须更具体地在概念层次上标出它们更适当的位置（如图 1 所示）。
图1 词根表的标注
与系统软件和通用型软件不同，行业应用软件的主要对象是有特定含义的领域对象，这些对象庞大而且变化，并构成特定的语义网络，如果我们采用系统软件开发思维，就会命名太多的“变量”，增加理解的难度，降低处理的效率。因此，行业应用软件运用领域的词根进行编程，是独有的特点。而词根表的内容定义，一定是需要基于领域知识的，是垂直于业务的，是聚焦于行业标准的。
（二）词根表的生命周期管理
可以说，词根表的生命周期管理是必要的，这里我们指：定期对词根表进行内容维护，包括词根增删、词根更名、英文名称检查等。因为行业应用软件是应用型软件，需要频繁且高效地映射程序对象与 领域业务（术语）之间的关系，越符合标准的表达，映射的效率就越高，因此我们需要使用领域术语中稳定的部分做成词根表以便有效的使用，也会经常出现某些词根组成的新的业务用词，使我们的词根表 也充满了“创新”的可能性。而统一词根表有标准化的含义，这样便于更大范围的交流与映射，所以在标准化层面，我们需要参考行业标准化结构对词根表的内容定期实施更新维护，需要依据保险业务字典、 国家标准《保险术语》、Acord 保险标准等多种当中对术语用词的标准化定义。
三、GPT语言模型辅助生成词根英文名称的效果
（一）测试数据集
为了能够最大程度上验证ChatGPT语言预测模型对保险词根表的维护起到的积极作用，我们选取了词根表中典型术语单词根表进行应用测试与结果比对，测试数据如表2所示。注意，这里我们是对单 词根表进行了筛选与实验，我们认为，词根组表中的词根都是由单词根进行组合得来的，单词根具有规范性与唯一性的话，词根组就具备了准确的唯一性定义。
表2 一组保险行业典型术语测试单词根表
从表 2 可见，实验前我们首先梳理罗列出了原始词根表中词根的英文名称定义与词根缩写（中间两列），并收集了现行业应用软件中应用的底层数据结构表单进行对比（最后一列）。对比发现，在利用 ChatGPT 语言模型进行实验前，行业应用软件数据结构结构表中个词根别，如合约、责任，与词根的英文名称、缩写相比，已经发生了变化，这证明了保险词根表是需要进行更新换代的，也需要找到一个标准的方法且便捷的手段去准确实施的内容维护工作。
（二）实验过程与结果比对分析
1.调节温度模型参数，生成稳定回答
在进行实验前，我们首先设置了影响 GPT 模型生成文本的随机性参数—temperature。GPT 的文本生成概率模型本质上就是在 Softmax 函数上添加了温度(T)这个参数。模型中，Logits 根据我们的温度值会进行缩放，然后传递到Softmax函数以计算新的概率分布，获得采样概率。因此越低的温度使模型对其首选越有信心，而高于 1 的温度会降低信心，0 温度相当于 argmax似然，而无限温度相当于均匀采样。
本次实验中，我们需要具备稳定性以及准确性的输出，不存在分类的情况，因此将 Temperature 设置为0，消除输出的随机性，使得GPT模型按照我们的规则去语料库中query到相关保险术语标准参量， 生成具有稳定性的回答（如图2所示）。
图2 GPT模型的回答
2. 验证 GPT 模型生成语料在保险行业的可参考性
我们询问并确认了ChatGPT语言模型的语料库中是否包含“Acord 保险标准”等具有参考性的国际标准体系，以及该语言模型在生成保险业务词根的英文名称时是否能够参照国际标准进行生成（如图 3所示）。
图3 对ChatGPT的询问
通过多轮提问，我们得出结论：ChatGPT语言模型的语料库中是包含中国国际标准《保险术语》 （GB/T 21456-2008）及美国 ACORD 保险业标准的，并且认同“参照国际标准《保险术语》及 ACORD 保 险标准来生成业务字段的英文名称”这一输入规则的，这就说明 ChatGPT 语言模型能够参照行业内统一标准来规范生成文本结果，它的输出是对词根表的内容维护有较强参考价值的。
3.实验过程
上节中我们已经确认了ChatGPT语言模型对词根表的生命周期管理是有参考价值的，本节继续讨论 ChatGPT 语言模型的实际应用效果，我们对筛选出的多组测试词根表进行了测试，过程如图4所示。
图4测试过程
4.结果分析
我们收集整理了ChatGPT语言模型对保险词根的预测生成结果，为证明其准确性，我们将结果分别与《保险术语》（GB/T 21456-2008）标准、Acord 保险行业标准的相关用词做了对。
以图5所示的一组比对结果为例。通过对比我们发现，在这一组共计26个典型词根当中，出现了5 个存在英文名称偏差的词根（图中标红）。把偏差词根的英文定义分别借鉴《保险术语》标准、Acord 标准的术语定义找到出处并列举，其中词根“合约”“标的”“责任”与“附加费”分别找到了标准定义，而词根“分摊”术语业务化字段，未在两个标准中找到明确用法。最终经过分析确认，除去为便利软件开发而不进行更替的词根“标的”及未找到出处的词根“分摊”，其余词根用法均采纳ChatGPT语言模型输出结果，而“分摊”的英文定义经过多维度因素考量，包括业务场景数据结构、库结构、词根本身含义与用法等，最终决定采纳 ChatGPT 语言模型输出结果。因此本组实验中，ChatGPT 语言模型结果采纳比率高达 80%，ChatGPT语言模型预测结果与 ACORD标准的一致性达到 92%，与《保险术语》术语定义一致性达到了84%。
图5 比对数据
针对保险场景典型通用词根，我们共进行了类似 3 组测试，每组测试样本 25 个，每组偏差词根在4-6 个不等，每组偏差词根采纳 ChatGPT 语言模型生成结果的比率在 60%-80% 之间。可以证明， ChatGPT 语言模型的生成结果是对标行业标准的，是规范的。它对保险行业中典型通用词根的统一标准化用词方面是有着正向作用的，在对这类词根进行内容维护时是有参考价值的。
四、GPT语言模型不适用情况
在测试中我们发现，对于一些具有行业应用软件工程特征或业务实务特征的词根，ChatGPT 输出结果的参考价值会“大打折扣”。
1.行业应用软件库结构中常会因其工程化应用而出现一些便于系统识别的词根，例如“树龄”“险别”“配置类型”“文本内容”“输入”“描述”等，该类词根在行业内不存在相关参考标准对其定义进行约束与规范，而受编程与软件开发的约束。对于此类词根，是否需要借助 GPT 语言模型进行内容维护，或是否需要进行更换仍需讨论。
2.一些具备业务实务特征的词根衍生于本国保险行业业务实务中，针对这类词根，由于业务存在地域化差异并会产生细化分支，词根的颗粒度与命名会随业务规则发生改变，而本国业务环境与规则是 与国际存在差异的。那么针对此类词根是否需要借助GPT语言模型进行内容维护仍需讨论。
3.虽然通过验证得知GPT模型在生成英文缩写时会基于ISO国际标准，但其缩写结果过于简略，且存在“一词多义”的情况，导致出现用词与业务映射存在偏差，使开发或业务人员对用词的可读性变差，因此不建议借助GPT模型对词根来生成英文缩写。
五、总结与展望
通过本次实验，我们认识与体会到了 GPT 预训练语言模型的优势，对于适用于保险行业词根表生命周期管理的部分也做出了分析，那么在未来，我们将继续针对“调用 GPT 模型 API 实现批量词根检查”，以及“如何训练 GPT语言模型让其生成更加准确的结果”等方面进行深入研究。
文：成翌宁 张正
（《中国指挥与控制学会通讯》编辑部供稿）
关注公众号了解更多
会员申请 请在公众号内回复“个人会员”或“单位会员
欢迎关注中国指挥与控制学会媒体矩阵
CICC官方网站
CICC官方微信公众号
《指挥与控制学报》官网
国际无人系统大会官网
中国指挥控制大会官网
全国兵棋推演大赛
全国空中智能博弈大赛
搜狐号
一点号