【AI测评】对话式生成能力在不同维度的表现
自从ChatGPT引爆生成式AI开始，AI工具在工作、生活中的使用就越来越频繁。那么，如何选择最能匹配自己业务发展的智能AI？这篇文章，作者帮我们做了评测，希望能帮到大家。
随着人工智能技术的不断发展，对话式生成服务在各个领域得到了广泛应用。越来越多的平台提供对话式生成服务，如何选择最能匹配自己业务发展的智能AI？下面详细介绍下几种大类选型：
一、线上提供对话生成式内容的平台
目前，市场上有多家平台提供对话生成式内容的服务。以下是一些主要的平台详细介绍
- OpenAI GPT-3-是一款强大的自然语言处理模型，具有极高的生成能力和语言理解能力。可以生成高质量的文本内容，适用于各种自然语言任务，如文本生成、机器翻译、对话生成等，还具备推理能力，可以进行逻辑推理和常识推理
- Microsoft Azure Language Service-微软创作，主要应用在办公领域，通过非结构化的指令AI自动执行生成目标文档的交付，整个环节较为丝滑。目前支持多种自然语言任务，包括文本分类、情感分析、命名实体识别等。
- Baidu 文心一言-支持多种自然语言任务，包括文本分类、情感分析、实体识别等。同时提供语义理解和自然语言生成能力，用于构建智能对话系统和智能客服。
- Alibaba Cloud Natural Language Processing-阿里巴巴提供的一套自然语言处理服务，具有高度准确和可靠的性能。支持多种自然语言任务，包括文本分类、实体识别、情感分析等。同时提供语义理解和问答能力，可以用于构建智能搜索和问答系统。主要代表就是淘宝客服。
对话式生成的能力可以从多个维度进行测评：
- 自然语言任务：包括自然语言理解、情感分析、文本分类、自然语言推理(NLI)、语义理解，它是评价对话式生成服务的基础，包括词法分析、句法分析、语义理解等。这些任务要求平台能够准确地分析、理解和处理自然语言文本。例如，对于“苹果比橙子大”这句话，平台应该能够正确地理解“苹果”和“橙子”这两个词汇以及它们之间的关系。
- 推理：评价对话式生成服务的重要指标之一。在对话过程中，平台需要能够根据已有的知识和信息进行逻辑分析和推断，从而理解用户的意图并生成相应的回答。例如，当用户询问“明天天气怎么样？”时，平台应该能够根据已有的气象数据和用户所在地区进行推断，并返回明天的天气预报信息。
- 稳健性：评估对话生成模型在面对输入变化、干扰和攻击时的稳定性和鲁棒性（人话是稳定性和适应）。在对话式生成服务中，能够处理各种自然语言文本输入，包括不规范的语言表达、多语种文本、非结构化文本等。同时，还需要适应不同的场景和用户需求，如闲聊、查询信息、解决问题等。
- 可信度：评估对话生成模型生成内容的可信度和准确性。评估主要考虑其算法的准确性、数据来源的可靠性以及服务的稳定性等因素。
- 伦理：伦理考虑是一个重要护栏指标，主要评估对话生成模型在伦理和道德方面的考虑，如避免歧视性言论、保护用户隐私等。还特别需要保护用户的隐私和数据安全、公正性和无偏见性。之前大家玩的梗比如某厂的AI问到自己创始人跟别的大厂创始人的不同回答，就是基于这类伦理问题开的玩笑。
下表列出了各平台在不同维度上的能力评估。请注意，评估结果可能会因平台版本和更新而有所变化。
四、不同场景的产品建议
根据不同的场景需求，以下是一些建议使用的产品
- 自然语言任务和推理：对于需要较高自然语言任务和推理能力的场景，建议使用OpenAI GPT-3、Microsoft Azure Language Service
- 稳健性和可信度：对于对稳健性和可信度要求较高的场景，建议使用Microsoft Azure Language Service和，它们在这些方面有较好的表现。
其实现在之所以不可能一家独大主要原因是每个平台都贡献了自己独有的智慧，直接验证适合不适合自己平台，可以把相同的问题发在不同的平台，获取最有帮助的回应即可，具体如何搭建，查看我前一篇如何搭建属于自己的AI平台。
如果是企业来用，可以通过集体采买，选购在不同领域各有优势的平台产品，再基于自己业务的诉求做精度提升。
专栏作家
蓝莲花zx，人人都是产品经理专栏作家。关注内容策略、内容后台、内容标签、账号策略等领域，喜欢阅读，希望做个有趣的人。
题图来自 Unsplash，基于 CC0 协议
