Weee!基于亚马逊云科技生成式AI服务优化智能客服系统
关键字: [symposium, Agenic, Ai 基础平台, 知识库增强, 工具使用能力, 智能体设计, 业务赋能应用]
本文字数: 2000, 阅读完需: 10 分钟
导读在本次演讲中,演讲者介绍了Weee!如何在亚马逊云科技专家的支持下,构建了一个AI基础平台,并将其应用于智能客服系统。该平台融合了多种AI技术,如大模型、知识库、向量检索等,能够理解行业专有词汇,并通过工具调用实现订单查询、退款等功能。他们采用了多个AI智能体协作的方式,并引入了安全机制、性能追踪等机制。最终,他们在两个月内就完成了该智能客服系统的开发和上线试运行,提升了响应速度、流程标准化和客户体验。演讲者还分享了AI评估的实践,如引入另一个AI模型评判结果质量,结合相似度和业务规则评分等方法。
演讲精华以下是小编为您整理的本次演讲的精华，共1700字，阅读时间大约是8分钟。
大家下午好,非常荣幸有这个机会来到这里,跟大家分享最近完成的一个智慧客服项目。在亚马逊云科技专家的支持下,我们用两个月的时间快速完成了这个项目,现在很高兴与大家分享。
首先,我简单介绍一下我们公司Weee!。Weee!成立于2015年,是美国领先的亚裔和西方人的电商平台,总部位于旧金山湾区。我们致力于为北美的家庭提供新鲜实惠的全球美食。我们很像国内的盒马生鲜平台,但不同之处在于我们没有线下店面,只有线下仓储和物流团队,是一个纯网络平台。
我去年在美国平安夜的一个经历说明了我们平台的重要性。当时我们想买点东西吃,但发现所有超市几乎都关门了。好不容易找到一家超市,里面却只有印度食品,没有我们中国人习惯的肉蛋奶、米面油盐酱醋茶等。这让我意识到,Weee!建立了一个融合多种少数族裔文化的平台,让各族裔在一个平台上买到自己喜欢的食物。
今天我将分三个部分跟大家探讨: 1. 在亚马逊云科技专家支持下,我们构建了自己的AI基础平台。 2. 这个基础平台与我们的智慧客服应用。 3. 关于AI Agent评估的实践。
在此之前,我再次感谢亚马逊云科技专家团队对整个项目的贡献,我们进行了多轮深入探讨。
我们先回顾一下应用架构的发展历程。从单体架构到CS架构、BS架构,再到微服务架构,每个阶段都提供了新的理念和技术。但最近出现了AI大模型和Agent技术,我们需要重新思考架构的发展方向。
经过深入思考,我们得出了一个新的架构图。在右边是一个叫Agenic的AI平台,它依赖于提示词工程、工具调用、工作流编排、知识库增强,再加上保护用户隐私、数据和商业机密的安全护栏。通过基础模型的迭代升级,它不断提供知识能力。它有点像是我们招募的一个多才多艺的大学生,我们赋予它知识让它成长,它又能调用AI模型和API为我们解答各种问题。这是一个很有趣的发展方向。
这张图是Snowflake的文达老师分享的Idynic概念。文达老师指出,如果只是AI模型加上提示词工程构建应用,它很难真正为业务赋能。我们在测试中也发现,Claude 3.5加提示词无法满足需求,ChatGPT 3.5加提示词工程只能解决40%问题,升级到4.0后能解决60%问题。但引入Idynic Workflow这样的AI智能体后,仅基于ChatGPT 3.5就能解决70%问题。
这是OpenAI科学家Lilian对Agent的定义。一个AI智能体需要具备四种能力:规划(Planning)能力可依赖提示词工程实现,包括反馈反射、自我反思、思维链等;记忆能力包括短期和长期记忆;使用工具的能力,包括外部工具和内部工具;以及与其他Agent交互合作的能力。
基于以上思考,我们绘制了自己的AI基础平台架构图。从下往上看,最低层是亚马逊云科技提供的基础技术,我们在此基础上打造了自己的AI知识库、专有词汇库、基于OpenSearch的向量数据库。中间一层是两个模型ByteRock和CGMaker,前者托管了Claude 3模型,后者托管了BG Embedding模型,用于知识召回重排序。上层是八种能力:工作流编排、绘画管理、Prompt管理、版本管理、知识库、专有词汇、工具使用、鉴权。再往右是安全护栏、性能追踪和质量评测。最上层是开放给Agent设计人员和调用方的API能力。
我们还基于这个平台与业务系统集成。中间的三条黄线表示所有后端服务与AI平台的交互都通过API,响应形式是流式的。下面的Function Calling表示AI平台可调用业务侧提供的工具接口。我们的AI平台包含了大模型和传统AI小模型,两者结合可以兼顾成本和效率。
这是一个部署架构图,左侧是AI平台的四大块与业务系统交互,主要通过API交互。右侧使用了亚马逊云科技的PostgreSQL、ElasticSearch、S3对象存储、ByteRock等技术。
我们再聊一下RAG(Retrieval Augmented Generation)技术。AI模型就像人的大脑皮层,缺少对现有知识的认知,需要知识增强。RAG技术就是用检索增强来补充AI对企业和现有知识的缺失。我们会先用OpenSearch的向量数据库做多路知识召回,包括关键词检索和向量检索,给予不同权重。然后通过重排序,再将增强的知识输入给大模型,最终生成结果返回给客户。我们的向量检索速度可以控制在1秒内,整个First Token响应在500毫秒内。
接下来讲一下我们设计Prompt的原则。我们采用了Cost Star原则,使用监控号作为分隔符,因为不同模型在训练时使用的语料不同,监控号更符合ClaudeAI的调性。我们的Prompt包含角色说明、用户输入、提示模型进行链式思考和自我反思、期望输出格式说明等模块,并为业务部门预留了定制规则的入口。
我们希望通过引入AI模型,提升智能客服的响应速度、流程标准化程度和客户体验。在亚马逊云科技专家的支持下,我们仅用两个月时间就完成了平台搭建、优化框架制定、知识库链路设计、Agent测试和性能追踪框架、引入安全护栏、基于ByteRock多模型开发等工作。有意思的是,Agent的设计完全由我们的产品经理一个人做出来的,包括Agent拆分、能力设计、Prompt编写等。
这里有一个智能客服的示例。当客户询问”我的订单什么时候送达?时间已经推迟一个半小时了”时,系统会先进行意图识别、数据读取和知识库查询,然后Agent给出回复:“非常抱歉给你带来不便,你的订单由于*****原因,你需要登录我们的App,点击已发货订单查看物流状态。我们已将你的问题反馈给相关物流部门,他们会重视并改善配送效果。”
这是AI技术平台与客服系统集成的架构块。我们的智能体实际上是多个协作的小Agent,这样更容易控制和调试。我们计划分三个阶段推进,目前处于第一阶段,客服需要确认AI Agent的回复,后续会让Agent直接回复客户邮件和工单,最终实现即时沟通。
最后探讨一下AI评估的方式。与传统的基于断言的测试不同,AI生成的回复很难用预期结果进行评判。我们可以在一些特定场景下,比如意图识别、情绪判断等,借助查准率、查全率等指标进行评估。但对于更抽象的场景,我们引入了两个指标:相似度和SOP质量。
相似度指标是将客服的历史满分回复作为基准,用AI回复同一问题,看两者的相似度。SOP质量指标是将业务规则抽象成规则列表,通过打分的方式评判AI是否遵循了这些规则。我们还会结合实际的客户反馈,不断优化模型。
以上是我今天的分享,再次感谢大家!
总结: 本文分享了亚马逊云科技公司如何在亚马逊云科技专家的支持下,仅用两个月时间就构建了一个AI基础平台,并将其应用于智能客服领域,提升了响应速度、流程标准化和客户体验。全文详细介绍了AI基础平台的架构设计、关键技术(如RAG、Prompt设计原则)、与业务系统的集成,以及AI评估的实践方法。这个案例很好地展示了AI在企业级应用中的实践,有很高的学习和借鉴价值。
总结亚马逊云科技的AI出海GenAI生成式AI项目总结:
为满足多元文化需求,Weee!电商平台建立了一个融合多种少数族裔文化的平台,让各族裔在同一平台买到喜欢的食品。在亚马逊云科技专家支持下,Weee!仅用两个月时间就构建了一个AI基础平台,并将其应用于智慧客服项目,显著提升了响应速度、流程标准化和客户体验。
该AI平台包括知识库、专有词汇库、向量数据库等,并融合了大模型(如Claude 3)和小模型的优势。它采用RAG(Retrieval-Augmented Generation)技术增强AI对企业知识的理解,实现了高效的多路知识召回和重排序。通过Prompt工程、工具调用、工作流编排等,赋予AI智能体多种能力,如规划、记忆、工具使用和多Agent协作。同时,引入安全措施保护隐私和商业机密。
在评估方面,除了传统的断言测试外,还引入了相似度和质量两个指标,通过与历史优秀回复的对比和业务规则的打分,持续优化AI模型。该项目展现了亚马逊云科技在GenAI领域的实践能力,为企业AI赋能提供了有益探索。
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。