关键字: [出海日城市巡展, AskMyScala, 大模型应用, 知识库搜索, 向量数据库, 生成式Ai, 数据集成]

本文字数: 2500, 阅读完需: 12 分钟

导读

陈苏南在”泛娱乐行业论坛”上分享了基于MySQL AI数据库的集中式RIG解决方案。他介绍了该解决方案的组成、实战案例和公司简介。该解决方案利用大模型和数据库相结合,支持多种数据源接入、灵活的模型调用、结构化和非结构化数据查询,并具有高性能和低成本优势。陈苏南还分享了该解决方案在游戏公司和AI陪聊公司的应用案例,展示了其在提高数据命中率和保留对话记忆等方面的优势。最后,他简要介绍了伊克罗德公司的业务和技术实力。

演讲精华

以下是小编为您整理的本次演讲的精华，共2200字，阅读时间大约是11分钟。

在当今时代,人工智能(AI)技术的发展如火如荼,大模型应用的热潮正在席卷全球。作为一家专注于云计算和信息技术解决方案的公司,我们伊克罗德信息科技并非开发大模型的先驱,但我们意识到充分利用现有大模型、将其工程化应用于实际场景的重要性。

2022年3月,全球前15大AI应用程序的访问量数据显示,ChatGPT、谷歌Bard、Anthropic等知名大模型应用占据了榜单前列,其应用场景主要包括智能对话机器人(Chatbot)、代码生成、AI文书以及知识库问答等。我们今天的分享将着重关注知识库问答(RIG)这一领域。

相较于传统的微调模型方案,知识库问答解决方案能以仅0.1%的成本达到相近的效果。由于我们无法在大模型生成方面进行突破,因此我们将重点放在提升检索增强能力上。去年,在OpenAI推出ChatGPT后不久,我们就紧随其步,推出了自己的GNI解决方案,成为亚马逊云合作伙伴体系中首批上架解决方案的公司之一。我们的GNI解决方案包括图像生成(ImageX)和知识库问答(AskMyScala 1.0)两大部分。

AskMyScala 1.0的架构设计利用了多种亚马逊云科技服务,如Lambda用于托管后端、OpenSearch作为向量数据库、DynamoDB存储请求和召回精度等信息。然而,在实际测试中,我们发现该架构存在着向量索引性能低下、召回精度不足的缺陷。根本原因在于OpenSearch本身并非为向量检索而生,在这一领域的能力有限。因此,我们一直在寻找合适的向量数据库来支撑整个架构。

经过广泛调研,我们将现有向量数据库产品大致分为三类:第一类是专业的线上数据库公司,如Pinecone、Weaviate、Zilliz等,它们在全量向量索引方面表现出色,但由于底层仍基于传统向量存储和搜索,因此在数据管理能力上略显不足。第二类是OpenSearch和ElasticSearch这样的开源搜索引擎,它们通过插件实现向量索引,性能一般。第三类则是支持SQL与向量查询相结合的数据库,如PgVector和PgVectorIsao,但在我们的测试中,它们的向量检索性能未能达到预期水平。

我们希望找到一款在数据管理能力和向量搜索性能两方面均表现出众的产品。最终,我们发现了由墨西哥技术公司研发的MySQL数据库,并与其达成了战略合作伙伴关系。有了MySQL,我们的AskMyScala解决方案进化到了2.0版本,架构大幅简化。

MySQL数据库本身就建立在列存储引擎ClickHouse之上,相比传统的行存储,它能更高效地读取所需列,减少IO开销,同时支持批量执行、高效索引和并行处理等优化手段。更重要的是,MySQL自研了一种名为MSTG的向量索引算法,结合了图算法和树算法的优点,无论是过滤搜索还是全量搜索场景,其性能都远超传统方法。MySQL不仅支持海量向量存储,还能存储企业中常见的结构化和非结构化数据。

除了强大的存储和检索能力,MySQL还支持灵活的模型集成,可与当前主流的大模型如CloudIntelligence、OpenAI、ByteRock等无缝对接。它还支持主流的Agent框架式问答和小样本文本优化等功能。在数据源接入方面,MySQL不仅原生支持Lucene和Elasticsearch,还通过插件支持了更多数据源,如Confluence、Google Drive、飞书等,并支持PDF、Word、JSON、CSV等多种数据格式的导入。

值得一提的是,MySQL还开发了一项创新功能,能够直接读取网页和网站地图中的内容,为客户提供了全新的知识获取渠道。有些时候,机器人的回答甚至出乎客户内部人员的意料。

除了强大的向量搜索能力,MySQL还支持结构化数据的SQL查询、ES中的倒排索引,以及数据仓库中的多表Join等操作,使其不仅是一款向量数据库,更是一款全能的数据库解决方案。

有了MySQL作为坚实的基础,我们的AskMyScala 2.0架构变得前所未有的简单:前端Agent服务、大模型调用和MySQL数据库,仅此三部分。我们对MySQL与其他数据库在性能和成本方面进行了对比,结果显示无论是在召回精度、每秒查询数(QPS)还是总体成本方面,MySQL都远超竞品,是目前最优秀的向量数据库选择。

在调用方式上,AskMyScala 2.0也提供了多种灵活的选择。客户可以直接通过我们提供的Web UI与ChatBot对话;也可以在自己的网页上嵌入我们的框架,只需加入两行代码即可;此外,我们还提供了标准的OpenAPI文档,企业可根据需求进行二次开发。

精度评估是知识库问答系统中最为重要的一环。由于我们所有数据均存储在MySQL数据库中,因此可以直接使用SQL进行查询和评估。我们也支持使用Redis等工具对精度进行评估,并根据评估结果通过代码对系统进行微调,以达到更高的精度要求。

AskMyScala 2.0只是我们在AI领域的一个开端。我们的愿景是以MySQL为基座,结合大数据处理、知识查询等工具,构建一个支持多模态数据处理的Agent平台,为客户提供外部工具和API,满足更加广泛的需求。目前,我们已经完成了AskMyScala 2.0的模块化架构设计,接下来将进一步优化和拓展功能,以期为客户带来更佳的体验。

理论是空谈,只有真正的实战案例才能彰显一个解决方案的实力。我们已经为多家客户提供了AskMyScala服务,取得了令人振奋的成绩。

第一个案例是一家从事出海游戏业务的公司。该公司的需求是在他们的战略类游戏中嵌入AI助手,以提升用户体验。然而,他们之前尝试的方案智能化程度和回答精度都较低,无法完全理解玩家的提问并作出准确回复。在与客户沟通后,我们发现他们的项目周期非常紧张,希望能够快速上线整个系统,而训练模型和进行微调的工作量和周期都超出了他们的预期。

有了这一需求理解,我们毫不犹豫地向客户推荐了AskMyScala解决方案。仅用了一天时间,我们就将整个系统部署到了客户的环境中,并与其游戏系统对接,开发出了多项功能。

在数据工作流方面,由于客户的数据量巨大,涵盖了PPT、PDF等多种格式,我们首先对数据进行了对齐、清理和预处理。同时,我们还收集了大量玩家的实际提问,并针对这些问题进行了Prompting Engineering(PE)和少样本优化(Few-shot Learning),以提高系统在实际问答场景下的表现。

除了MySQL数据库原生的向量搜索能力,我们还结合了传统的多路召回搜索,进一步优化了检索效果。经过这一系列工作,客户之前遇到的绝大部分问题得到了解决,命中率和答案精度也得到了大幅提升。

具体来看,在接入我们的解决方案之前,客户的命中率仅为86%,答案精度为67%左右,用户体验极为糟糕。而在上线AskMyScala后,源命中率飙升至98%,答案精度也达到了90%,效果非常显著。我们有信心,通过持续优化,将来能够将这两个指标进一步提升至99%以上的水平,为客户带来无与伦比的AI助手体验。

第二个案例是一家名为三点科技的AI陪聊公司。与国外知名的Character AI公司业务类似,三点科技的主要需求是保留用户的长期记忆,避免在聊天过程中出现记忆断层或前后矛盾的情况。

对于这类需求,很多人可能会疑惑:为什么不使用常规的搜索+Prompting Engineering的方案,而要使用线上数据库呢?

实际上,AI陪聊的意义并不仅仅是回答问题那么简单。当我们与AI助手进行交流时,我们希望能建立一个理想的虚拟角色,并与之进行贴近生活的对话。我们期望这种对话能够成为美好的记忆,而不是被遗忘或前后矛盾。要实现这一点,就需要数据库来保留用户的上下文信息和对话历史,确保AI助手的回答始终保持一致性和连贯性。

在数百万乃至数千万用户的大规模场景下,传统数据库要为每个用户分别建立分区以实现多租户就会变得异常困难,分表数量往往只能支持到数百或数千级别。而MySQL则可以轻松实现数百万用户的多租户分区。

我们只需要将用户按照每几千人一个租户的方式分区存储,并利用MySQL自研的MSTG算法,通过用户ID、消息ID等键进行过滤搜索,就能高效地获取到用户的对话上下文,确保AI助手的回答前后连贯、个性化。对于客户来说,整个调用过程只需两个简单的API调用即可实现。

通过这两个实战案例,我们可以看到AskMyScala 2.0解决方案在提升用户体验、保障数据安全和个性化服务等多个维度的卓越表现。而这仅仅是我们在AI领域的开端,未来我们将继续深耕,为客户带来更多创新的解决方案。

最后,简要介绍一下我们伊克罗德信息科技公司的基本情况。我们成立于2014年,是亚马逊云科技的核心合作伙伴,至今已为数千家跨行业客户提供过服务。我们拥有280多项亚马逊云科技专业证书,获得了多项亚马逊云科技能力认证,如数据分析、机器学习、专有化部署、混合云部署、安全托管等,实力雄厚。

在产品线方面,我们不仅拥有大数据(DataBricks、神策等)、AI(AskMyScala、ImageX等自研方案)、网络(亚马逊云科技网络、专线、CDN等)、应用安全(Cisco、Palo Alto等顶级安全厂商)等多个领域的解决方案,还拥有分布式数据库TiDB,可为客户提供从大数据到数据库的一体化技术支持,真正做到解决方案全覆盖。

如果您对我们的AskMyScala 2.0解决方案有任何兴趣或疑问,欢迎通过扫描我们的微信二维码与我们联系,我们将竭诚为您提供技术支持和深入解答。

总之,基于MySQL的AskMyScala 2.0向量数据库解决方案正是我们在AI领域的一次重要突破,它凭借出色的技术架构、卓越的性能表现和实战应用案例,将为泛娱乐行业激活数据潜能,推动AI在更多场景的落地应用。我们将继续努力,为客户带来更多创新的AI解决方案,共同拥抱智能化的美好未来。

总结

在当前人工智能技术飞速发展的时代,企业如何利用大模型和数据库技术来提高工作效率和服务质量,成为了一个重要课题。伊克罗德信息科技公司推出了基于MySQL的RIG(Retrieval-Ingestion-Generation)解决方案,旨在帮助企业充分利用大模型和数据库技术,实现知识库搭建、智能问答等功能。

该解决方案可灵活集成主流大模型,支持多种数据源接入,并提供结构化、向量化和关键词搜索等多种查询方式。在性能和成本方面,该解决方案表现出色,远超其他数据库方案。该公司已成功将该解决方案应用于游戏、AI陪聊等多个行业,显著提高了数据命中率和答案精度。

作为亚马逊云科技核心合作伙伴,伊克罗德信息科技公司凭借雄厚的技术实力和丰富的行业经验,致力于为客户提供从大数据到人工智能的一体化解决方案。该公司呼吁企业抓住人工智能发展机遇,利用先进技术提升竞争力。