关键字: [出海日城市巡展, MySQL, 向量数据库, 大模型应用, 知识库解决方案, 数据管理能力, 向量检索性能]

本文字数: 1700, 阅读完需: 8 分钟

导读

陈素南从伊克罗德公司介绍了基于MySQL的向量数据库RIG解决方案Ask MySQL。该方案利用MySQL的列式存储和自研mstg算法,实现了高性能、低成本的向量检索和数据管理能力,支持多种数据源接入、多模型调用、SQL联合查询等功能。他还分享了该方案在游戏公司和AI陪聊公司的实际应用案例,展示了Ask MySQL在提升检索精度、支持多租户等方面的优势。最后,陈素南介绍了伊克罗德公司的云原生服务和AI解决方案能力。

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。

大家好,我是来自伊克罗德的陈素南。伊克罗德是一家云原生公司,致力于为客户提供上云解决方案。今天,我将带来一个基于MySQL的向量数据库RIG解决方案,主要分为五个部分:方案架构及逻辑介绍、客户应用场景实战案例、为什么需要RIG、RIG与微调模型对比、Ask MySQL 2.0方案详解。

首先,让我们看看为什么需要RIG。由于AI近期火爆,我们并非像OpenAI或Anthropic那样的大模型公司,无法研发出大模型。因此,我们更关注如何利用现有大模型来工程化落地客户需求。我们尝试了多种方法,包括PE、长文本检索和向量检索,但最终发现RIG是落地大模型应用的最优路径。

从4月份Top 15 AI应用访问量可见,GPT、NewBing、谷歌Bard等大模型占据前列,还有一些独角兽企业如Anthropic、AI21和Cohere等。我们将它们的大模型应用主要分为几类场景:ChatBot、Copilot、代码生成、AIGC(包括图片生成)、文本生成和知识库应用。我们今天主要带来的是知识库这一块的解决方案。

在知识库场景下,我们使用IAG(Instruction Augmented Generation),将RIG与微调模型进行了四点对比:RIG可以以0.1%的成本达到相近效果;我们无法提升IAG Generation能力,因此更关注检索和增强能力;自OpenAI火爆以来,我们推出了多个AI方案,如ImageX(图生图和文征图)、知闻1.0(Astra),成为亚马逊云合作伙伴体系第一批落地经验解决方案的Partner。

我们的解决方案架构图使用了众多亚马逊云科技服务,如Lambda托管Launcher、OpenSearch作为向量数据库、DDB记录请求和召回精度等。对于中文查询需求,我们使用SageMaker托管的ChatGPT和百川大模型。但该方案的缺点是召回精度较低,因OpenSearch本非为向量检索而生,向量搜索能力较弱。因此,我们希望找到真正的向量数据库替代品。

在市场上,我们将数据库分为三类:专业线上向量数据库(如Pinecone、Weaviate、Zilliz),性能强但数据管理能力薄弱;搜索引擎(如OpenSearch和Elasticsearch),基于插件做向量检索,性能不理想;基于SQL和向量的数据库,如PgSQL,功能强大但依赖插件实现向量检索,性能一般。

我们想要的是一款基于向量查询和数据管理兼具的数据库。最终,我们找到了由墨奇科技研发、与我们达成战略合作伙伴关系的MySQL数据库。MySQL基于列式存储,在圆形和向量联合查询上经过深度优化,可存储海量向量数据、非结构化和结构化数据,支持倒排索引、多表Join等,且成本低廉。

MySQL之所以性能强劲,一方面得益于基于ClickHouse列式数仓的底层,可高效读取必要列、支持批量执行、高效索引和并行处理;另一方面得益于墨奇自研的mstg算法,结合了图算法和树算法的优点,无论过滤检索还是全量检索,效率均高。

基于MySQL,我们推出了Ask MySQL 2.0方案,架构变得简单,分为三部分:前端Agent Service、大模型调用(ClaudeAI、OpenAI、EboardingAI等)、MySQL数据库(统一存储知识库数据、历史记录和监控指标)。

Ask MySQL支持灵活的模型和Agent(如亚马逊Bedrock、OpenAI、GPT-3.5、Claude等主流模型和Agent)、多种数据源接入(原生和插件支持)、直接读取客户网页和网页地图内容、支持多种数据格式(PDF、DOC、JSON等)、SQL联合查询、倒排索引和多表Join等数仓功能。

在性能和成本对比中,Ask MySQL在相同QPS下,精度远高于其他数据库;在精度接近100%时,其他数据库QPS已很低,无法满足需求。而在相同计算节点下,Ask MySQL成本不到其他数据库的1/3,可在同等配置下保持高性能和性价比。

Ask MySQL支持多种调用方式,包括定制UI、网页嵌入、开放API等。我们现在可直接使用SQL或Fila接入MySQL数据,快速发现查询、历史记录和调研进度,并用Redis等工具评估召回精度,通过少量代码优化满足精度要求。

我们的愿景是基于大模型和大数据,构建一个Agent平台。目前,我们已经以MySQL为底层框架,结合数据处理、知识查询和多模态数据处理能力,为客户提供工具和API,未来还将开发更多功能。

接下来,我们看两个客户案例。第一个是做策略类游戏的游戏厂商,需要在游戏中嵌入ChatBot功能。客户之前使用开源模型开发效果不佳,无法理解用户问题。我们在一天内就部署完成Ask MySQL方案并与客户应用对接,进行数据对齐、处理和清洗,收集玩家问题做PE和LM优化,增加多路召回功能。经优化,ChatBot的命中率从86%和67%提高到98%和90%,大幅提升。

第二个案例是Spicy Chat AI公司,与Anthropic的Claude AI做同一AI陪聊项目,我们也为其提供了Ask MySQL解决方案。之所以选择向量数据库而非长文本检索+PE的方式,是因为AI陪聊的核心需求是提供长期记忆和角色持久性,需要保证数据不串台不变。我们的方案支持大规模多租户数据分区,基于mstg算法的高效向量搜索和过滤检索,可精准定位用户问题并检索相应内容。

最后简要介绍一下伊克罗德公司。我们是一家从2014年开始做云业务的云原生云服务咨询公司,已服务数千家跨行业客户,拥有200多张亚马逊云科技能力证照,在数据分析、EMR、机器学习、容器化、安全等领域具备专业能力。我们是亚马逊合作伙伴体系中第一个获得AI与机器学习能力认证的合作伙伴,工程师均持有相关证照,拥有ImageX、Ask MySQL等自研AI方案,可为客户提供从数据分析到AI、网络加速、内容分发、应用安全和数据库的一站式云上解决方案。如有云上需求或对我们的AI方案感兴趣,欢迎咨询。

总之,我今天分享了基于MySQL的Ask MySQL 2.0向量数据库解决方案,阐述了其技术细节、性能优势和客户案例,希望对大家有所启发。谢谢大家!

总结

在当前人工智能热潮中,伊克罗德作为一家云原生公司,致力于利用大模型为客户提供工程化解决方案。他们推出了基于MySQL向量数据库的RIG方案”Ask MySQL”,旨在激活泛娱乐数据的潜能。该方案具有高性能、低成本和灵活性等优势,可支持多种数据源、数据格式和模型调用,并提供定制化开发服务。通过实际客户案例,Ask MySQL展现了在游戏行业和AI陪聊领域的卓越表现,大幅提升了检索精度和用户体验。凭借丰富的云服务经验和AI专业团队,伊克罗德致力于为客户提供端到端的解决方案,助力企业释放数据价值,抓住人工智能带来的机遇。

伊克罗德呼吁企业紧抓人工智能浪潮,利用大模型和大数据的结合,构建新一代智能化应用。Ask MySQL作为一个创新的RIG解决方案,为企业数字化转型提供了有力支撑,开启了泛娱乐行业数据智能化的新篇章。