关键字: [出海日城市巡展, 向量数据库, 大模型应用, 知识库解决方案, 数据管理能力, 客户案例分享]

本文字数: 1900, 阅读完需: 10 分钟

导读

金新宇是来自伊克罗德的解决方案架构师,他分享了基于向量数据库和生成式AI的解决方案。他解释了为什么需要这种解决方案,介绍了该解决方案的演进路径和功能优势,并分享了三个基于该解决方案的客户案例。最后,他介绍了伊克罗德公司及其AI解决方案。该解决方案旨在通过高性能SQL和向量数据库来支持大模型时代的数据处理、知识查询和可观测性处理,为下一代大模型加大数据代理平台奠定基础。

演讲精华

以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。

大家好,我是来自伊克罗德的解决方案架构师金新宇,我平时在北京工作。今天我将分享一个主题,即基于向量AI数据库及城市化的解决方案。这个解决方案是我们与战略合作伙伴共同开发的RAG解决方案。

我今天的分享包括五个部分:第一,为什么需要RAG?第二,RAG解决方案的演进路径。第三,进化后的解决方案具有哪些功能和优势?第四,介绍三个基于该解决方案的落地案例。第五,简单介绍一下我们公司。

首先,让我们来看为什么需要RAG解决方案。根据亚马逊云科技的数据显示,大模型应用可分为6类。对于对话或聊天场景,目前比较领先的有谷歌的ChatGPT、OpenAI的Claude等。图像生成方面,我们都比较熟悉的有Stable Diffusion、DALL-E等。代码生成则有亚马逊云科技自身的CodeWhisperer、GitHub的Copilot等产品,它们能够快速生成代码,但调试难度仍然较高。

文书生成方面,大模型表现出了一定的优势。对于像法律文件、标书、历史文档等结构化文本,大模型能够很好地进行规整和归类,因为这些数据本身就是有规范的网络数据。API聊天场景预计将在未来一两年内成为一个热点,国内已经出现了像豆瓣、星云等相关产品,用户数量可能会比较多一些。知识库则是我今天要重点讲的,我们认为将大模型与第三方向量数据库相结合,能够为企业带来更强的私域数据解锁能力,让企业数据发挥其应有价值。对内可降低员工沟通成本,对外可支持智能客服等需求。

因此,从综合来看,大模型在文书生成、API聊天和知识库三个领域具有较大优势。

接下来,我们来看一下RAG解决方案的演进路径。我们的1.0版本存在架构过于复杂、数据存储分散在多个云服务中、性能较差等问题。为了解决这些问题,我们评估了市面上多种向量数据库产品。专门做向量数据库的产品,如Pinecone,它们的向量搜索性能非常出色,但只能存储向量数据,数据管理能力较差。像亚马逊云科技的OpenSearch这类兼容向量的产品,虽然数据管理能力强,但向量查询性能一般。

我们希望找到一种两全其美的方案,所以考虑了PostgreSQL的向量扩展插件PGVector和PGVectorWithTrans。它们在纯向量搜索上的性能与专业向量数据库相当,但在过滤向量搜索时,PGVectorWithTrans的精度就大幅下降,低于50%,基本无法使用。

最终,我们选择了自研的列式存储向量数据库MySQL Vector。它不仅能高效存储结构化和非结构化数据,底层还使用了ClickHouse数据仓库引擎,在批量查询、索引和并行处理方面具有很高的性能。更重要的是,它采用了自研的向量索引算法,使其向量查询性能几乎可与专业向量数据库媲美,但成本则大幅降低。

有了这一优秀的向量数据库引擎,我们对解决方案进行了优化,推出了2.0版本。从架构图可以看出,我们将组件精简到了三个:MySQL Vector数据库、Agent服务以及大模型。

数据库直接替换了之前的OpenSearch、DynamoDB等多个亚马逊云科技云服务,成为了单一的高性能数据源,可大幅降低存储和管理成本。Agent服务则通过容器化部署,实现了更好的资源调配和管理。

在大模型方面,我们目前引入了亚马逊云科技自研的ByteDance模型,但也支持其他主流模型如OpenAI的GPT-3.5、谷歌的PaLM等。Agent类型上,我们支持结构化对话、小样本微调等主流方式。

数据接入方面,我们开发了前端页面,支持官网爬虫导入、文件导入、现有数据源导入等多种方式,覆盖国内外多种场景。可以直接一键接入诸如Confluence、Google Drive、飞书等多种数据源。现有数据源如S3、PostgreSQL、MySQL等,也可以直接导入。

查询能力上,我们不仅支持SQL和关键词查询,还融合了向量相似度排序等底层算法,使查询精度从60%提升到90%,性价比大幅提高。

此外,我们将关键性数据、知识库数据和搜索记录统一存储在MySQL Vector中,通过Grafana实现了实时监控,一旦发现精度下降可及时调试。

总的来说,2.0版本解决方案的优势主要有:单一高性能数据源、支持结构化和非结构化数据管理、查询精度从67%提升到90%,好评度提升30%,存储成本节省50%以上。

接下来,我将介绍三个基于该解决方案的客户案例。第一个是某知名游戏公司,它们之前使用亚马逊云科技的聊天机器人解决方案,存在训练模型、使用体验和成本等问题。

我们为他们提供了一站式的解决方案,从数据清洗、接入到持续优化,帮助他们完成了全流程。具体来说,我们分为三类:内部知识库管理员可在后台上传和管理语料;内部员工可通过开放API查询标准文档、历史资料等;而面向玩家的智能客服系统,则是通过Amazon Connect与我们的解决方案对接,实现自动问答。

最终,该客户的搜索精度从67%提升到90%,好评度提升30%,存储成本节省50%以上。更重要的是,由于我们降低了人工坐席的接入比例,在上线仅两个月时间,该客户的运营成本就已经降低了20%。

第二个案例是Speak Size Chat AI,一家为数百万用户提供个性化聊天机器人服务的公司。他们的需求是实现长期记忆,避免用户多次使用后,机器人的性格和记忆发生改变。

我们采用了MySQL Vector的多租户数据管理能力,为每个用户分配了一个专属的数据分区,通过高效的向量检索,可以精准定位到该用户的全部历史记录,实现长期记忆。

第三个案例是西门子,这是一个典型的从1.0版本迁移到2.0版本的客户。他们之前使用OpenSearch解决方案,存在成本高、性能差、升级困难等问题。

我们与他们合作,对MySQL Vector、PostgreSQL的两种向量扩展PGVector和PGVectorWithTrans以及OpenSearch进行了横向对比测试。结果显示,在纯向量搜索时,MySQL Vector的吞吐量与PGVector相当,但精度更高;在过滤向量搜索时,MySQL Vector的吞吐量达到60-144 QPS,精度在90-99%,而PGVectorWithTrans的精度则低于50%,基本无法使用。

这些客户案例充分展现了我们解决方案的实力,也证明了大模型+高性能向量数据库被视为下一代信息系统的关键技术路线。

最后,简单介绍一下我们公司伊克罗德。我们是亚马逊云科技的顶级合作伙伴,拥有1000多个成功案例,获得了28项亚马逊云科技专业级认证和21项公司层面的能力认证,在机器学习、数据分析、网络安全等多个领域拥有专业的技术团队。除了今天分享的RAG解决方案外,我们还自研了一款AI绘图解决方案。同时,我们与多家头部厂商建立了合作关系,能够为客户提供从数据到AI再到网络安全的整体解决方案。

我们希望通过不断创新,使自身成为大模型+向量数据库时代的先行者。如果您有任何需求或疑问,欢迎随时与我们联系探讨合作。

以上就是我今天的整个分享,我对这个基于向量AI数据库及城市化的解决方案进行了全面的阐述,包括需求来源、技术路线、解决方案优势、客户案例以及公司介绍。感谢各位的耐心聆听,我的分享到此结束。

总结

在这场演讲中,金新宇从伊克罗德公司分享了基于向量数据库和生成式AI的实战洞见。他首先阐述了为什么需要结合向量数据库和大模型,并解释了相比于微调模型,这种方案具有更好的适配性、知识更新能力和可解释性,且成本更低。接着,他介绍了伊克罗德公司自研的基于MySQL的向量数据库解决方案AfterX 2.0,该解决方案通过高性能SQL和向量数据库为大模型时代提供坚实支撑。

金新宇还分享了三个基于AfterX 2.0解决方案的客户案例,展示了该解决方案在游戏公司、聊天机器人和西门子等领域的应用。最后,他简要介绍了伊克罗德公司的能力认证和合作伙伴,呼吁与更多企业开展AI领域的合作。整场演讲旨在传达伊克罗德公司在向量数据库和生成式AI领域的实战经验,并展望未来大模型与大数据相结合的发展趋势。