上一篇里，树先生教大家利用 ChatGLM-6B + langchain 实现个人专属知识库，实际运行下来，发现2个问题：

1、购买的 16G 显存的 GPU 云服务，在 FP16 精度下，多轮对话到第二轮，显存就爆了，无奈只能上 INT4 量化；

2、GPU 云服务也是一笔不小的开销啊，普通个人玩家也耗费不起~

那么有没有其他解决方案呢？

今天，树先生教大家一种使用远端模型（OpenAI）构建个人知识库的解决方案—— Quivr。

Quivr 介绍

Quivr 是一款使用生成 AI 技术来存储和检索非结构化信息的“第二大脑”，可以将其视为 Obsidian 的增强版，并且具备更强的人工智能功能。

Quivr 可以处理几乎所有类型的数据，包括文本、图像、代码片段等。它采用先进的人工智能技术来帮助您生成和检索信息。同时，它还专注于速度和效率，确保您可以快速访问数据。您的数据安全由您掌控，Quivr 支持多个文件格式，包括文本、Markdown、PDF、PowerPoint、Excel、Word、音频、视频等。

从介绍上来看，支持的文件格式还算比较丰富，毕竟自诩为“第二大脑”呢！

再来看一段官方放出的 Demo 视频：

看起来还不错，是骡子是马，拉出来溜溜，开干！

实战

Quivr 和我们之前介绍的其他知识库方案一样，本质上都是基于 Prompt 与大模型交互来的，Quivr 用到的主要技术有：

• LLM：GPT3.5 / GPT 4

• Embedding：OpenAI embedding

• 向量知识库：Supabase

准备工作

• 海外节点云服务（项目需要与 OpenAI 交互，但交互的地址是不可配置的，这块如果想用国内节点云服务走代理那一套，需要自行改造代码）

• Supabase 账号

• OpenAI API Key

Supabase 创建项目

点击 New project 创建一个新项目，填写必要信息，密码那边选择自动生成就行。

项目创建完成，会来到一个欢迎页面，这里主要关注下面这两个配置参数就行，后面会用到。

其他流程我就不介绍了，这里提一点，云服务器需要放行 3000 和 5050 端口，分别对应Quivr的前后端。

项目部署

环境准备好了以后，就可以开始项目部署工作了。

下载源码

设置环境变量

首先修改 frontend 目录下的环境变量，还记得之前 Supabase 那边的2个配置么？拷贝到这里。其他的按实际情况修改。

然后修改 backend 目录下的环境变量，还是上面 Supabase 的配置，拷贝到这里。因为我们用的是 OpenAI 提供的服务，所以这里我们填上 OPENAI_API_KEY，ANTHROPIC_API_KEY 是选择 Claude 的配置，我们可以删了。

接下来是 JWT_SECRET_KEY，这个可以在 Supabase 这里获取。

执行 SQL

配置完了，接下来要初始化数据库了。打开 Supabase 面板，按下图点击。

将下面的 3 个 SQL 语句依次复制进去执行。

执行完成后，会产生 3 个数据表。

Docker 版本更新（可选）

这一步不是必须的，因为我买的云服务器 docker 版本比较低，所以需要升级一下，具体如何安装可以在 docker 官网上找到，这里就以 CentOS 7.6 下安装 docker 为例。

项目启动

这个过程还比较耗时。。。

项目展示

用户认证

上传知识库

知识库问答

问知识库里的问题

原始资料里内容

知识库查看

问题与改进

• 体验过 Quivr 的朋友应该有所体会，Quivr 默认会以英文进行回复，这个其实很好解决，找到项目里的内置 prompt 改成中文就行，之前就说过，目前市面上这一套外挂知识库的开源方案，基本都是基于 prompt 来的。

• 网页响应慢的问题，主要我们使用的都是海外节点云服务，高延时导致网页资源加载慢，之所以要用海外节点云服务，无非是因为用到了 OpenAI 的大模型与 Embedding 服务，那么有没有在国内节点上去访问 OpenAI 的方式呢？网上解决方案有很多，云函数就是其中一种解决方案，如果大家感兴趣，请点赞收藏，我会根据大家的反馈来综合考虑出一期教程。有了云函数后，替换代码里访问 openai 的地址就可以，不过 Quivr 这个项目用的是官方的 openai 组件包，改动还是比较大的，这块树先生还在研究中。

• 出现下面这种报错的主要原因是 OpenAI 限制了普通账户的请求速率，解决办法是为你的 OpenAI 账户增加支付方式。

好了，就到这里，总的来说，使用远端模型或本地模型各有优缺点，感兴趣的朋友自行搭建体验吧，喜欢朋友别忘了点赞、转发、收藏哟~