MiniGPT-4安装避坑指南

MiniGPT-4有多神奇，我就不赘述了，大家可以自行搜索一下。这个语言模型的成熟度号称强过ChatGPT，但限于只能使用本地数据，所以知识方面是他的短板。废话不多说，开始安装。

1、先确认一下自己的机器是否能安装这个软件，官方网站上介绍这个软件要求Linux系统，Nvidia显卡至少12G显存。是不是一下子劝退好多人？经我测试，windows上是可以安装的，需要避一个坑，后面会介绍。但是12G Nvidia显卡，这个条件是必不可少的，如果这个不达标，就先买一张显卡吧。

2、基础软件安装。先把AI软件需要用到的软件都装一遍。我安装的版本如下：

Python 3.10

Cuda 11.8

Git，这个对版本要求没那么敏感，找个最新的装一下就行了

AnaConda，这个也上最新版的，用来创建Python的虚拟环境

3、打开https://github.com/Vision-CAIR/MiniGPT-4，对照官网上的步骤开始安装。

先用这个命令把代码拉到一个目录，我们假设这个目录是D:\MiniGPT-4。我们进入到这个目录，执行以下命令：

git clone https://github.com/Vision-CAIR/MiniGPT-4.git

有时候没科学上网，可能下载会有问题，所以可以替换成以下命令来下载

git clone https://ghproxy.com/https://github.com/Vision-CAIR/MiniGPT-4.git

4、进入D:\MiniGPT-4目录，执行以下代码

conda env create -f environment.yml

然后进入虚拟环境，我这边就直接输入命令

activate minigpt4

提示符会显示(minigpt4)D:\MiniGPT-4

5、这一步需要下载几个特别大的文件，按照官网指示，打开下面这个链接

https://github.com/Vision-CAIR/MiniGPT-4/blob/main/PrepareVicuna.md

先执行一下这个命令

git lfs install

然后下载一下这个项目，如果你的显卡有24G显存就下载这个

git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0

如果只有12G显存就下载这个

git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0 

同上，如果没有科学上网就用这个地址

git clone https://ghproxy.com/https://huggingface.co/lmsys/vicuna-7b-delta-v0 

6、这一个步骤还要下载几个大文件，按照官网指示的方法是很难下载到文件的，因为要提交申请表，通过了才能下载，我试了一下，对方根本不应答。所以我找到了另外一个网站，可以直接下载：

https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/

请在D:\MiniGPT-4目录下创建一个LLAMA的目录，然后把这个网站上的文件都按照目录结构下载下来，不要少下载文件。12G显存就只要下载7B那个目录，24G显存就只要下载13B那个目录，另外30B和65B目录就不要下载了，这两个目录里的文件超级大，估计需要更大的显存支持，效果应该也会更好。

7、这一步是个大坑，按官网的指令，怎么也下载不了FastChat组件，即使FastChat组件凑巧装成功了，但其依赖的组件还是装不成功，我试了数十次，始终不行。

我换用pip命令直接安装，但注意这里一定要指定版本

pip install fschat==v0.1.10

未科学上网用这个命令

pip install fschat==v0.1.10 -i https://mirrors.aliyun.com/pypi/simple/

还要再安装依赖的组件transformers，命令如下：

pip install transformers

或

pip install transformers -i https://mirrors.aliyun.com/pypi/simple/

这样就顺利避过一个大坑

8、执行以下命令，构造本项目适配的模型文件

执行命令前，先在D:/MiniGPT-4下，再建一个名叫vicuna_weights的目录

python -m fastchat.model.apply_delta --base D:/MiniGPT-4/LLAMA/  --target D:/MiniGPT-4/vicuna_weights/  --delta D:/MiniGPT-4/vicuna-7b-delta-v0/

目录千万不要写错

这过程中似乎有几个组件会报错，提示版本不对，按要求用pip命令指定版本安装即可，其中PyTorch安装会麻烦一些，我特别说一下。PyTorch及PyTorchVision和PyTorchAudio这一组都必需与当前虚拟环境中的Python版本一致，还需要与系统中安装的Cuda版本一致。可以到以下网站中去下载whl文件来安装，一定要注意对应的版本和操作系统。我下载的是以下三个文件：

torch-2.0.0+cu118-cp39-cp39-win_amd64.whl

torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl

torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl

然后用pip install命令分别安装这三个组件

pip install torch-2.0.0+cu118-cp39-cp39-win_amd64.whl

pip install torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl

pip install torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl

安装完成后，会在D:/MiniGPT-4/vicuna_weights中生成若干文件，其中有两个还很大。

9、在上一步骤中还会遇到一个组件bitsandbytes提示安装版本不适配，这个从官网的解释看，该组件只支持Linux。不过不要紧，高手总会有办法，网上能找到一个高手自制的windows版本，https://github.com/Keith-Hon/bitsandbytes-windows

使用

pip install git+https://github.com/Keith-Hon/bitsandbytes-windows.git

或者

pip install git+https://ghproxy.com/https://github.com/Keith-Hon/bitsandbytes-windows.git

命令进行安装，完美解决

10、然后打开D:/MiniGPT-4/minigpt4/configs/models/minigpt4.yaml这个文件，把第16行中的路径换成D:/MiniGPT-4/vicuna_weights，保存。

11、通过官网链接下载prerained_minigpt4_7b.pth文件，放在D:/MiniGPT-4目录下

12、打开D:/MiniGPT-4/eval_configs/minigpt4_eval.yaml文件，把第11行中的路径换成D:/MiniGPT-4/prerained_minigpt4_7b.pth

13、现在在虚拟环境中执行以下命令，启动程序

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

后台会打印访问地址，一般来说就是http://127.0.0.1:7860

用浏览器打后，就可以跟AI离线聊天了