MiniGPT-4有多神奇,我就不赘述了,大家可以自行搜索一下。这个语言模型的成熟度号称强过ChatGPT,但限于只能使用本地数据,所以知识方面是他的短板。废话不多说,开始安装。
1、先确认一下自己的机器是否能安装这个软件,官方网站上介绍这个软件要求Linux系统,Nvidia显卡至少12G显存。是不是一下子劝退好多人?经我测试,windows上是可以安装的,需要避一个坑,后面会介绍。但是12G Nvidia显卡,这个条件是必不可少的,如果这个不达标,就先买一张显卡吧。
2、基础软件安装。先把AI软件需要用到的软件都装一遍。我安装的版本如下:
Python 3.10
Cuda 11.8
Git,这个对版本要求没那么敏感,找个最新的装一下就行了
AnaConda,这个也上最新版的,用来创建Python的虚拟环境
3、打开https://github.com/Vision-CAIR/MiniGPT-4,对照官网上的步骤开始安装。
先用这个命令把代码拉到一个目录,我们假设这个目录是D:\MiniGPT-4。我们进入到这个目录,执行以下命令:
git clone https://github.com/Vision-CAIR/MiniGPT-4.git
有时候没科学上网,可能下载会有问题,所以可以替换成以下命令来下载
git clone https://ghproxy.com/https://github.com/Vision-CAIR/MiniGPT-4.git
4、进入D:\MiniGPT-4目录,执行以下代码
conda env create -f environment.yml
然后进入虚拟环境,我这边就直接输入命令
activate minigpt4
提示符会显示(minigpt4)D:\MiniGPT-4
5、这一步需要下载几个特别大的文件,按照官网指示,打开下面这个链接
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/PrepareVicuna.md
先执行一下这个命令
git lfs install
然后下载一下这个项目,如果你的显卡有24G显存就下载这个
git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0
如果只有12G显存就下载这个
git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0
同上,如果没有科学上网就用这个地址
git clone https://ghproxy.com/https://huggingface.co/lmsys/vicuna-7b-delta-v0
6、这一个步骤还要下载几个大文件,按照官网指示的方法是很难下载到文件的,因为要提交申请表,通过了才能下载,我试了一下,对方根本不应答。所以我找到了另外一个网站,可以直接下载:
https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/
请在D:\MiniGPT-4目录下创建一个LLAMA的目录,然后把这个网站上的文件都按照目录结构下载下来,不要少下载文件。12G显存就只要下载7B那个目录,24G显存就只要下载13B那个目录,另外30B和65B目录就不要下载了,这两个目录里的文件超级大,估计需要更大的显存支持,效果应该也会更好。
7、这一步是个大坑,按官网的指令,怎么也下载不了FastChat组件,即使FastChat组件凑巧装成功了,但其依赖的组件还是装不成功,我试了数十次,始终不行。
我换用pip命令直接安装,但注意这里一定要指定版本
pip install fschat==v0.1.10
未科学上网用这个命令
pip install fschat==v0.1.10 -i https://mirrors.aliyun.com/pypi/simple/
还要再安装依赖的组件transformers,命令如下:
pip install transformers
或
pip install transformers -i https://mirrors.aliyun.com/pypi/simple/
这样就顺利避过一个大坑
8、执行以下命令,构造本项目适配的模型文件
执行命令前,先在D:/MiniGPT-4下,再建一个名叫vicuna_weights的目录
python -m fastchat.model.apply_delta --base D:/MiniGPT-4/LLAMA/ --target D:/MiniGPT-4/vicuna_weights/ --delta D:/MiniGPT-4/vicuna-7b-delta-v0/
目录千万不要写错
这过程中似乎有几个组件会报错,提示版本不对,按要求用pip命令指定版本安装即可,其中PyTorch安装会麻烦一些,我特别说一下。PyTorch及PyTorchVision和PyTorchAudio这一组都必需与当前虚拟环境中的Python版本一致,还需要与系统中安装的Cuda版本一致。可以到以下网站中去下载whl文件来安装,一定要注意对应的版本和操作系统。我下载的是以下三个文件:
torch-2.0.0+cu118-cp39-cp39-win_amd64.whl
torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl
torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl
然后用pip install命令分别安装这三个组件
pip install torch-2.0.0+cu118-cp39-cp39-win_amd64.whl
pip install torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl
pip install torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl
安装完成后,会在D:/MiniGPT-4/vicuna_weights中生成若干文件,其中有两个还很大。
9、在上一步骤中还会遇到一个组件bitsandbytes提示安装版本不适配,这个从官网的解释看,该组件只支持Linux。不过不要紧,高手总会有办法,网上能找到一个高手自制的windows版本,https://github.com/Keith-Hon/bitsandbytes-windows
使用
pip install git+https://github.com/Keith-Hon/bitsandbytes-windows.git
或者
pip install git+https://ghproxy.com/https://github.com/Keith-Hon/bitsandbytes-windows.git
命令进行安装,完美解决
10、然后打开D:/MiniGPT-4/minigpt4/configs/models/minigpt4.yaml这个文件,把第16行中的路径换成D:/MiniGPT-4/vicuna_weights,保存。
11、通过官网链接下载prerained_minigpt4_7b.pth文件,放在D:/MiniGPT-4目录下
12、打开D:/MiniGPT-4/eval_configs/minigpt4_eval.yaml文件,把第11行中的路径换成D:/MiniGPT-4/prerained_minigpt4_7b.pth
13、现在在虚拟环境中执行以下命令,启动程序
python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0
后台会打印访问地址,一般来说就是http://127.0.0.1:7860
用浏览器打后,就可以跟AI离线聊天了