当前位置:首页|资讯|MiniGPT|ChatGPT

MiniGPT-4安装避坑指南

作者:虎喷忠狼将发布时间:2023-05-20

MiniGPT-4有多神奇,我就不赘述了,大家可以自行搜索一下。这个语言模型的成熟度号称强过ChatGPT,但限于只能使用本地数据,所以知识方面是他的短板。废话不多说,开始安装。


1、先确认一下自己的机器是否能安装这个软件,官方网站上介绍这个软件要求Linux系统,Nvidia显卡至少12G显存。是不是一下子劝退好多人?经我测试,windows上是可以安装的,需要避一个坑,后面会介绍。但是12G Nvidia显卡,这个条件是必不可少的,如果这个不达标,就先买一张显卡吧。


2、基础软件安装。先把AI软件需要用到的软件都装一遍。我安装的版本如下:

Python 3.10

Cuda 11.8

Git,这个对版本要求没那么敏感,找个最新的装一下就行了


AnaConda,这个也上最新版的,用来创建Python的虚拟环境


3、打开https://github.com/Vision-CAIR/MiniGPT-4,对照官网上的步骤开始安装。


先用这个命令把代码拉到一个目录,我们假设这个目录是D:\MiniGPT-4。我们进入到这个目录,执行以下命令:

git clone https://github.com/Vision-CAIR/MiniGPT-4.git

有时候没科学上网,可能下载会有问题,所以可以替换成以下命令来下载

git clone https://ghproxy.com/https://github.com/Vision-CAIR/MiniGPT-4.git

4、进入D:\MiniGPT-4目录,执行以下代码


conda env create -f environment.yml


然后进入虚拟环境,我这边就直接输入命令

activate minigpt4

提示符会显示(minigpt4)D:\MiniGPT-4


5、这一步需要下载几个特别大的文件,按照官网指示,打开下面这个链接

https://github.com/Vision-CAIR/MiniGPT-4/blob/main/PrepareVicuna.md

先执行一下这个命令


git lfs install


然后下载一下这个项目,如果你的显卡有24G显存就下载这个

git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0

如果只有12G显存就下载这个

git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0 

同上,如果没有科学上网就用这个地址

git clone https://ghproxy.com/https://huggingface.co/lmsys/vicuna-7b-delta-v0 


6、这一个步骤还要下载几个大文件,按照官网指示的方法是很难下载到文件的,因为要提交申请表,通过了才能下载,我试了一下,对方根本不应答。所以我找到了另外一个网站,可以直接下载:

https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/

请在D:\MiniGPT-4目录下创建一个LLAMA的目录,然后把这个网站上的文件都按照目录结构下载下来,不要少下载文件。12G显存就只要下载7B那个目录,24G显存就只要下载13B那个目录,另外30B和65B目录就不要下载了,这两个目录里的文件超级大,估计需要更大的显存支持,效果应该也会更好。


7、这一步是个大坑,按官网的指令,怎么也下载不了FastChat组件,即使FastChat组件凑巧装成功了,但其依赖的组件还是装不成功,我试了数十次,始终不行。

我换用pip命令直接安装,但注意这里一定要指定版本

pip install fschat==v0.1.10

未科学上网用这个命令

pip install fschat==v0.1.10 -i https://mirrors.aliyun.com/pypi/simple/


还要再安装依赖的组件transformers,命令如下:

pip install transformers

pip install transformers -i https://mirrors.aliyun.com/pypi/simple/

这样就顺利避过一个大坑


8、执行以下命令,构造本项目适配的模型文件

执行命令前,先在D:/MiniGPT-4下,再建一个名叫vicuna_weights的目录


python -m fastchat.model.apply_delta --base D:/MiniGPT-4/LLAMA/  --target D:/MiniGPT-4/vicuna_weights/  --delta D:/MiniGPT-4/vicuna-7b-delta-v0/

目录千万不要写错


这过程中似乎有几个组件会报错,提示版本不对,按要求用pip命令指定版本安装即可,其中PyTorch安装会麻烦一些,我特别说一下。PyTorch及PyTorchVision和PyTorchAudio这一组都必需与当前虚拟环境中的Python版本一致,还需要与系统中安装的Cuda版本一致。可以到以下网站中去下载whl文件来安装,一定要注意对应的版本和操作系统。我下载的是以下三个文件:

torch-2.0.0+cu118-cp39-cp39-win_amd64.whl

torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl

torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl

然后用pip install命令分别安装这三个组件

pip install torch-2.0.0+cu118-cp39-cp39-win_amd64.whl

pip install torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl

pip install torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl


安装完成后,会在D:/MiniGPT-4/vicuna_weights中生成若干文件,其中有两个还很大。


9、在上一步骤中还会遇到一个组件bitsandbytes提示安装版本不适配,这个从官网的解释看,该组件只支持Linux。不过不要紧,高手总会有办法,网上能找到一个高手自制的windows版本,https://github.com/Keith-Hon/bitsandbytes-windows

使用

pip install git+https://github.com/Keith-Hon/bitsandbytes-windows.git

或者

pip install git+https://ghproxy.com/https://github.com/Keith-Hon/bitsandbytes-windows.git

命令进行安装,完美解决


10、然后打开D:/MiniGPT-4/minigpt4/configs/models/minigpt4.yaml这个文件,把第16行中的路径换成D:/MiniGPT-4/vicuna_weights,保存。


11、通过官网链接下载prerained_minigpt4_7b.pth文件,放在D:/MiniGPT-4目录下


12、打开D:/MiniGPT-4/eval_configs/minigpt4_eval.yaml文件,把第11行中的路径换成D:/MiniGPT-4/prerained_minigpt4_7b.pth


13、现在在虚拟环境中执行以下命令,启动程序

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0


后台会打印访问地址,一般来说就是http://127.0.0.1:7860


用浏览器打后,就可以跟AI离线聊天了



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1