最近AI很火,刷到Jack-Cui的视频,所以跟着视频和他的链接去做的,现在AI绘画已经有那种一键启动器了,所以我在搭建ChatGLM-6B这个之前已经搭建过了stable-diffusion-webui,当时搭建stable-diffusion-webui主要看的下面的文章和视频:
搭建参考文章:AI绘画保姆级教程,革命性进展! - 哔哩哔哩 (bilibili.com)
视频:AI作画保姆级教程来了!逆天,太强了!_哔哩哔哩_bilibili
所以总结起来AI相关的环境其实主要是cuda,anaconda3,python,git,pytorch和具体的开源项目。
有人说ChatGLM-6B可以达到CHATGPT的七八十,支持中英文,又可以本地跑,所以我去下载试试。
主要的坑其实就是安装pytorch,安装的时候使用清华源的镜像,默认下载的是CPU的不是GPU的。其实主要安装的是pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1
安装前记得先看下这个版本,查看地址如下
https://github.com/pytorch/vision#installation
如果网络特别好的情况直接安装(下面的版本以自己实际为准)
新版本可以直接用官网,官网地址:https://pytorch.org/
如果不是最新版可以使用下面的命令
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://download.pytorch.org/whl/cu113/torch_stable.html
如果网络不好的情况下,使用清华源(地址:https://mirrors.bfsu.edu.cn/anaconda/cloud/pytorch/win-64/),刚才也讲了如果用命令的方式会默认安装的是CPU版本,所以需要离线安装,开始的时候通过上面的地址找到对应的三个对版本下载下来了,通过命令离线安装(例如安装pytorch-1.12.0-py3.9_cuda11.3_cudnn8_0.tar.bz2,文件说明python版本3.9,cuda版本11.3 pytorch版本1.12.0)
conda install --offline pytorch-1.12.0-py3.9_cuda11.3_cudnn8_0.tar.bz2
但实际过程中发现还是会出现torchvision版本不对的情况,所以我解决方法是pytorch和torchaudio通过清华源离线安装,torchvision通过默认源安装,因为torchvision文件很小,pytorch文件很大。
pip install torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
我本地GPU内存只有6G,玩了一会就会OOM,而共享内存又不能用上,如果用CPU很卡,根本起不来,本来想搭建一个建议的ChatGPT自己玩也行的。
1.cuda
简单说跑GPU需要用到,安装比较简单
下载地址:https://developer.nvidia.com/cuda-toolkit-archive
2.anaconda3
跟着视频装的时候并不是具体知道要干嘛的,后面多玩了几次就知道,这个有点类似虚拟环境的管理,如果你后面需要多玩几个AI的项目(我后面又下载了几个),可以避免环境冲突,所以建议安装这个。
下载地址:
官网:https://www.anaconda.com/products/individual
清华开镜像站:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
安装完成以后,记得设置anaconda3的下载镜像源,像python一般也是需要设置的不然下载比较慢,这里就不说了,同时记录几个常见的命令
conda env list:当前创建了哪些虚拟环境
conda create -n ChatGLM-6B(虚拟环境名字) python=3.9 :创建虚拟环境,并安装python3.9,如果多个可以用空格分隔,后面也可以在安装(通过pip install 或者conda install都可以,记得是要激活某个环境)
activate ChatGLM-6B:激活 ChatGLM-6B环境,激活这个环境后面安装都是会在这个环境下
3.python、git
这个不用说了,下载代码和执行需要的环境
4.ChatGLM-6B
新建一个目录,比如ChatGLM-6B,并且通过git clone下代码
git clone https://github.com/THUDM/ChatGLM-6B.git
5.安装依赖
根据官网readme里面的文档安装transformers
以及依赖文件
pip install -r requirements.txt
但是在安装requirements.txt前,记得首先自己安装pytorch,原因文章开头讲了,如果默认使用清华源会安装的CPU非GPU。
5.1pytorch
PyTorch是一个开源的Python机器学习库,基于Torch,用于自然语言处理等应用程序。我后面多安装几次才知道这个东东才是核心,经常出现,而且不太好装。
官网地址:https://pytorch.org/
因为我的下载太慢了,所以还是自己安装,利用清华源的下载非常快。