当前位置:首页|资讯|ChatGPT|Stable Diffusion|ChatGLM|Stable Diffusion WebUI|AI绘画

新手搭建ChatGLM-6B踩坑记录,有人说ChatGLM-6B可以达到ChatGPT的七八十,支持本地跑

作者:我是ISFP呀发布时间:2023-03-20

使用指北

最近AI很火,刷到Jack-Cui的视频,所以跟着视频和他的链接去做的,现在AI绘画已经有那种一键启动器了,所以我在搭建ChatGLM-6B这个之前已经搭建过了stable-diffusion-webui,当时搭建stable-diffusion-webui主要看的下面的文章和视频:

搭建参考文章:AI绘画保姆级教程,革命性进展! - 哔哩哔哩 (bilibili.com)

视频:AI作画保姆级教程来了!逆天,太强了!_哔哩哔哩_bilibili

所以总结起来AI相关的环境其实主要是cuda,anaconda3,python,git,pytorch和具体的开源项目。

有人说ChatGLM-6B可以达到CHATGPT的七八十,支持中英文,又可以本地跑,所以我去下载试试。


主要的坑其实就是安装pytorch,安装的时候使用清华源的镜像,默认下载的是CPU的不是GPU的。其实主要安装的是pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1

安装前记得先看下这个版本,查看地址如下

https://github.com/pytorch/vision#installation

如果网络特别好的情况直接安装(下面的版本以自己实际为准)

新版本可以直接用官网,官网地址:https://pytorch.org/


pytorch官网安装图

如果不是最新版可以使用下面的命令

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://download.pytorch.org/whl/cu113/torch_stable.html

如果网络不好的情况下,使用清华源(地址:https://mirrors.bfsu.edu.cn/anaconda/cloud/pytorch/win-64/),刚才也讲了如果用命令的方式会默认安装的是CPU版本,所以需要离线安装,开始的时候通过上面的地址找到对应的三个对版本下载下来了,通过命令离线安装(例如安装pytorch-1.12.0-py3.9_cuda11.3_cudnn8_0.tar.bz2,文件说明python版本3.9,cuda版本11.3 pytorch版本1.12.0)

conda install --offline pytorch-1.12.0-py3.9_cuda11.3_cudnn8_0.tar.bz2

但实际过程中发现还是会出现torchvision版本不对的情况,所以我解决方法是pytorch和torchaudio通过清华源离线安装,torchvision通过默认源安装,因为torchvision文件很小,pytorch文件很大。

pip install torchvision==0.13.1+cu113  -f https://download.pytorch.org/whl/cu113/torch_stable.html

遗憾的是

我本地GPU内存只有6G,玩了一会就会OOM,而共享内存又不能用上,如果用CPU很卡,根本起不来,本来想搭建一个建议的ChatGPT自己玩也行的。

后知后觉的环境

1.cuda

简单说跑GPU需要用到,安装比较简单

下载地址:https://developer.nvidia.com/cuda-toolkit-archive

2.anaconda3

跟着视频装的时候并不是具体知道要干嘛的,后面多玩了几次就知道,这个有点类似虚拟环境的管理,如果你后面需要多玩几个AI的项目(我后面又下载了几个),可以避免环境冲突,所以建议安装这个。

下载地址:

官网:https://www.anaconda.com/products/individual

清华开镜像站:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

安装完成以后,记得设置anaconda3的下载镜像源,像python一般也是需要设置的不然下载比较慢,这里就不说了,同时记录几个常见的命令

conda env list:当前创建了哪些虚拟环境

conda create -n ChatGLM-6B(虚拟环境名字) python=3.9 :创建虚拟环境,并安装python3.9,如果多个可以用空格分隔,后面也可以在安装(通过pip install 或者conda install都可以,记得是要激活某个环境)

activate ChatGLM-6B:激活 ChatGLM-6B环境,激活这个环境后面安装都是会在这个环境下

3.python、git

这个不用说了,下载代码和执行需要的环境

4.ChatGLM-6B

新建一个目录,比如ChatGLM-6B,并且通过git clone下代码

git clone https://github.com/THUDM/ChatGLM-6B.git

5.安装依赖

根据官网readme里面的文档安装transformers 

以及依赖文件

pip install -r requirements.txt

但是在安装requirements.txt前,记得首先自己安装pytorch,原因文章开头讲了,如果默认使用清华源会安装的CPU非GPU。

5.1pytorch

PyTorch是一个开源的Python机器学习库,基于Torch,用于自然语言处理等应用程序。我后面多安装几次才知道这个东东才是核心,经常出现,而且不太好装。

官网地址:https://pytorch.org/

因为我的下载太慢了,所以还是自己安装,利用清华源的下载非常快。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1