Llama2 text-generation-webui智能聊天机器人中文版本地安装教程
智能聊天机器人可能很多人都用过，比如ChatGPT和谷歌Bard等，这两个是比较优秀的智能聊天机器人，但是由于网络等原因，我们使用起来比较麻烦，前段时间Meta开源了Llama2，我们可以在本地自己部署智能聊天程序无限使用了，下面讲一下Meta Llama2 text-generation-webui本地电脑安装部署和云端部署教程，由于Llama2原版模型对中文不是太友好，我们使用FlagAlpha优化的中文模型Llama2-Chinese，github项目地址：https://github.com/FlagAlpha/Llama2-Chinese
本地电脑部署
首先打开text-generation-webui项目地址：https://github.com/oobabooga/text-generation-webui，作者提供了一键安装快捷方式，支持Windows、Linux、macOS系统，这里以Windows系统NVIDIA显卡为例，先下载oobabooga-windows.zip文件到本地电脑，
解压缩文件，双击运行start_windows.bat文件，系统将自动下载并安装text-generation-webui程序，
开始时会让你选择GPU，输入A然后回车继续安装，如果你是AMD显卡就输入D，如果你是其它系统则需要下载适用于其它系统的一键安装程序，
如果你中间遇到错误无法自动完成安装可能就是你的网络连接问题，可开启全局科学上网解决，成功安装完成后会输出一个访问地址：http://127.0.0.1:7860/，
这时候还是无法使用，你需要先去下载模型文件，官方原版模型也支持中文提问，但是回答结果是英文，尽管你要求用中文回答，它也可能会掺杂一些英文信息，对于中文用户来说不是太友好，这里我们用Llama2-Chinese中文模型，回答结果是中文的，而且作者也针对中文进行了微调，
如果你的显卡显存在12G以下则下载7b版本，12G以上可以尝试使用13b版本，我将两个版本上传到了百度网盘，网盘链接：https://pan.baidu.com/s/1_vUAu3gptXXkWHxAR5MZig?pwd=1alc
提取码：1alc
如果你想体验官方版的话，以下是Llama2中文社区分享的迅雷云盘下载链接：
Llama2-7B官网版本：https://pan.xunlei.com/s/VN_kR2fwuJdG1F3CoF33rwpIA1?pwd=z9kf
Llama2-7B-Chat官网版本：https://pan.xunlei.com/s/VN_kQa1_HBvV-X9QVI6jV2kOA1?pwd=xmra
Llama2-13B官网版本：https://pan.xunlei.com/s/VN_izibaMDoptluWodzJw4cRA1?pwd=2qqb
Llama2-13B-Chat官网版本：https://pan.xunlei.com/s/VN_iyyponyapjIDLXJCNfqy7A1?pwd=t3xw
Llama2-7B Hugging Face版本：https://pan.xunlei.com/s/VN_t0dUikZqOwt-5DZWHuMvqA1?pwd=66ep
Llama2-7B-Chat Hugging Face版本：https://pan.xunlei.com/s/VN_oAV4BpKFgKLto4KgOhBcaA1?pwd=ufir
Llama2-13B Hugging Face版本：https://pan.xunlei.com/s/VN_yT_9G8xNOz0SDWQ7Mb_GZA1?pwd=yvgf
Llama2-13B-Chat Hugging Face版本：https://pan.xunlei.com/s/VN_yA-9G34NGL9B79b3OQZZGA1?pwd=xqrg
Llama2-70B-Chat Hugging Face版本：https://pan.xunlei.com/s/VNa_vCGzCy3h3N7oeFXs2W1hA1?pwd=uhxh#
将Llama2-Chinese-7b-Chat.7z压缩文件下载到本地放入models文件夹内，解压文件，然后在浏览器地址栏里打开http://127.0.0.1:7860/，点击页面顶部model选项卡，点击model后面刷新按钮，点击下拉列表选择模型，点击load按钮载入模型，如果出现提示memory相关错误就是爆显存了，可勾选load-in-4bit重新点击load按钮，提示“Successfully loaded Llama2-Chinese-7b-Chat”即表示模型导入成功，可点击顶部chat选项卡进行俩天对话。在input里输入提问内容，然后点击generate按钮发送。
模型参数越大程序智能度越高，70B>13B>7B，相应的对设备性能要求也越高。如果电脑配置比较低的话可使用Google colab云端一键部署。
谷歌colab云端部署
github项目地址：https://github.com/camenduru/text-generation-webui-colab，如果是Google colab免费用户的话，建议使用7b版本，再大的话可能会有错误，
点击左侧蓝色的【open in colab】按钮可直接打开Google colab笔记本，然后点击代码左侧的三角号按钮开始执行代码。
等看到输出两个链接后，可点击下面这个长的链接打开页面进行体验，模型是已经自动下载完成了的，注意在使用过程中不能关闭Google colab代码运行页面。
不想自己折腾想直接体验的话可以访问下面链接，Llama2中文社区在线体验链接：https://chinese.llama.family/，
总的来说Llama2智能化程度相比ChatGPT、谷歌Bard还是低了一些的，而且现在Bard也支持中文了，感觉挺好用的，不比ChatGPT差。如果喜欢研究大语音模型的可以去搞一搞。
原文：https://dyss.top/1135