前言

    我对LLM（large language models）等AI相关方面知识一窍不通，只知道如何加载调用模型，所以接下来的文章可能会出现许多错误，请见谅。

    经过本人的初略测试，Vicuna和gpt4-x-alpaca(Alpaca GPT4)均可用于角色扮演（也可搭配TavernAI，可参考我的上一个专栏），并且可以NSFW。

    普通colab用户只能加载vicuna-13B模型，gpt4-x-alpaca-13b模型需要colab pro用户方能使用(主要是普通用户分配的12GRAM不够，如果万能的网友们有什么其他方法请在专栏评论区细说）

    本教程需要可以访问Colab的魔法和一定的英语基础对话能力。

[AI角色对话]使用KoboldAI与AI猫娘无限制对话(数据私有化/可以NSFW)

  LLaMA模型发布，引爆了ChatGPT 平替狂潮。 LLaMA是由Facebook母公司Meta发布的全新人工智能大型语言模型，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等任务上方面表现良好。LLaMA模型支持20种语言，包括拉丁语和西里尔字母语言，目前看原始模型并不支持中文。截至目前为止，已经出现了许多以Llama模型为基础的衍生模型，其中比较著名的是stanford_alpaca和最近的新秀Vicuna。

  本文章主要围绕如何通过在colab平台上使用text-generation-webui来加载Vicuna13b和gpt4-x-alpaca-13b模型（均为4Bit量化版）

  关于Vicuna13b模型和gpt4-x-alpaca-13b模型的介绍大家可以自行百度或谷歌搜索。据说Vicuna13b在GPT4看来比较接近ChatGPT的水平。

Vicuna模型的训练数据基于GPT3.5

gpt4-x-alpaca模型的训练数据基于GPT4

正文

简单写了个个colab脚本，如果大伙们想要使用稳定使用的话，完全可以去autodl等平台上租个服务器来跑这个脚本

打开colab脚本链接：https://colab.research.google.com/drive/1Cqs2RDJyZugq6kCVuJrV8V1Vm1huOP1H

注册并登录。

本笔记本只有三个代码格，一个是安装text-generation-webui和GPTQ-for-LLaMa及其环境依赖，二是下载vicuna-13B模型或gpt4-x-alpaca模型，三是运行text-generation-webui

每一歌代码格的左侧都有一个播放按钮，那是运行按钮。依次点击三个按钮即可，耐心等待。

第一个代码块会要求你授权谷歌云盘，请同意授权。

需要注意的是，如果你想直接在text-generation-webui上对话，而不使用TavernAI的话，请将chatmode选择为yes。效果如下图：

如果你要使用TavernAI的话，请选择为no。

当第三个代码块的输出界面出现蓝色链接时，就代表可以使用了。一个是text-generation-webui的链接，另一个api链接(如果chatmode为no的话）

这个api链接可以直接在TavernAI上连接，类似于KoboldAI的api,可看我上面的专栏链接了解更多。

如图所示，API链接以“Starting KoboldAI compatible api at”开头，text-generation-webui的链接以“Running on public URL”开头。

如果直接在text-generation-webui上对话的话，打开以“Running on public URL”开头的链接。否则复制以“Starting KoboldAI compatible api at”开头的链接，粘贴到TavernAI上，然后连接即可。

什么是TavernAI?可以参考我文章开头的专栏的链接，我认为TavernAI的界面要比text-generation-webui的要好。如何安装TavernAI和捏角色卡的教程都在我的上一期专栏里面了，请查阅。

至此，教程结束。

相关补充请看评论区置顶。