如何让阿里通义千问Qwen-7b运行在FastChat

提前准备：

FastChat项目地址: git clone https://github.com/lm-sys/FastChat.git

Qwen-7B模型：https://huggingface.co/Qwen/Qwen-7B

本人环境介绍：
显卡：3090 24G

内存：60G

CPU：AMD-R5 5600

系统：Ubuntu22.10

Python依赖环境：
    Miniconda 

        下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

    CUDA版本如图：

废话不说了，开整

1. git clone https://github.com/lm-sys/FastChat.git

2. cd FastChat

3. 创建conda环境： conda create -n fastchat python=3.10

4. 激活conda环境：conda activate fastchat

5. 安装依赖：pip install -e ".[model_worker,webui]" 

6. 安装stream依赖：pip install einops transformers_stream_generator

7. 确认没有问题，如图：

   
   

开始启动：

注意：这三步都需要新开控制台，并且切换conda环境到fastchat

开启控制器管理分布式工作线程： python3 -m fastchat.serve.controller 

启动模型工人：python3 -m fastchat.serve.model_worker --model-path /home/xxx/.cache/huggingface/hub/models--QWen--QWen-7B-Chat

开启gradio-web-ui：python3 -m fastchat.serve.gradio_web_server

访问：http://localhost:7860即可如图：