在英特尔集成显卡轻松完成通义千问大语言模型优化和部署

1. Qwen-7B-Chat简介

Qwen-7B-Chat是阿里云通义千问系列中的一个专门针对聊天场景优化的模型版本，其参数规模同样为70亿（7B）。该模型继承了通义千问大模型的基本架构和特性，通过针对性的数据训练和调整，增强了在开放性对话和闲聊方面的表现能力。相比通义千问7B通用模型，7B-Chat更加擅长进行自然流畅的多轮交互式对话，适用于社交机器人、客服系统等应用场景，旨在提供更为生动有趣、富有情感共鸣的聊天体验。这个模型同样具备高质量的文本生成能力和对复杂语境的理解能力，是大型语言模型技术在聊天领域的实际应用体现。

2. OpenVINO™ Notebook简介

OpenVINO™ Notebooks是一套以Jupyter Notebook为载体的交互式编程教程和示例代码合集，由英特尔公司开发和维护。这套资源专为使用OpenVINO™ 工具套件的开发者设计，旨在帮助他们更快地理解和掌握如何利用OpenVINO™ 进行深度学习模型的优化与推理。

3. 部署平台简介：

算力魔方是一款可以DIY的迷你主机，采用了抽屉式设计，后续组装、升级、维护只需要拔插模块。通过选择计算模块的版本，再搭配不同额IO模块可以组成丰富的配置，适应不同场景。性能不够时，可以升级计算模块提升算力， IO接口不匹配时，可以更换IO模块调整功能，而无需重构整个系统。本文在带有英特尔锐炬® Xe 集成显卡的算力魔方上完成验证。

4. 在集成显卡上部署Qwen-7B-Chat

4.1 搭建OpenVINO™ Notebooks开发环境

安装前提条件：

确保您的系统满足OpenVINO™ 的最低要求，包括Python版本和其他软件依赖项

第一步：请下载并安装Anaconda，然后在Anaconda内使用下面的命令获取存储库文件

git clone https://github.com/openvinotoolkit/openvino_notebooks.git

第二步：请使用下面的命令创建并激活名为“qwen”的虚拟环境

conda create -n qwen python=3.10

conda activate qwen

第三步：请使用下面指令进入OpenVINO™ Notebooks存储文件夹并安装OpenVINO™、Jupyter和其他必需的软件包来运行笔记本

cd openvino_notebooks

pip install -r requirements.txt

4.2 下载模型到本地

请使用命令将通义千问-7B（Qwen-7B）模型下载到本地

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

4.3 运行254-llm-chatbot程序

模型下载完成至本地后请参考《快速下载 OpenVINO™ Notebooks 中的 AI 大模型》该文章，然后运行OpenVINO™ Notebooks 的 254-llm-chatbot.ipynb

运行结果，如下所示：

5. 总结

OpenVINO™ 工具套件简单易用，仅需三步即可在算力魔方完成开发环境搭建、以及Qwen-7B-Chat模型的INT4量化以及在英特尔集成显卡上的部署。

作者介绍：

刘力，深圳市铂盛科技有限公司的创始人。带领团队成功设计了多种计算机系统，并申请了多项专利和软件著作，铂盛科技为国家高新技术企业，深圳市专精特新企业。铂盛通过整合算力和算法，打造软硬件一体化的AIPC解决方案，目前产品已在工业控制、智能机器人、教育、医疗、金融等多个边缘计算领域得到广泛应用。

联系方式

电话：13537819699

Email：leo.liu@pasuntech.com

英特尔、英特尔标识、以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。
 

©英特尔公司版权所有。

* 文中涉及的其它名称及商标属于各自所有者资产