英特尔 架构如何助力AI大模型开发者降本增效

英特尔一直致力于构建开放、活跃的软件开发者生态系统，并致力于为人工智能 (AI) 大模型的开发者提供包括软件工具、资料教程、培训活动在内的广泛支持，助力开发者在英特尔® 架构上开发出创新、强大的 AI 解决方案。近日，英特尔OpenVINO™ 工具套件的 ChatGLM3-6B 模型适配方案已被相关仓库收录，推荐用户在英特尔® CPU/GPU的硬件上，通过英特尔® 发行版 OpenVINO™ 工具套件来部署该模型，并加速模型的推理，从而构建性能更强、成本更优、部署更快的 ChatGLM 模型算力平台。

ChatGLM 是智谱AI 推出的中英双语对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了以下新特性：

• 更强大的基础模型：ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的预训练模型中领先的性能。

• 更完整的功能支持：ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外，同时原生支持工具调用 (Function Call)、代码执行 (Code Interpreter) 和 Agent 任务等复杂场景。

• 更全面的开源序列：除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

英特尔 OpenVINO 工具套件是一款开源 AI 推理优化部署的工具套件，可帮助开发人员和企业加速生成式人工智能 (AIGC)、大语言模型、计算机视觉和自然语言处理等 AI 工作负载，简化深度学习推理的开发和部署，便于实现从边缘到云的跨英特尔® 平台的异构执行。随着生成式AI的快速发展，OpenVINO 积极地为国内外大模型提供支持，其中就包括 ChatGLM3-6B 等在内的国内主流模型，并已被相关仓库收录。

如今，开发者已经能够通过 OpenVINO™ 工具套件，获得以下能力：

快速部署 ChatGLM3-6B

英特尔为开发者提供了快速部署 ChatGLM3-6B 的方案支持。开发者只需要在 GitHub 上克隆 ChatGLM3-6B 的开源仓库，进行环境配置，并将 Huggingface 模型转换为 OpenVINO™ IR 模型，即可进行模型推理。由于大部分步骤都可以自动完成，因此开发者只需要简单的工作便能完成部署。

加速模型在英特尔® CPU/GPU 上的推理性能

开发者可以在英特尔® CPU/GPU（包括英特尔® 至强® 可扩展处理器、英特尔® 酷睿™ 处理器、英特尔® 核芯显卡、英特尔锐炫™ 独立显卡等）上对 ChatGLM3-6B 支持进行高效推理，OpenVINO™ 工具套件则有助于进一步释放英特尔® CPU/GPU 的推理性能潜力。

OpenVINO™ 提供了神经网络压缩框架 (NNCF) 工具，可以帮助开发者对 OpenVINO™格式或中间件表示 (IR) 格式的 ChatGLM3-6B 模型进行 INT4/INT8 量化压缩。此外，开发者也可以通过 Hugging Face AutoGPTQ（生成预训练 Transformer 量化）来实现对模型的 INT4 量化压缩。INT4/INT8 量化压缩有助于减少模型的大小和推理时的计算量，同时保持较高的推理精度。

通过 OpenVINO™ 加速后，ChatGLM3-6B 能够在英特尔® CPU/GPU 上提供可观的推理性能，有效缩短推理延迟，在人机对话等任务中，能够近即时地生成推理结果，为提供用户无感知的 AIGC 服务。

在国内 AIGC 应用快速发展的背景下，英特尔将与更多开源社区、创新企业和研究机构进行深入合作，共同探索和实践生成式 AI 的应用和创新，并通过各种开发者活动和技术峰会，为开发者提供更多技术交流和学习的机会，与生态伙伴携手持续赋能本土开发者，助力开发者提升效率，充分释放创新活力。

欢迎大家关注我们的公众号“英特尔开发人员专区”

我们会陆续推出包括开发者培训、

Hackathon、激励计划在内的各种活动。