GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。

• 开源地址：【https://github.com/THUDM/GLM-4】

• 在线体验：【https://modelscope.cn/studios/dash-infer/GLM-4-Chat-DashInfer-Demo/summary】魔搭社区提供

GLM-4-9B包含了以下几个模型

GLM-4-9B 特点：

• 性能卓越：在不同数据集的测评中，展现了超越 Llama-3-8B 的性能。

• 多轮对话：支持多轮对话交互。

• 多语言支持：支持包括日语、韩语、德语在内的 26 种语言。

GLM-4-9B-Chat 功能：

• 人类偏好对齐：专为与人类偏好对齐而设计。

• 高级功能：具备网页浏览、代码执行、自定义工具调用和长文本推理等能力。

• 长文本支持：支持最大 128K 上下文的长文本处理。另外的GLM-4-9B-Chat-1M 模型：超长文本支持：支持高达 1M 上下文长度，约 200 万中文字符。

GLM-4V-9B支持多模态模型：

• 高分辨率：支持 1120 * 1120 高分辨率下的中英双语多轮对话。

• 多模态能力：在中英文综合能力、感知推理、文字识别、图表理解等方面表现出色。

• 性能超越：超越了 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 等模型。

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要：

• Python >= 3.10

• 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码，您还需要：

• Linux 操作系统 (Debian 系列最佳)

• 大于 8GB 显存的，支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备 (A100以上GPU，V100，20以及更老的GPU架构不受支持)

完整项目列表

如果你想更进一步了解 GLM-4-9B 系列开源模型，本开源仓库通过以下内容为开发者提供基础的 GLM-4-9B的使用和开发代码

• base: 在这里包含了

• 使用 transformers 和 vLLM 后端的交互代码

• OpenAI API 后端交互代码

• Batch 推理代码

• composite_demo: 在这里包含了

• GLM-4-9B-Chat 以及 GLM-4V-9B 开源模型的完整功能演示代码，包含了 All Tools 能力、长文档解读和多模态能力的展示。

• fintune_demo: 在这里包含了

• PEFT (LORA, P-Tuning) 微调代码

• SFT 微调代码

GLM-4-9B初步体验感受

• 针对官方介绍进行了翻译，翻译速度及翻译效果不错，

• 针对最近热门的数“r”进行了测试，可以成功通过，但是如果是多个单词只会回答其中一部分

• 所提供的大模型demo，不支持直接访问网页，目截止知识库为2023年

• 所提供的大模型demo，不支持读取网页地址回答问题，会直接报错

GLM-4-9B是否可以本地化部署

• 模型文件：文件很大，接近20G。

• 本机环境：OS：Windows CPU：AMD Ryzen 5 3600X 6-Core Processor Mem：32GB GPU：RTX 4060Ti 16G

• 实际效果：慢，巨慢，基本上无法实际使用，后续尝试下使用Ollama等本地模型环境进行尝试，看看是否可行。

GLM-4-9B的API调用

• modelscope提供了API调用，具体文档可以参考：https://modelscope.cn/studios/dash-infer/GLM-4-Chat-DashInfer-Demo/summary

总结：

作为从chatGLM开源以来就一直关注并学习这个模型的一员，看到了chatGLM大模型的成长速度，目前已经达到并接近世界前列。尤其是有清华背景的智谱清言AI，更加可以作为国内大模型基座进行一系列的AI应用层开发。