｜原文章发布于2024年07月19日

面壁「小钢炮」MiniCPM 端侧模型系列，是全球领先的轻量高性能大模型。自2024年2月发布以来，以其以小博大的性能和卓越端侧表现，受到世界开源社区检验并获得广泛赞誉，接连登顶GitHub、Hugging Face热度榜。

应广大开发者要求，我们推出了飞书知识库「面壁小钢炮MiniCPM通关宝典」！会在接下来一段时间内持续上新，从技术拆解到部署推理到量化微调，手把手教你速通MiniCPM模型！

😁不管你是机器学习的新手，还是有一定经验的开发者，我们都将帮助你快速了解并上手 MiniCPM 系列模型的部署和使用。

后台回复“小钢炮”，解锁「面壁小钢炮MiniCPM通关宝典」全文。

 ➤  B站配套视频 ，搭配食用更佳 

🔗 https://space.bilibili.com/493282299/channel/collectiondetail?sid=3433564

今天，为大家带来的是MiniCPM部署教程。

➤ 适用模型：MiniCPM-2B、MiniCPM-1B➤ 面向人群：刚刚了解MiniCPM,对模型推理和下载尚不熟悉➤ 该教程适用设备：Linux服务器带有20系以上Nvidia显卡 ，Mac

模型简介 

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量，总计2.7B参数量。经过 SFT 后，MiniCPM-2B 在公开综合性评测集上与 Mistral-7B 表现相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。 

➤  论文链接 

🔗 https://arxiv.org/abs/2404.06395 

➤  GitHub地址 

🔗 https://github.com/OpenBMB/MiniCPM

 ➤  模型介绍详见往期文章 

🔗 MiniCPM：揭示端侧大语言模型的无限潜力

模型下载 

方法1：Git下载

1. Linux 安装Git LFS

➤ Ubuntu 安装 Git LFS：

➤ Mac 安装Git LFS：

➤ Centos安装Git LFS：

2. 下载模型

➤ 方法一：HuggingFace 模型下载

命令行输入以下代码，以下示例下载MiniCPM-2b-sft，也可以去我们官方空间https://huggingface.co/openbmb下载其他模型。

➤ 方法二：Modelscope模型下载

命令行输入以下代码：

3. 命令成功运行后，模型就下载好啦，位置在你的当前路径下

方法2：HuggingFace 手动下载

1. 网页访问 https://huggingface.co/openbmb

2. 选择需要的模型栏目进行点击

3. 点击 Files

4. 下载 Files 中所有文件到同一路径

方法3：ModelScope手动下载

1. 网页访问 

https://modelscope.cn/models/OpenBMB/miniCPM-bf16

2. 点击图中模型文件按钮

3. 下载所有文件到同一目录

 模型推理 

Transformer库推理

1. 命令行输入

2. 安装依赖库

3. 打开MiniCPM/demo/hf_demo.py，查看以下参数

4. 如果你已经按照上述方法下载了模型，以下参数

修改为你模型保存的路径，比如：

如果你不是A100，4090，H100等高端显卡，将这一行代码：

修改为：

5. 运行MiniCPM/demo/hf_demo.py脚本,端口弹出以下。

6. 网页端输入以上地址，或者点击浏览器中打开

7. Enjoy it!

vllm推理

命令行输入

参照以上Transformers推理，仅第三步替换为：

打开MiniCPM/demo/hf_demo.py，查看以下参数。

mlx推理（mac推荐）

1. mlx-lm需要将Mac-OS升级到13.5以上，可以打开Mac的“设置”-“通用”-“软件更新”-“自动更新”-“安装MacOS更新”

2. 命令行输入：

3. 运行 MiniCPM/demo/mlx_based_demo.py

4. Enjoy it!

Ollama 推理

1. 前往 https://github.com/ollama/ollama安装Ollama

➤ Mac安装Ollama地址：https://ollama.com/download/Ollama-darwin.zip

➤ Windows安装ollama地址: https://ollama.com/download/OllamaSetup.exe

➤ Linux安装：

2. 运行minicpm-2b：

Fastllm

1. 首先获取fastllm源代码：

2. 编译安装fastllm：

3.下载转换后的模型权重 MiniCPM-2B-sft-bf16-llama-format-mlx

4.命令行输入：

➤ 欢迎加入 OpenBMB 社区一起讨论 

后台回复“小钢炮”，解锁「面壁小钢炮MiniCPM通关宝典」全文。

官方网站

https://www.openbmb.org

GitHub

https://github.com/OpenBMBhttps://github.com/thunlp

长期开放招聘｜含实习

开发岗  |  算法岗  |  产品岗

交流QQ群

735930538