最近除了 Codellama-70B 的发布之外，在开源 LLM 领域还有一件大事，不知道大家有没有注意到？那就是疑似 Mistral AI 的闭源大语言模型 （镇司之宝）Mistral Medium 在 Hugging Face 上被泄露了。

Mistral AI 是在巴黎的AI创业公司，开源过三款大家耳熟能详的模型，Mistral-7b-Instruct-v0.1，Mistral-7b-Instruct-V0.2 以及第一个 MoE 架构的模型 Mixtral 8*7B，其中 Mixtral 8X7B 取得了非常良好的性能，可以说是市面上性能最好的开源模型。

去年12月，Mistral AI 发布了自己的 API 服务平台，在其介绍文章中，Mistral AI 提到自己将提供三种模型API 服务，Mistral-tiny 基于现有的 Mistral 7B Instruct v0.2，Mistral-small 基于现有的 Mixtral 8x7B。第三种就是不开源的杀手锏 Mistral medium， 文章中介绍这是基于一个正在测试中的原型模型，但是性能会更高。

根据网上流传的 benchmark, mistral-medium API 的性能直逼 gpt-4-1106-preview。于是大家对 Mistral Medium 的期待更高了。

6天前，一位名叫 miqudev 的用户在 Hugging Face 上发布了 miqu-1-70b 的模型。miqudev 在 Hugging Face 上没有留下很多信息，只写了 prompt template 是 mistral。

但是 miqu-1-70b 的性能引发了众多开源大模型爱好者对于模型所属的猜测。根据命名逻辑，mi 可能代表 mistral， qu 可能代表 quantification，综合起来 miqu-1-70b 就是 Mistral 量化过的 70 B 模型，这难道就是被泄露的 Mistral Medium?

这一猜测在今天早上似乎得到了证实。Mistral AI 的 CEO Arthur Mensch在 twitter 上表示，Mistral AI一个拥有早期访问权限的客户的员工泄露了 Mistral AI 训练的一个旧模型。而 Mistral AI 已经完成了模型的重新训练。

Arthur Mensch 的 这条 twitter 被不少人认为侧面证实了 miqu-1-70b  就是被泄露的 Mistral Medium 模型。看到这个消息，就来迫不及待地本地运行一下 miqu-1-70b，看看表现到底怎么样？

如何运行传说中的 Mistral Medium：miqu-1-70b

我们依然使用 LlamaEdge 来运行 miqu-1-70b 模型。很重要的一个原因是 LlamaEdge 的可组合性设计使它能够轻松支持市场上新的大模型。

在 LlamaEdge 里，不仅推理应用程序本身是跨平台可移植的，推理应用程序与  prompt template 也是可以随意组合的。如果有一个新的模型使用的 prompt template 是 LlamaEdge  已经支持的，那我们只需要下载这个新模型，就可以运行这个新模型了，无需为新的模型再重新写一个推理程序，并且编译这个程序。

LlamaEdge GitHub 地址：https://github.com/second-state/LlamaEdge/

miqu-1-70b 就是这样一个例子，因为他依然使用 mistral 作为 prompt template。如果你已经下载了 WasmEdge 和推理程序 llama-chat.wasm 或是 llama-api-server.wasm，那么只需要下载 miqu-1-70b 模型，然后运行下面的命令行即可。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:miqu-1-70b.q2_K.gguf llama-chat.wasm -p mistral-instruct


如果你之前没有下载过 WasmEdge 和对应的推理 Wasm 文件或者对 LlamaEdge 没有那么熟悉，你可以用下面的脚本工具来自动化这部分工作。

bash <(curl -sSfL 'https://code.flows.network/webhook/iwYN1SdN3AmPgR5ao5Gt/run-llm.sh')


首先他会安装 WasmEdge runtime。在第二步选择模型的时候，如下图所示，将下面的链接粘贴到命令行。

https://huggingface.co/miqudev/miqu-1-70b


然后依据自己机器的实际情况，选择不同的量化版本序号。

模型下载好后，紧接下来的 Prompt template 选择 5  mistral-instruct prompt template。接下来就按照命令行工具的提示，下载 Wasm 推理文件，运行模型，就可以了。

miqu-1-70b 模型的效果

miqu-1-70b 模型的效果到底怎么样？让我们用一道非常具有疑惑性的推理题来测试一下。推理能力对于构建 LLM agent 非常重要。

这是 miqu-1-70b，也就是 mistral medium的答案，表现很好，没有被题目所迷惑。而且我这里用的是一个精确度不高的 q2 版本。

但是它的兄弟 mistral-7b-instruct 就没有回答正确。

我们之前也用这道题测试过多个模型，众多开源模型中只有 Mixtral 8*7b 回答正确，如果你也有有兴趣，欢迎用 LlamaEdge 运行开源大语言模型！

LlamaEdge 地址：https://github.com/second-state/LlamaEdge/

关于 WasmEdge

WasmEdge 是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。目前是 CNCF 沙箱项目。WasmEdge 被应用在 SaaS、云原生，service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。

GitHub：https://github.com/WasmEdge/WasmEdge

官网：https://wasmedge.org/

‍‍Discord 群：https://discord.gg/U4B5sFTkFc

文档：https://wasmedge.org/docs