SLM 会是微软「弯道超车」OpenAI 的秘诀吗？

作者：机器之能发布时间：2023-12-17

专题解读

日期：12 月 12 日

事件：微软公开了27 亿参数的小型语言模型（SLM） Phi-2 的细节。Phi-2 在各种聚合基准上性能超越了 7B 和 13B 的 Mistral 模型、Llama2 模型，其自然语言理解和推理能力在不超过 130 亿参数的模型中实现了 SOTA 表现。

对 SLM 双管齐下的探索路径或许映射了微软在传闻与 OpenAI 的合作关系产生间隙后的策略，也可能代表着这家公司瞄准的下一个战场。

通过Phi、Orca 等一系列工作，微软坐稳了13B以下 LLM 的 SOTA 席位。微软在大型语言模型技术上是要开始「弯道超车」OpenAI 了吗？

微软在 SLM 路上是如何双管齐下的？

2023 年，微软通过 Phi 和 Orca 系列工作在探索 SLM （Small Language Model）推理能力上做出了一系列尝试。前者探索了高质量数据对模型能力的影响，后者则聚焦于研究 Prompt 指令指令调整方法对推理的帮助。

Phi 系列的演进：用小而美的「教科书质量」数据提高模型能力

1、6月20日，微软发布论文《Textbooks Are All You Need》，用规模仅为 7B token 的「教科书质量」数据训练了一个 13 亿参数的模型 Phi-1。phi-1 在 HumanEval 的 pass@1 上达到了 50.6% 的准确率，在 MBPP 上达到了 55.5%，证明了高质量的「小数据」能够让模型具备良好的性能。

2、9月11日，微软发表《Textbooks Are All You Need II: phi-1.5 technical report》，提出了同为 13 亿参数的 Phi-1.5。该工作将研究重点放在自然语言常识推理任务上，让 Phi-1.5 的性能可以媲美 5 倍大的模型。

3、12 月 12 日，微软所展示的 27 亿参数规模的 Phi-2 在各种聚合基准上性能超越了 7B 和 13B 的 Mistral 模型、Llama2 模型。与大 25 倍的 Llama2-70B 模型相比，Phi-2 在多步骤推理任务（即编码和数学）方面实现了更好的性能。

Orca 模型的创新：用指令调整教会模型「随机应变」

1、6月5日，微软发布了 130 参数的 Orca 模型，当时，Orca 在很多基准测试中的表现已经超越 GPT3.5，但仍弱于 GPT-4。

2、11月18日，微软发布论文提出并开源 Orca 2，进一步探索小型语言模型的推理能力。为了教导 Ocra 2 成为一个「谨慎」的推理者，他们提出了一项「提示擦除（Prompt Erasure）」，使模型不仅能够执行特定的推理步骤，而且能够在处理任务时制定更高级别的策略。

「教科书质量」数据炼的 Phi-2 有何亮点？

虽然微软尚未发布 Phi-2 的论文，但官博文章透露了部分 Phi-2 的细节，相关工作涉及的数据筛选逻辑也在其 6 月的论文中有所介绍。

1、根据微软的论文，现在的前沿LLM的模型规模已经增加到千亿参数，的确释放了很多新能力，也重新定义了自然语言处理的格局。但仍存在一个问题：是否可以通过训练策略选择（比如数据选择）在较小规模的模型上同样实现这些新能力？

2、微软对此开发的 Phi 系列模型通过训练小语言模型实现与大模型类似的性能。Phi-2 主要从数据质量和创新技术两个方面打破了传统语言模型的 Scaling 规则。

3、数据质量方面，微软通过重点关注「教科书质量」数据，将「训练数据的质量在模型性能中起着至关重要的作用」的认知发挥到了极致。

4、技术创新方面，微软从 13 亿参数的 Phi-1.5 开始，将知识逐渐嵌入到了 27 亿参数的 Phi-2 中。这种规模化知识迁移加速了训练收敛，并显著提升了 Phi-2 的基准测试分数。

5、Phi-2 在没有通过人类反馈强化学习（RLHF）进行对齐，也没有进行指令微调的前提下，模型以 27 亿（2.7B）的参数量，在各种聚合基准上性能超越了 7B 和 13B 的 Mistral 模型、Llama2 模型，其在毒性和偏见方面的表现仍优于现有开源模型。对比谷歌最近发布的 Gemini Nano2（3.2B 参数），Phi-2 同样能够解答复杂的物理问题，并使用和前者类似的提示纠正学生。