微软推出更小人工智能模型Phi-3 Mini
鞭牛士报道，4月23日消息，据外电报道，微软推出了其轻量级人工智能模型 Phi-3 Mini 的下一版本，这是该公司计划发布的三个小型模型中的第一个。
Phi-3 Mini 测量了 38 亿个参数，并在相对于GPT-4 等大型语言模型更小的数据集上进行训练。它现已在 Azure、Hugging Face 和 Ollama 上提供。微软计划发布Phi-3 Small（7B参数）和Phi-3 Medium（14B参数）。
参数是指模型可以理解多少复杂指令。
该公司于 12 月发布了 Phi-2，其性能与 Llama 2 等更大的模型一样好。
微软表示，Phi-3 的性能比之前的版本更好，并且可以提供接近于比它大 10 倍的模型的响应。
微软 Azure AI 平台公司副总裁 Eric Boyd 告诉The Verge，Phi-3 Mini 与 GPT-3.5 等 LLM 一样强大，只是外形更小。
与大型人工智能模型相比，小型人工智能模型 通常运行成本更低，并且在 手机和笔记本电脑等个人设备上表现更好。
The Information今年早些时候报道称，微软正在组建一个专门专注于轻量级人工智能模型的团队。与 Phi 一起，该公司还构建了Orca-Math，一个专注于解决数学问题的模型。
微软的竞争对手也有自己的小型人工智能模型，其中大多数针对更简单的任务，例如文档摘要或编码辅助。
Google 的 Gemma 2B 和 7B非常适合简单的聊天机器人和语言相关的工作。
Anthropic 的 Claude 3 Haiku可以阅读带有图表的密集研究论文并快速总结它们，而Meta 最近发布的 Llama 3 8B可以用于一些聊天机器人和编码辅助。
Boyd 表示，开发人员通过课程对 Phi-3 进行了培训。他们的灵感来自于孩子们如何从睡前故事、单词更简单的书籍以及谈论更大主题的句子结构中学习。
「市面上没有足够的儿童读物，因此我们列出了 3,000 多个单词的清单，并要求制作儿童读物来教授 Phi。」Boyd 说。
他补充说，Phi-3 只是建立在之前迭代所学到的知识之上。
Phi-1 专注于编码，Phi-2 开始学习推理，而 Phi-3 更擅长编码和推理。虽然 Phi-3 系列模型了解一些常识，但它无法在广度上击败 GPT-4 或其他 LLM — 从受过整个互联网培训的 LLM 获得的答案与从受过整个互联网培训的 LLM 获得的答案有很大差异。较小的模型，如 Phi-3。
Boyd 表示，公司经常发现像 Phi-3 这样的较小模型更适合他们的定制应用程序，因为对于许多公司来说，他们的内部数据集无论如何都会较小。由于这些模型使用较少的计算能力，因此它们通常更便宜。
