被泄露的大语言模型LLaMA，引爆ChatGPT平替狂潮
出品 | OSC开源社区（ID：oschina2013)
开源和基于 API 的分发之间的摩擦是生成式 AI 生态中极为迫切的矛盾。比如在从文本到图像领域，Stable Diffusion 的发布清楚地表明 开源是基础模型的可行分发机制。不过在大型语言模型 (LLM) 领域却并非如此，该领域最大的突破来自 GPT-4、Claude 和 Cohere 等模型，这些模型只能通过 API 获取。并且这些模型的开源替代品没有表现出相同水平的性能，特别是在它们遵循人类指令的能力方面。
然而，一项意想不到的研究突破和泄露的模型版本彻底改变了这一现状。
几周前，Meta 宣布了它的大语言模型 LLaMA，其参数规模从 70 亿到 650 亿参数不等（包括 7B、13B、33B 和 65B 参数），该模型的一大优势是能运行在单张显卡上。当时 Meta 没有开源 LLaMA，而是通过邀请制的方式出于研究的目的将源代码提供给社区。但在宣布该消息一周后，LLaMA 模型在 4chan 上被泄露，有匿名用户通过 BT 种子公开了 LLaMA-65B—— 有 650 亿个参数的 LLaMA，容量为 220GB。它已被确认是真实的，有用户在单张显卡上运行了 LLaMA，结果相当出色，这位用户使用的显卡是服务器级别的英伟达 A100 80GB。虽然模型遭到泄露，Meta 表示会继续与挑选的研究人员共享 LLaMA。
在此之后的几周里，这场本应是不幸的事件却成了 LLM 领域最有趣的创新来源之一。自 LLaMA 被泄露后，基于它而构建的 LLM 代理的创新呈现出爆炸式增长。
下面列举一些出色的案例：
- 斯坦福大学发布了 Alpaca，这是一种基于 LLama 7B 模型的指令跟随模型
- 来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校的研究人员开源了 Vicuna，这是一个与 GPT-4 性能相匹配的 LLama 微调版本
- Berkeley AI Research Institute (BAIR) 发布了 Koala，这是一种使用互联网对话进行微调的 LLama 版本
- Nebuly 开源了 ChatLLama，这是一个使用您自己的数据创建对话助手的框架
- FreedomGPT 是一个基于羊驼的开源会话代理，采用 LLama
- 加州大学伯克利分校的 Colossal-AI 项目发布了 ColossalChat，这是一种 ChatGPT 类型的模型，具有基于 LLama 的完整 RLHF 管道
最后，推荐一批由 OSCHINA 整理的精选 LLM 开源项目：Awesome LLM 。
（可左右滑动）
END
腾讯将微信QQ故障定性为一级事故
🌟 活动推荐
2023 年 5 月 27-28 日，GOTC 2023 全球开源技术峰会将在上海张 江科学会堂隆重举行。
为期 2 天的开源行业盛会，将以行业展览、主题发言、特别论坛、分论坛、快闪演讲的形式来诠释此次大会主题 ——“Open Source, Into the Future”。 与会者将一起探讨元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门技术主题，以及 OSPO、汽车软件、AIGC、开源教育培训、云原生、信创等热门话题，探讨开源未来，助力开源发展。
