Stable Diffusion公司开源大语言模型StableLM，网友：能把人逼疯！

整理 | 朱珂欣

出品 | CSDN（ID：CSDNnews）

众所周知，去年初创公司 Stability AI 发布的 AI 图像生成工具 Stable Diffusion，成为一种革命性的图像模型，也使 AI“文生图”实现了飞速的发展。

满载着大家对其“不再局限于开发图像生成”和“开源”的期待，在 4 月 20 日， Stability AI 宣布推出开源大型语言模型（LLM）—— StableLM。

（图源：Stability AI 官方博客截图）

小参数大训练，开源备受热捧

据 Stability AI 官方报道，StableLM 模型还处于 Alpha 阶段，参数比较少，只有 30 亿和 70 亿个参数，之后还会推出有 150 亿到 650 亿参数的模型。作为一个类 ChatGPT 模型，StableLM 模型可以生成文本和代码，并为一系列下游应用程序提供动力，能为小而高效的模型通过适当的培训提供高性能。

然而，与 ChatGPT、Bard 等模型相比，StableLM 最大的“优势”莫过于可供每一个人下载并部署在本地，就连笔记本也可以跑起来。

正如 Stability AI 在报道中坦言的：“语言模型将成为我们数字经济的支柱，我们希望每个人都在他们的设计中拥有发言权。”

StableLM 目前已在 GitHub 开源，其高性能低消耗等特点快速吸引了一大波AI爱好者的关注，不到一天时间，星标已接近 6000 Stars。

（图源：GitHub 截图）

写文案、编代码，还支持商业化

值得一提的是，StableLM 的发布主要得益于 Stability AI 在 EleutherAI (一个非营利性研究中心)开源早期语言模型方面的经验，其语言模型包括 GPT-J 、 GPT-NeoX 和 Pythia套件，它们基于 The Pile 开源数据集训练。

StableLM是基于一个新的实验数据集训练出来的，该数据集基于The Pile构建，但规模是原来的3倍，包含1.5万亿个标记内容。尽管其参数只有30到70亿（相比之下，GPT-3有1750亿个参数），但这个数据集的丰富性使得StableLM在对话和编码任务中表现出惊人的高性能。

Stability AI 还表示，作为概念验证，他们还使用了斯坦福大学 Alpaca程序对模型进行了微调，使用了五个最近的对话代理数据集的组合：斯坦福大学的Alpaca、Nomic-AI的gpt4all、RyokoAI 的ShareGPT52K 数据集、Databricks 实验室的 Dolly 和 Anthropic 的 HH，并把这些模型发布为 StableLM-Tuned-Alpha。

目前，在官方博客中， Stability AI 也展示了 70 亿参数微调模型在“文本对话、创作内容、编写代码”几个方面的示例：

在对话方面，当提问“你会对即将高中毕业的朋友说些什么”，StableLM 回答说：“你们应该为自己的成就、工作、交友等方面感到骄傲，并对自己的未来抱以期望。”

面对“写一封邮件”的任务，StableLM 也是可以依照信件的格式，清晰的罗列出相关内容。

（图源： Stability AI 官方博客截图）

甚至，StableLM 还可以完成一首 rap 的歌词：

（图源： Stability AI 官方博客截图）

在面对“用 C 语言编写可以计算机生命意义”的问题上，StableLM 在“解答未果”后，还用幽默的口吻调侃道：“生命的实际意义会有更复杂的成分，例如社会、哲学等。”

（图源： Stability AI 官方博客截图）

不仅如此，StableLM模型还允许商业化，但开发人员需要遵守CCBY-SA-4.0许可条款之下，自由地检查、使用和调整 StableLM 基础模型。