当前位置:首页|资讯|Stable Diffusion|Stability AI|大语言模型

Stable Diffusion公司开源大语言模型StableLM,网友:能把人逼疯!

作者:CSDN发布时间:2023-04-20

整理 | 朱珂欣

出品 | CSDN(ID:CSDNnews)

众所周知,去年初创公司 Stability AI 发布的 AI 图像生成工具 Stable Diffusion,成为一种革命性的图像模型,也使 AI“文生图”实现了飞速的发展。

满载着大家对其“不再局限于开发图像生成”和“开源”的期待,在 4 月 20 日, Stability AI 宣布推出开源大型语言模型(LLM)—— StableLM。

(图源:Stability AI 官方博客截图)

小参数大训练,开源备受热捧

据 Stability AI 官方报道,StableLM 模型还处于 Alpha 阶段,参数比较少,只有 30 亿和 70 亿个参数,之后还会推出有 150 亿到 650 亿参数的模型。作为一个类 ChatGPT 模型,StableLM 模型可以生成文本和代码,并为一系列下游应用程序提供动力,能为小而高效的模型通过适当的培训提供高性能。

然而,与 ChatGPT、Bard 等模型相比,StableLM 最大的“优势”莫过于可供每一个人下载并部署在本地,就连笔记本也可以跑起来。

正如 Stability AI 在报道中坦言的:“语言模型将成为我们数字经济的支柱,我们希望每个人都在他们的设计中拥有发言权。”

StableLM 目前已在 GitHub 开源,其高性能低消耗等特点快速吸引了一大波AI爱好者的关注,不到一天时间,星标已接近 6000 Stars。

(图源:GitHub 截图)

写文案、编代码,还支持商业化

值得一提的是,StableLM 的发布主要得益于 Stability AI 在 EleutherAI (一个非营利性研究中心)开源早期语言模型方面的经验,其语言模型包括 GPT-J 、 GPT-NeoX 和 Pythia套件,它们基于 The Pile 开源数据集训练。

StableLM是基于一个新的实验数据集训练出来的,该数据集基于The Pile构建,但规模是原来的3倍,包含1.5万亿个标记内容。尽管其参数只有30到70亿(相比之下,GPT-3有1750亿个参数),但这个数据集的丰富性使得StableLM在对话和编码任务中表现出惊人的高性能。

Stability AI 还表示,作为概念验证,他们还使用了斯坦福大学 Alpaca程序对模型进行了微调,使用了五个最近的对话代理数据集的组合:斯坦福大学的Alpaca、Nomic-AI的gpt4all、RyokoAI 的ShareGPT52K 数据集、Databricks 实验室的 Dolly 和 Anthropic 的 HH,并把这些模型发布为 StableLM-Tuned-Alpha。

目前,在官方博客中, Stability AI 也展示了 70 亿参数微调模型在“文本对话、创作内容、编写代码”几个方面的示例:

在对话方面,当提问“你会对即将高中毕业的朋友说些什么”,StableLM 回答说:“你们应该为自己的成就、工作、交友等方面感到骄傲,并对自己的未来抱以期望。”

面对“写一封邮件”的任务,StableLM 也是可以依照信件的格式,清晰的罗列出相关内容。

(图源: Stability AI 官方博客截图)

甚至,StableLM 还可以完成一首 rap 的歌词:

(图源: Stability AI 官方博客截图)

在面对“用 C 语言编写可以计算机生命意义”的问题上,StableLM 在“解答未果”后,还用幽默的口吻调侃道:“生命的实际意义会有更复杂的成分,例如社会、哲学等。”

(图源: Stability AI 官方博客截图)

不仅如此,StableLM模型还允许商业化,但开发人员需要遵守CCBY-SA-4.0许可条款之下,自由地检查、使用和调整 StableLM 基础模型。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1