复旦大学 MOSS 大模型正式开源：超 100 万条对话训练数据

4 月 21 日，复旦大学自然语言处理实验室开发的新版 MOSS 模型正式上线，成为国内首个插件增强的开源对话语言模型。

据介绍，MOSS 是一个支持中英双语和多种插件的开源对话语言模型，moss-moon 系列模型具有 160 亿参数，在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行，在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

作为国内首个开放测试的类ChatGPT产品，MOSS开源地址一放出，又冲上知乎热搜！

目前，MOSS 模型已上线开源，相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放，供科研人员下载。

MOSS 来自复旦大学自然语言处理实验室的邱锡鹏教授团队，名字与《流浪地球》电影中的 AI 同名，已发布至公开平台（https://moss.fastnlp.top/），邀请公众参与内测。（来源：IT 之家）

MOSS究竟开源了哪些项目，目前有哪些功能？

会解方程，也能生成图片

据了解，这次MOSS开源的是第三轮迭代版本，名叫MOSS 003。

当然，MOSS 003也并非开源了全部模型，目前主要开放的是基座预训练模型，最终模型即将在近期开源：

此前，MOSS已经经历了两版迭代，一版是公开邀请内测的MOSS 002版本，另一版是内部测试版本OpenChat 001。

三月份大伙儿见证的“国内首个开放测试的ChatGPT”，正是MOSS 002版本。

最新这个版本展现的功能效果如何？

MOSS团队放出了它多轮对话、解方程、写代码、生成图片和回答道德伦理等示例。

这是多轮对话的展示效果，具备资料追根溯源的能力：

这是做数学题的示例，包括鸡兔同笼问题：

也包括生成图片功能：

近期网友热议的AI道德性问题：

团队这次还开源了一部分训练数据。

至于完整数据，复旦MOSS团队表示“近期会全部开源”。

国内最先发布的ChatGPT产品

MOSS取自于《流浪地球》里面那个拥有自我意识的AI。

它由复旦自然语言处理实验室邱锡鹏团队研发，2月20日正式发布。

当时国内一众大厂还在陆续高调官宣要造ChatGPT，谁都没想到它就这么一声不吭地杀了出来。

所以尽管MOSS的参数量比ChatGPT小了一个量级，大家还是蜂拥而上，把服务器都给挤爆了。

参考链接：

https://www.zhihu.com/question/596908242

https://huggingface.co/fnlp/moss-moon-003-base

https://huggingface.co/fnlp/moss-moon-003-sft-plugin

白嫖MOSS代码+60G入门到进阶AI资源包（经典论文/书籍/项目课程/学习路线大纲）+专属专家一对一带论文/学习/就业/竞赛指导+技术问题答疑

关注公众H：咕泡AI，发送：211  获取

内含:深度学习神经网络+CV计算机视觉学习（两大框架pytorch/tensorflow+源码课件笔记）+NLP等

适用人群

①准备毕业论文的学生

②准备跳槽，正在找工作的AI算法工程师等

③自学和准备转行到AI领域的人

④想巩固AI核心知识，查漏补缺的人