复旦MOSS团队：打造具有中国特色中文大型语言模型 研究成果将会开源

原标题：复旦MOSS团队：打造具有中国特色中文大型语言模型 研究成果将会开源

未来，MOSS的优化将会围绕三方面展开。　复旦大学供图

中新网上海3月2日电 (陈静 殷梦昊 许文嫣)由美国OpenAI公司开发的ChatGPT模型在全球点燃了新一轮AI热潮。前不久，复旦大学计算机科学技术学院邱锡鹏团队发布类ChatGPT模型MOSS，备受关注。

记者2日获悉，邱锡鹏与他的MOSS团队——8位年轻的复旦学生，正紧锣密鼓地开展内测和迭代工作。新模型或将在3月底优化完成，后期再逐步对社会开放。邱锡鹏说：“我们的目标是打造一个具有中国特色的中文大型语言模型。”

邱锡鹏与他的MOSS团队合影。　复旦大学供图

据介绍，未来，MOSS的优化将会围绕三方面展开：团队会准备更高质量的中文数据；会开放接口，让MOSS与人类进行对话，收集更多的对话数据；同时，团队还会进一步加大投入，扩大其参数规模。邱锡鹏直言：“如果MOSS的参数规模能够上升到500亿或者1000亿，它的能力就又会大幅提升。”开源(即开放源代码和模型参数)是邱锡鹏和复旦自然语言处理实验室的同仁们一直以来的学术坚持。“这次也会将研究成果开放给公众与社会。”他说。

目前，参与内测反馈显示，尽管MOSS在参数规模上和ChatGPT相比小一个量级，事实性问题覆盖不够全面，经常会“一本正经地胡说八道”，但确实“基本功能都实现了”。邱锡鹏2日对记者表示，在不远的将来，MOSS这类大型语言模型会成为和搜索引擎一样常规的存在，为人们生活的方方面面提供助益。　“对现在的MOSS来讲，好的案例可以挑出很多；坏的案例也一抓一大把(特别是中文)，也就是‘上限高、下限低’。”邱锡鹏希望在下一版能控制好下限，并介绍，目前，MOSS服务器的最大容纳人数在数万人。

邱锡鹏与他的MOSS团队——8位年轻的复旦学生，正紧锣密鼓地开展内测和迭代工作。　复旦大学供图

“人类的伦理观、价值观是非常多样的，接下来，不光是我们做技术的，还需要从事法律、伦理研究的相关人士一起参与共建大型语言模型。”这位专家表示，在这一点上，我们可以充分发挥复旦交叉学科和综合性大学的优势。

MOSS这种“大型对话式语言模型”和当下人们日常使用的聊天机器人有什么区别？邱锡鹏给记者打了个比方：“这两者的关系就像智能手机和功能手机。之前的聊天系统还属于弱人工智能，设计它们就是用来聊天的，就像传统的功能手机只能用来打电话；而现在的大型语言模型，像ChatGPT、MOSS，它们能做很多事，聊天只是功能之一，就像智能手机可以用来打电话，但它的功能远远不止于此。”

他指出， ChatGPT、MOSS具备的是一种通用能力，可以帮助人类完成各种各样的事情，只不过以对话形式呈现。“这种对话式大型语言模型向我们展示了一条通向‘通用人工智能’的崭新路径。”这位学者告诉记者，它可以完成自然语言处理领域的绝大部分任务，还可以在学习使用外部工具后，与外部世界进行交互，进行创作。这些都是现有的聊天机器人所不具备的。

关于MOSS模型，邱锡鹏坦言，春节前就开发出了第一代模型。它显示出了很大的潜能，与之前的聊天系统大不相同，有着不错的人类意图理解能力，也有很多涌现能力。春节前的腊月二十八，项目主开发者、计算机科学技术学院博士研究生孙天祥，在测试过程中输入了一个中文问题，MOSS却以英文正确回答，“就像一个不会说但听得懂中文的人”。“很神奇，我们没有教过它机器翻译。”MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他回忆，当时版本的MOSS还很初级，中文语料占所有训练数据不到0.1%。他把MOSS比作一个“聪明的小孩”，即便现在还不擅长写诗、解题或很多具体的事，但已展示出成为通用人工智能(AGI)大框架的潜能。“很多遥不可及的事情，它一点就通了。”实际上，邱锡鹏也让6岁的女儿和MOSS聊天，发现孩子可以愉快地和MOSS对话很长时间。

作为走通“端到端”大型语言模型， MOSS是如何做到的呢？邱锡鹏解释，“端到端”指的是从零开始，信息收集、数据处理、建立模型，到最终形成一个具有和人类对话能力的大模型，中间所有技术路径可以走通，这个就叫由起点到终点的“端到端”。“因为OpenAI至今没有公布开发ChatGPT的技术路线和技术细节，所以我们需要靠有限的公开信息来自己摸索。”他表示，这个过程非常难，包含了非常多经验性、直觉性的设计，关键要打通两步：基座和对话能力。

邱锡鹏解释，大型语言模型的基座不是简单的参数足够大就可以，还需要赋予大型语言模型各种各样的知识能力、学习能力，还有逻辑推理能力；同时，要通过一些指令触发它的对话能力，让它理解人类意图，与人类能够交互对话。这位专家坦言：“到目前为止，我们还能把控技术路线，但未来可能会面临更大的困难。因为我们收集了非常多和人类交互的指令，要赋予它价值观和各种各样的能力，就要请一些专业人士来帮助我们设计，进一步增强MOSS各方面的能力。”

关于MOSS模型一经发布就备受关注，邱锡鹏说，关注度这么高，我想可能是大家对国内团队做出类ChatGPT模型比较兴奋，兴奋的原因则在于之前有很多声音，说我们和国外的技术水平差距非常大，想追上的话，要花很长时间。但我们的努力证明，其实不需要那么久。他说，开发过程中，正逢《流浪地球2》电影热映，团队成员都非常喜欢《流浪地球2》，取名MOSS是致敬《流浪地球2》。

MOSS与ChatGPT相比，有哪些主要差异？邱锡鹏直言，最大差异还是参数规模。ChatGPT的参数量多达1750亿个，而MOSS的参数量比其小一个数量级，大约是前者的1/10左右。另外一大差异就是迭代能力。这位专家解释，用户量越大，交互数据越多，模型的迭代能力就越强。ChatGPT作为新一轮人工智能赛跑的领跑者，遥遥领先收集了大量用户的交互数据，OpenAI可以在此数据的基础上，把这个模型和数据的飞轮转起来。

“因此，参数量和交互数据量的差异，进一步导致了MOSS和ChatGPT在事实类知识储备上的差距，表现为MOSS在回答事实类问题时更容易出错。”邱锡鹏接受采访时十分坦率。不过在邱锡鹏看来：“大家在关注ChatGPT、MOSS这种模型的时候，更应该看重它的理解能力、学习能力以及思维能力，而不是看重它的事实类知识储备。如果从逻辑类能力来看，我觉得MOSS的表现其实还不错。”

据介绍，MOSS的特点是小规模，比较容易适应个性化模型，可以赋予更多专业化能力，利于企业内部私有部署，经过一些数据微调就可以转化为生产力。

国内外已有不少公司正在研发类ChatGPT模型，投入不菲。高校学术研究团队开发MOSS模型的初衷是什么？邱锡鹏直言：“我们开发MOSS模型，是想在百亿规模参数上探索和验证ChatGPT的技术路线，证明我们在技术实现上，并不落后于国外。另外也想证明，这种技术也并非一定被大公司垄断，我们这样一个学术研究的实验室，在相对有限的资源下，也能够做出类ChatGPT模型。”

他指出，MOSS的定位是自然语言处理领域乃至是通用人工智能领域最前沿的探索。“也许工业界更看重它的落地性能，而我们更看重它的下一代发展，即如何实现通用人工智能。”邱锡鹏表示，从学术角度出发，只有我们比OpenAI看得更远、更超前，才可能最终实现超越。

“长远来看，我们期待把MOSS作为一个通向通用人工智能的基座，让它变成一个像科幻片角色的真实存在。”邱锡鹏对此很乐观，“我觉得通用人工智能由科幻步入现实，应该不会很远，也许5到10年。那时，我们会像现在接受搜索引擎一样，接受通用人工智能。”(完)