当前位置:首页|资讯|ChatGPT|MOSS|复旦

“小一号的ChatGPT”升级中!复旦大学“MOSS”模型研究成果将开源

作者:东方网发布时间:2023-03-02

原标题:“小一号的ChatGPT”升级中!复旦大学“MOSS”模型研究成果将开源

东方网记者傅文婧3月2日报道:ChatGPT模型让新一轮AI革命成为全世界关注的焦点,这一热潮也“带火”了国内的研究成果。复旦大学计算机科学技术学院邱锡鹏团队近日发布的类ChatGPT模型MOSS也收到了公众大量关注。

对项目主开发者、计算机科学技术学院博士研究生孙天祥而言,最兴奋的一刻是在测试过程中输入了一个中文问题,MOSS却以英文正确回答,“就像一个不会说但听得懂中文的人”。而当时版本的MOSS还很初级,中文语料占所有训练数据不到0.1%。

“很神奇,我们没有教过它机器翻译。”MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他把MOSS比作一个“聪明的小孩”,即便现在还不擅长写诗、解题或很多具体的事,但已展示出成为通用人工智能(AGI)大框架的潜能,“很多遥不可及的事情,它一点就通了。”实际上,邱锡鹏也让6岁的女儿和MOSS聊天,发现孩子可以愉快地和MOSS对话很长时间。

“对公众而言,ChatGPT、MOSS这些模型的出现或许非常突然,但对于一直关注这个领域的人来说,一切都有迹可循。”邱锡鹏介绍,比如Google在这个领域的技术研发并不亚于OpenAI,只不过OpenAI把这件事做得比较极致,并且提出了“对话”这种非常创新的交互形式,赋予了大型语言模型与人类直接交互的能力,使大型语言模型看起来非常智能。

MOSS的开发不是一蹴而就,它离不开团队过去的铺垫工作和长期积累的研究经验。“从2021年起,我们就开始做中文生成式预训练模型,也开源供别人下载,每月平均有上万次下载。”邱锡鹏表示,之后团队又提出“语言模型即服务”的概念,认为基础语言模型会成为语言服务的基座。22年因为意识到大型语言模型会成为将来的基座,所以开始做大型语言模型方面的训练。后来又花费了半年时间,研究如何使大型语言模型理解人类指令以及具备对话能力。

MOSS的名字是怎么来的?邱锡鹏透露,在学术圈,大家非常喜欢用影视形象给自己开发的AI模型命名,也是一个比较常见的做法。比如,Transformer模型、Megatron模型名称取自《变形金刚》,BERT模型、ERNIE模型化用了《芝麻街》中的角色形象。“开发过程中,正逢《流浪地球2》电影热映,我们的团队成员都非常喜欢《流浪地球2》,也都是《流浪地球2》的粉丝。影片中的智能量子计算机MOSS给我们留下了深刻的印象,所以我们就把模型命名为MOSS,也是向《流浪地球2》这部电影致敬。”邱锡鹏说,也有《流浪地球2》的粉丝们发来邮件,“希望我们一定要加油,真的能够做出来。”

据目前已参与内测的一些用户表示,尽管MOSS在参数规模上和ChatGPT相比小一个量级,事实性问题覆盖不够全面,经常会“一本正经地胡说八道”,但确实有“ChatGPT那味儿”,“基本功能都实现了”。而这些天,邱锡鹏与MOSS团队8位年轻的复旦学生一起正紧锣密鼓地开展内测和迭代工作。新模型预计在3月份底优化完成,后期再逐步对社会开放。

邱锡鹏很乐观,认为在不远的将来,MOSS这类大型语言模型会成为和搜索引擎一样常规的存在,为人们生活的方方面面提供助益。开源(即开放源代码和模型参数)是邱锡鹏和复旦自然语言处理实验室的同仁们一直以来的学术坚持。“这次也会将研究成果开放给公众与社会。”


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1