复旦邱锡鹏：最新版MOSS在中文能力上已超ChatGPT
今年2月，复旦大学发布了类ChatGPT的对话式大模型MOSS，两个月后MOSS正式开源，成为国内首个插件增强的开源对话语言模型。在7月7月举行的2023世界人工智能大会“大模型时代的通用人工智能产业发展机遇以及风险”分论坛上，复旦大学MOSS系统负责人邱锡鹏围绕“技术、实现与展望”分享了MOSS的最新研发进展。
邱锡鹏表示，近年来，AI领域的模型规模越来越大，几乎每6个月模型规模就翻一番，以10倍为量级增长。今年，随着ChatGPT走入全球视野，大语言模型的热度持续升温。但究竟多大才算“大语言模型”？学界目前并没有确切定论，只能说大约在百亿规模到万亿规模间，主要因为ChatGPT并未开源，也尚未对外公布其最新版参数。
但在人工智能研究领域，ChatGPT仍旧为学术研究提供了非常大的希望。“最初的AI大部分是‘弱人工智能’，就连AlphaGO也基本只能干下棋这一件事。” 邱锡鹏说。而AGI，即通用人工智能，是几乎所有人工智能研究者的愿景。
被寄予厚望的ChatGPT发展速度确实很快。从2018年OpenAI公司发布第一版ChatGPT，到2020年训练出ChatGPT 3，再到历经2年迭代后迎来ChatGPT4这一革命性产品，历时不过4、5年时间。
视线回到国内。邱锡鹏介绍，复旦对大模型的研究起步较早，在Transformer架构以及中文预训练模型的研发上有了比较丰富的积累。“ChatGPT出现后，很多人觉得国内和国外在大语言模型方面的差距正在拉大，但其实我们研发出MOSS后，证明并非只有OpenAI才能研发出对话式大模型，MOSS基本能通过我们的理解复现ChatGPT的能力。”
MOSS的基础架构为Transformer，第一版诞生于今年1月，具有和ChatGPT相同的内容，即“用户说什么MOSS都可以接话”，但在任务完成度上与ChatGPT尚存在差距。特别是在推理能力和知识能力上，第一代MOSS的判断容相对量小，“很多事实会记不住。”为此， 复旦团队一方面持续扩大MOSS的模型规模，提高其整体能力，另一方面尝试将MOSS作为使用工具进行开发。
今年2月，复旦正式发布对话模型MOSS后，将一部分研发精力放在如何把使用工具的能力打通，于是在4月推出了开源插件版模型MOSS-Plugin。“目前MOSS还在持续迭代，如最新版MOSS已经能够在中文能力上基本超过ChatGPT。”邱锡鹏说。
大语言模型除了“聊天”，还具备哪些用途？邱锡鹏介绍，在具体的行业应用中，通过使用插件，大语言模型可自主搜集新闻和实时信息进行汇总，成为得力的个人助理。大语言模型还可进行数学运算，或者列一个方程让计算器来解答。此外，MOSS在预防“有害道德”方面也进行了优化，会避免回答有悖道德的问题，让人工智能具备较强的道德感。“大型语言模型的一大亮点，就是能把外来需求或复杂任务进行拆分，找到不同的工具来解决问题。”邱锡鹏说。
“大模型不能只有大公司才能‘玩得起’，高校、学生和普通爱好者都应该‘玩得起’大模型。”邱锡鹏表示，仅靠头部公司“砸钱”研发大模型，并不能助推该领域健康有序发展，因为大语言模型中涉及许多科学问题和学科类问题需要解决，在实现复杂推理、高效架构、知识融合和制定学习策略方面，有许多问题需要学术团队和广泛的研究者来支撑。
围绕MOSS，复旦团队将持续展开大模型方面的研究，涵盖能力强化、知识对齐、模态融合和开源开放等领域。目前，复旦MOSS团队正通过参与大型语言模型生态建设，在未来实现集对话模型、模型微调、AIGT检测、模型对比和模型评测等于一体的开源开放平台。