专访厦门大学教授苏劲松：我们也需要自己的ChatGPT，算力和数据投入需求不断提升
每经记者：赵李南 每经编辑：梁枭
“在这一波人工智能产业变革中，不论是出于我国信息安全的需要，还是国内人工智能产业发展的考虑，我们都需要自己的ChatGPT。”苏劲松表示。
苏劲松，厦门大学信息学院教授、博士生导师，国家特支计划青年拔尖人才，福建省杰出青年基金获得者。2011年毕业于中国科学院计算技术研究所，随后任教于厦门大学，主要研究方向是自然语言处理，机器翻译，文本生成。共发表CCF-A/B论文一百余篇，获得2020年钱伟长中文信息处理科学技术奖—汉王青年创新奖，培养学生获2017百度奖学金（全球10名，唯一获奖硕士）。
近日，《每日经济新闻》记者专访了苏劲松，关于ChatGPT的技术基础、发展方向、我国大语言模型的开发状况，苏劲松都一一进行了解答。
图为苏劲松，受访者供图
大一编程课程试卷，ChatGPT考了69分
苏劲松用大一编程课程试卷对ChatGPT进行了测试。结果让人感到惊讶，ChatGPT编程题全对，选择题正确率过半，共得了69分（满分100分）。
苏劲松认为，ChatGPT答编程题100%正确率可能有两方面原因。首先，ChatGPT是基于Transformer的生成模型，其在生成式任务中的表现尤为突出。另外，ChatGPT使用了大量的不同领域和类型源代码数据进行训练，这些代码可以帮助模型学习到如何高效编写较为简单的代码。
苏劲松继续说道：“相比之下，选择题答题不够理想的原因，可能也包含两方面：首先是数据集的不足，与自然语言生成任务不同，选择题类型的数据在训练时出现较少，这使得模型对该类任务的建模能力不足；其次，选择题经常需要模型能够正确地理解文本并将其与其他知识点联系起来，然后再进行推理。然而，ChatGPT在逻辑推理这方面还是存在不足。”
在大众看来，ChatGPT似是“横空出世”，但事实上，ChatGPT经历了相当漫长的发展过程。
苏劲松向记者介绍，ChatGPT本质上是一个语言模型，它可以根据给定的上下文来预测当前出现词语的分布概率。粗略来看，它的发展经历了多个阶段：第一阶段是统计语言模型，即用传统的统计方法来建立语言模型。第二阶段是神经网络语言模型，即使用神经网络来建立语言模型，先后出现了许多经典模型，包括前馈神经网络语言模型、循环神经网络语言模型等等。特别地，随着2017年Transformer模型的出现，研究者们也开始使用Transformer模型来构建预训练语言模型，也就是ChatGPT的前身GPT。
“而GPT本身的发展就历经了多个不同版本，有1.0、2.0、3.0、3.5版本，除了3.5版本，每个版本都比以前版本在模型参数和训练数据规模上有显著增加，因此模型能力也有显著提升。例如，3.0版本的训练数据规模是GPT1.0版本的1万倍，而模型参数是1.0版本的1500倍，达到了1750亿。”苏劲松介绍。
“目前大家谈论最多的ChatGPT是基于GPT3.5。该版本是在3.0版本的基础上进一步加入了特殊技术，例如指令微调、思维链、人类反馈强化学习等，来优化模型训练。相比其他模型，ChatGPT处理不同自然语言任务的通用能力、人机交互对话方式，以及高质量的文本生成能力都给我们带来了耳目一新的感觉，引起了大家的广泛关注。虽然它（距离）人类智能还很遥远，但是不可否认它的出现确实是人工智能、自然语言处理发展的标志性事件。”苏劲松说。
我们也需要自己的ChatGPT
“可以看到，ChatGPT产生了巨大的影响。搜索引擎、对话机器人等领域已经出现基于ChatGPT的商业应用产品。比如，微软近期推出的NewBing搜索引擎给大家带来了全新的体验，相信在其他领域，例如智慧教育，智慧金融，未来还会有更多与类ChatGPT模型深度融合的商业应用涌现出来，不断改变人们的生活。”苏劲松说。
“因此，在这一波人工智能产业变革中，不论是出于我国信息安全的需要，还是国内人工智能产业发展的考虑，我们都需要自己的ChatGPT。”苏劲松表示。
苏劲松认为，在这方面，国内许多互联网公司都认识到了，纷纷推出自研ChatGPT的计划。例如，百度二月初官宣百度版ChatGPT——“文心一言”将于三月份向公众开放；阿里达摩院也宣布，阿里多模态版ChatGPT也已经进入内部测试阶段。
“可以说，研发中国版ChatGPT成为大家的共识。目前，国内互联网公司经过多年的发展，在人工智能的三要素算力、算法和数据上都有了较好的积累，因此他们能够对自研ChatGPT的需求做出快速响应。然而，随着对类ChatGPT大模型智能化需求的提高，模型训练算力和数据需求、技术创新需求也在不断提升，我们仍亟需加强这几方面的建设投入。”苏劲松表示。
“此外，我们也注意到ChatGPT也会给学术界带来巨大的影响。一方面，由于ChatGPT在任务建模方面的统一性和通用性，传统以任务定义为界限的研究壁垒将进一步被打破，更多研究者将同时投入ChatGPT这类大模型研究中，这将有力促进自然语言处理及其相关领域研究更快速地发展。”苏劲松称。
“另外一方面，由于大模型研究计算资源和训练数据的限制，高校和科研院所也将面临较大的科研条件压力。对此，我认为高校和科研院所的优势在于能够源源不断培养紧跟前沿技术的人才，一种比较可行的方式是高校和科研院所和互联网公司组成联合科研团队，直面大模型产业落地的实际难题，并持续展开攻关研究。这样既可以争取产业资源的支持开展更具科研意义和应用价值的研究，也能进一步提高人才培养的质量。”苏劲松称。
ChatGPT优秀，但离真正的智能还很远
厦门大学在人工智能领域的研究有着悠久历史。早在上世纪80年代，厦门大学就开始了自然语言处理研究。
苏劲松自入职厦门大学以来，一直从事自然语言处理、文本生成、大模型预训练的科学研究，在模型设计、模型轻量化、模型知识迁移等方面取得了一系列重要进展，他培养的学生也广泛就职于各大互联网公司。目前他所带领的团队正和国内的某互联网公司开展密切合作，对类ChatGPT大模型的关键技术展开研究。
在苏劲松看来，ChatGPT仍然有很多方面需要改进。比较明显的缺陷包括以下几方面：
“虽然ChatGPT能够对任意的问题都给出看似合理的回答，但其中也不乏一些胡编乱造的回答。例如ChatGPT会认为杜甫和杜牧是同一个人。”苏劲松称。
同时，ChatGPT解决较为复杂的数学应用题的能力仍然有待提升。
此外，当前的ChatGPT模型是面向文本的模型。而如果它要成为一个能力更强的智能体，那么它必须要具备感知处理多模态信息的能力。在这方面，阿里已经做了不少尝试，他们即将推出的类ChatGPT大模型值得期待。
“现在的ChatGPT只采用了2021年以前的训练数据，因而它无法掌握此后的事件信息；受到训练数据的影响，ChatGPT也容易产生具有偏见的文本；最后需要注意的是，通过设计一些特别的输入，ChatGPT会产生一些具有危害性的输出。尽管OpenAI已经对模型做了一定优化，但是仍然无法完全避免。”苏劲松表示。
“可以说，ChatGPT优秀，但离真正的智能还很远，我们需要打造更加智能的中国版ChatGPT。”苏劲松表示。
封面图片来源：受访者供图
每日经济新闻