从AlphaGo到ChatGPT，对现象级人工智能科技创新的思考 ｜ 吴飞教授

原标题：从AlphaGo到ChatGPT，对现象级人工智能科技创新的思考 ｜ 吴飞教授

吴飞：浙江大学求是特聘教授，博士生导师。主要研究领域为人工智能、多媒体分析与检索和统计学习理论。吴老师是浙江大学人工智能研究所所长、美国加州大学伯克利分校统计系访问学者。国家杰出青年科学基金获得者、入选“高校计算机专业优秀教师奖励计划”、宝钢优秀教师奖，曾任教育部人工智能科技创新专家组工作组组长、现任科技部科技创新2030“新一代人工智能”重大科技项目指南编制专家、《中国人工智能2.0发展战略研究》执笔人之一。

吴教授著有《人工智能导论：模型与算法》（高等教育出版社）和浙教版普通高中教科书信息技术选择性必修教材《人工智能初步》（浙江教育出版社）等教材。

在中国大学MOOC（爱课程）开设国家级一流本科课程（线上课程）《人工智能：模型与算法》慕课个人主页：

https://www.xmol.com/university/faculty/243543

“我判断ChatGPT会成为人工智能时代一种新的信息系统入口。当前我们还在通过windows或者iPhone这样的操作系统来访问信息世界，也许今后我们就只能需要通过ChatGPT来访问信息世界，所以它起到了入口的作用。”浙江大学计算机科学与技术学院吴飞教授，在3月5日的“AIGC+元宇宙”沙龙中说道。

在本次沙龙中，吴飞教授对人工智能的发展历程和技术路线做了详细介绍，并对以ChatGPT为代表的人工智能对人类生活的意义进行了预测分析，以下是演讲摘要：

01

人工智能崛起：两落三起

第三次人工智能崛起的主要特点是数据驱动的机器学习，及人工智能技术的魅力焕发。今天人工智能崛起主要来自于外部驱动力，包括信息环境巨变、社会新需求爆发、AI技术和目标巨变等。目前“人工智能浪潮”火热的一个根本原因，就是由于深度学习的兴起。

02

从神经元到深度神经网络

深度神经网络的基本单元是神经元。1943年，两位名叫沃伦和皮兹的学者，用数学方程表达了一个神经元工作的机理，即某一个神经元把它前向连接的所有神经元的能量通过加权累加、非线性变换，把该神经元的能量向后续神经元输出。

1955年，人工智能研讨会表明过，所有的活动必须清晰描述才能为机器所模拟。当我们得知人类神经元的工作机理，会发现把能量进行加权累加，可用编程语言实现，非线性变换也可用非线性映射函数来表达，因此神经网络得以通过模拟人类大脑以期能够实现类人工智能。

如果一个神经元是这么工作的，把所有的神经元前后连接起来，是不是就能形成一个深度神经网络？这就是深度学习的基本架构。对于深度学习，只要给出了海量的数据，不断去刺激每个神经元，记住向它输送能量的神经元之间的强弱连接，就可以输出相应结果。

比如，我们用10万张狗的图像不断去刺激所设立的神经网络，最终它输出了狗的文本语义。从狗的图像到狗的文本语义，这是一个“大变活人”的工作。也就是说要把它从像素点空间映射到文本语义空间，可以想象这个“大变活人”的非线性映射函数是多么复杂厉害。

刚才我们说一个神经元是执行了一次非线性映射操作，而当成千上万个神经元连接起来，这种非线性映射的能力就非常可怕了，它可以把一个图像映射为一个狗，并且输出狗的概率最大。可以说，深度神经网络在大数据的驱动之下，以洪荒之力“大变活人”，把像素点空间的数据映射为狗的文本语义，实现了深度学习概率输出、识人辨物的工作。

至于AlphaGo，通过蒙特卡罗树搜索和深度卷积神经网络等技术，进行强化学习的监督学习进行了自我训练，使自己越来越强大。AlphaGo的横空出世，其意义不只是表明在围棋领域，人工智能已经全面碾压人类棋手，更是使曾经淡出大众视野的人工智能再次火热，并迅速扩散到学术界和产业界，由此开启了一场可以称之为“智能革命”的新技术革命的序幕。

在这股浪潮下，浙江大学潘云鹤院士承担了中国工程院《中国人工智能2.0发展战略研究》的重大咨询项目。2017年7月20日，国务院向社会发布国家《新一代人工智能发展规划》。回顾历史，AlphaGo和ChatGPT都是现象级产品。AlphaGo推动了国家发布新一代人工智能发展规划，相信ChatGPT也会推动人工智能向更深入、更赋能、更人性化的方向发展

03

“人工智能的施予者”

ChatGPT的核心“武器”是transformer，即它要去学习任意单词和其他单词在同一个序列之间共同出现的概率。一旦transformer学习出海量的单词与单词之间，因为何种原因共同出现的概率，就可以进行内容合成。于是你给出一个单词，就可以通过查找巨大的关联概率图，然后去生成后一个单词。transformer一词没有中文翻译，美国有部电影《变形金刚》，名字就叫transformer。所以大家可以把它理解成“大变活人”的非线性映射机器。

至于如何训练ChatGPT呢，是通过自监督学习。当我们给出一个句子，把句子里面的某一个单词去掉，让这一个模型自己来完成完形填空，从而把它的模型参数优化出来，掌握单词和单词在句中出现的上下文关系，依据这种关联进行填空。

同时我们还要教会ChatGPT说人话，也就是生成以知识模板为特点的提示学习，简单理解就是我们教机器很多语句。比如说“我很喜欢这部电影，因为电影呈现的剧情很精彩”这句话，我把“很精彩”去掉，然后让ChatGPT去预测“很精彩”这个词。当我们构造这种说人话、说套话的句子，就可以让ChatGPT不仅能产生单词，还能学习由单词所组成的句子与句子之间的自然度和顺畅度。

这项工作被称为提示样例工程师。现在互联网上已经有这项新工作的工种了，他们把这个岗位称为“人工智能的施予者”，年薪很高，大约在25万-35 万美元。因为只有懂AI的人才能当“AI的施予者”，能生成知识模板，所以它不是一个普通的工作，而是一个具有一定智慧能力的工作。然后再辅以人类反馈的强化学习，让人的反馈来教机器进一步提升性能。

因此在这样的技术构造过程中，数据是燃料，模型是引擎，创意是加速器，ChatGPT按照“共生则关联”实现了统计关联关系挖掘。当它学会了把任意一个单词和其他单词之间能够产生关联关系的隐性的统计概率，就能够生成语言。

04

计算独大，机理式微

我们知道ChatGPT的前身叫GPT-3，它总共有1750亿个参数。那么这1750亿个的参数分布在什么位置？

这里我给了一个例子，比如现在输入“项庄舞剑意在——”，去掉了这一个单词，我让它预测“意在沛公”。

这1750亿个单词是这样构成的：首先GPT-3把它学习得到的5万多个单词均表达成了12288维的词向量。这个词向量是非常庞大的，它使得每个单词的表达能力更加具有表现力。

比如说，我来自浙江大学，“浙江大学”这个单词就会和“求职精神”关联，会和“985”“ 211”关联，会和“杭州”关联，会和“竺可桢”关联。“浙江大学”这个单词被表达了12288维，每一个维度都把“浙江大学”这个单词和它应该在大数据语料库里面应该关联的其他单词关联起来。上述例子是第一类模型参数，它占1%。

第二类的模型参数是注意力参数。GPT-3设置了96种注意力机制，去捕获单词和单词在语料库里面的关联关系，它占了30%。

最多的模型参数是前向反馈、前向传递参数。大家可以把它理解为深度学习，它属于步步为营，层层递进，逐层抽象，而不是像猪八戒吃人参果一样一口都就吞下去了，所以它是一步一步往前进行学习，这种学习的参数叫前项传递参数。

以上这三类参数，使得 GPT-3学习了单词和单词如何进行关联，我把它称为计算独大、机理式微。

05

《more is different》

我们也不可否认ChatGPT体现了涌现能力。所谓的涌现就是在小规模的模型中，这种能力未能发现，在大规模的模型之中能力突然迸发的现象。上图体现了它在百亿级参数下，能力突然迸发的现象。但是研究也表明，我们尚无法判断它在哪些任务中具有涌现能力，并且我们还发现，它的逻辑推理和因果推断的表现能力最低，这说明ChatGPT未能掌握知其然且知其所以然的因果关系。

诺贝尔物理学奖得主安德森曾经于1972年在科学杂志发表了一篇题为《more is different》的论文，指出“多者异也”在小规模范围未曾体现，若将小规模进行累加形成大规模，就会具有涌现能力。安德森同时指出，还原论假说从来都不意味着建构论假说。“涌现”的特质与适应性、加成性的“结果”是有区别的，所以我们至今仍无法理解为什么ChatGPT具有涌现能力。

另外，我判断ChatGPT会成为人工智能时代一种新的信息系统入口。当前我们还在通过windows或者iPhone这样的操作系统来访问信息世界，也许今后我们就只能需要通过ChatGPT来访问信息世界，所以它起到了入口的作用。

此外，由于ChatGPT学习到了单词与单词之间的关联统计关系，所以它还是一种概率知识图谱，以后会成为一种新的知识调用工具。

本篇文章由吴飞教授在3月5日“AIGC+元宇宙”主题沙龙上的演讲整理而成。“AIGC+元宇宙”主题沙龙是由清华大学新闻与传播学院元宇宙文化实验室主办，中文在线数字出版集团股份有限公司、南京江宁高新区管委会、教育领域融合出版知识挖掘与服务重点实验室（清华大学出版社）协办的主题沙龙。

关注“清元宇宙”公众号，持续获取后续主题演讲内容~

ChatGPT 问答

问

ChatGPT会成为日后新的信息访问入口么?

答

作为一种自然语言处理技术的代表,ChatGPT已经在许多领域中展现出了强大的应用潜力。

ChatGPT可以通过与人类进行自然语言交互的方式,为用户提供高效、智能的信息获取服务。因此, ChatGPT有望成为未来新的信息访问入口之一。

未来,ChatGPT可以通过智能语音助手、智能客服等多种形式与用户进行交互。提供高质量的问答服务、语言翻译、信息检索等功能。此外, ChatGPT还可以与其他技术结合,例如图像识别、推荐系统等，为用户提供更加个性化、定制化的服务。同时,随着技术的不断发展,ChatGPT还可以通过不断学习和训练,提高自身的能力,从而进一步提高服务质量和用户满意程度。

然而,目前的ChatGPT技术还存在许多局限性,例如对于一些复杂的问题。需要更深入的领域专业知识才能够准确回答,此外，ChatGPT技术也存在着一些隐私和安全方面的问题,需要注意保护用户的隐私和安全,因此，ChatGPT还需要不断地完善和发展，才能成为未来新的信息访问入口之一。

排版：骆伟玲

图片源于Q仔互联网冲浪所得，若有侵权，后台联系，Q仔滑跪删除~