田渊栋：关于GPT-4的一些感想

对于研究者们而言，GPT-4的出现意味着什么呢？OpenAI昨天发布了GPT-4，试用了一下确实很不错。

在我主要关心的故事生成方面，与ChatGPT生成出来的故事相比，GPT-4文笔更佳细节更多，更擅长生动具体的描绘，情节也开始出现一些有趣的转折。当然，ChatGPT有的问题，比如说缺乏整体布局谋篇能力，角色不突出，叙事展开比较无聊，续写段落会很快归于一个平庸的结尾等等，在GPT-4上面仍然存在。

从它的性能报告上来看，与GRE verbal接近满分相比，GRE写作只有4分，大学预修英语写作也只有2分（3分及格），而且从GPT-3到4没有进步，不知道是不是和这些问题有关联。

但不管怎么说，GPT-4已经能帮我们干很多日常工作了。自从2013年深度学习开始爆发以来，仅仅过了十年，我们就有了如此强力的工具，其进化速度可以说是超出想象。

2017年我在为什么有些学数学的看不惯甚至鄙视 Deep Learning？这个回答里面写了一些大胆的猜测，比如说“漫漫长夜里瞎摸，太阳还没有露头”，现在看起来这些预测还是大体正确的，只是想不到，这一天会那么快到来。

一个技术，一旦变成像微积分一样的通用工具，那接下来带来的巨大变革，是可以预期的。

如果再把眼光放得长远些，将来会发生什么事呢？

我在2020年左右也有一些思考，放在自己的科幻小说里了。总的来说，如果这样的趋势发展到极致，再加上连实物产品的制造都可以就地取材完全自动化，那最后的结果就是「所思即所得」：只要能构思出一个东西，它就会以极低的成本出现在自己的面前。

大部分重复性劳动，只要可以被机器无限制复制，其价值就会降到近乎为零，成为和水和空气一样无所不在的公共品。

在这种条件下，「独一无二」就会成为大家所珍视的价值和意义。也许以后，判断人才的主要因素，不再是完成学位，考试过关，而是看个人的经历和成就。

「同样的目标下比别人做得更好」是一种独一无二，「去往从未有人去过的方向」也是一种独一无二。这不仅包括同行认可的学术成就，比如解开无人能解的难题，开创并探索一个新的学术方向，更包括独一无二的经验、见解、思考方式，乃至三观，比如说一个拄着拐杖徒步探险过南极的程序员，他/她对这个世界会有什么样的观点，见解和感悟？一个曾自制火箭去往月球但中途失控，又奇迹被救的历史系学生，将在自传里如何讲述这段经历？

这些与个人特质紧密结合的话语权，会让每个人都能占据人类社会中的一个独特生态位，成为「人之为人」最终的定海神针。即便是将来意识能够上传，数字孪生能够实现，这种独特人格仍然是无法复制的——完全相同的个体，只要变成了两个并开始各自接受不同的外界信号刺激，他们内部的状态就会因更新而不同，轨迹就会开始分叉，从而再次变得独一无二。

总的来说，每个人都通过自身的「道」来证明自己的选择，又因为过去的选择，来累计自己独一无二的特质。无法预先判断谁比谁更优秀，因为计算这个判定函数本身，就需要个体践行自己的道路。而无数的，坚持各自方向的人聚在一起，就会不断涌现出各种奇妙的想法，有一些被实践证明正确的，就会影响到他人并且吸引到追随者。而包含这些所有个体的，一个多元包容的世界，就会充满前进的动力。

扯远了。

对于研究者们而言，GPT-4的出现意味着什么呢？

我们有两种极端的选择，其一是关起门来，不听不看，沿用旧的思维惯性去构思研究路线，继续发表下一篇文章；也可以从此百分百抛弃以前的研究思路，撕掉所有课本，相信算力为王，大模型大数据就是一切。

我觉得这两种态度都不可取。研究的范式要有变化，不再是发现特定的知识，而是研究模型学习的机制，寻求其学习能力的本源。比如说通过海量的数据训练，现有的模型可以自动学会很多概念。

但模型是如何学会这个概念的，为什么大模型会学得更快更好，它怎样从数据中被发现，被模型抓住并且在训练中不断被强化？高级的概念是如何形成的？现有的模型如何抓住这些概念，以什么样的机制抓住它们？我觉得这些可能是在长远上来看，真正有意义的基础研究方向，也是把”人工智能“这个玄学，真正转化成科学的最终出口。

当然了，这些应该说是几十年的尺度上看的，要做这些研究，需要大量的基础知识，充足的耐心，擅长接受超出自己认知范围内的新生事物，又能把它融入原本的工作流和研究思路中去。

这可以算是自己在研究上独一无二的「定海神针」吧，希望能够继续走下去。

参考资料：

https://zhuanlan.zhihu.com/p/614458786