陈根：ChatGPT的火爆之下，NLP技术路向何方？
文/陈根
从2022年末到了2023年初，ChatGPT火遍了全网。
12月1日，OpenAI发布了NLP（自然语言识别）新模型ChatGPT，由于ChatGPT 的能力过于惊艳，因此，仅上线 5 天，ChatGPT就吸引了 100 万用户。
很多人形容它是一个真正的“六边形战士”——不仅能拿来聊天、搜索、做翻译，还能撰写诗词、论文和代码，甚至开发小游戏、参加美国高考等等，连马斯克也感叹：“我们离强大到危险的人工智能不远了”。
实际上，近几年，语言对话大模型的研究一直是人工智能的热门，人们期待NLP技术能给我们带来惊喜和颠覆，那么，ChatGPT的火爆之下，NLP技术的发展又路向何方？
从GPT-3到ChatGPT
ChatGPT与GPT-3一样，同属于OpenAI。在GPT-3刚问世时，也曾引起相似的轰动。
当时，GPT-3也展示出了包括答题、翻译、写文章，甚至是数学计算和编写代码等多种能力。由GPT-3所写的文章几乎达到了以假乱真的地步，在 OpenAI 的测试中，人类评估人员也很难判断出这篇新闻的真假，检测准确率仅为 12%。GPT-3被认为是当时最强大的语言模型，甚至有网友评价GPT-3“无所不能”。
但现在，ChatGPT模型看起来似乎比GPT-3模型还要强大。对于开放性问题的回答，ChatGPT可以有条理、有层次的给开放性问题一个方案。ChatGPT还能够尝试用第一人称进行对话。可以说，ChatGPT不仅具备GPT-3已有的能力，还敢于质疑不正确的前提和假设、主动承认错误以及一些无法回答的问题、主动拒绝不合理的问题、提升了对用户意图的理解以及结果的准确性。
目前，已经有网友尝试让ChatGPT参加美国高考；诱骗ChatGPT规划如何毁灭世界；甚至让ChatGPT扮演OpenAI，在系统内构建ChatGPT套娃。
强悍的功能背后，技术并不神秘。本质上，ChatGPT是一个出色的NLP（自然语言识别）新模型。当大多数人听到自然语言处理(NLP)时，他们首先想到的是Alexa和Siri这样的语音助手。因为NLP基础功能就是让机器理解人类的输入（也就是人机交互），但这只是该技术的冰山一角。事实上，NLP最有影响力的应用根本不涉及语言。NLP技术是人工智能(AI)和机器学习(ML)的子集，专注于让计算机处理和理解人类语言。虽然语音是语言处理的一部分，但自然语言处理最重要的进步在于它对书面文本的分析能力。
ChatGPT就是将海量的数据结合表达能力很强的Transformer模型结合，从而对自然语言进行了一个非常深度的建模。尽管GPT-3.5的相关数据并未被公开，但它的上一代GPT-3的整个神经网络就已经有1750亿个参数了。对于一个输入的句子，ChatGPT就是在这个模型参数的作用下生成一个回复。而transformer模型则是一个比早几十年探索的简单的词汇序列神经网络复杂得多的模型，其主导思想是注意力机制，通过这种思想，一个位置的表征被计算为其他位置的表征的加权组合。
实际上，ChatGPT就是基于GPT-3的进一步创新。ChatGPT是OpenAI原创性自动问答系统InstructGPT的延续，建立在GPT-3的后续改进版本GPT-3.5基础上，通过引入强化学习模型，大幅提高了人工智能在人机对话时的准确度和可控性——与之前的GPT3不同，相比于此前海量学习数据进行训练，ChatGPT中，人对结果的反馈成为了AI学习过程中的一部分。
简单来理解，OpenAI在2020年发布的GPT-3，让计算机第一次拥有了惟妙惟肖模仿人类“说话”的能力，不过，当时的AI虽然啥都会说，但也啥都不顾忌，以至于观点和逻辑常常出现错误和混乱。而OpenAI引入了人类监督员，专门“教”AI如何更好地回答人类问题。AI的回答符合人类评价标准时，就给AI打高分，否则就给AI打低分。这使得AI能够按照人类价值观优化数据和参数。
不是根本性的突破
虽然ChatGPT模型比GPT-3模型的性能又提高了一个层次，但实际上，ChatGPT和GPT-3都还不是根本性的突破。
ChatGPT和GPT-3类似人类的输出和惊人的通用性只是优秀技术的结果，而不是真正的聪明。不管是过去的GPT-3还是现在的ChatGPT，仍然会犯一些可笑的错误，这也是这一类方法难以避免的弊端，因为它本质上只是通过概率最大化不断生成数据而已，而不是通过逻辑推理来生成回复。
虽然这种编造和杜撰在有些领域可能是非常有用的，很多游戏开发者、科幻作者、美术工作者就经常用AI来启发自己的思路，但这在需要准确回答具体问题的应用场景来说是致命伤。
我们可以想象下，一台内容创作成本接近于零，正确度80%左右，对非专业人士的迷惑程度接近100%的巨型机器，用超过人类作者千百万倍的产出速度接管所有百科全书编撰，回答所有知乎问题，这对人们认知的危害将是巨大的。
为此，ChatGPT也遭到了不同机构的封禁。前段时间就有 Stack Overflow 封禁 ChatGPT 的消息满天飞，原因很简单，官方表示暂时封禁 ChatGPT 是因为它生成的答案正确率太低，发布由 ChatGPT 创建的答案对网站和查询正确答案的用户来说是非常有害的。
此外，顶级人工智能会议也开始禁止使用 ChatGPT 和 AI 工具撰写的学术论文。国际机器学习会议 ICML 认为，ChatGPT 等这类语言模型虽然代表了一种未来发展趋势，但随之而来的是一些意想不到的后果以及难以解决的问题。ICML 表示，ChatGPT 接受公共数据的训练，这些数据通常是在未经同意的情况下收集的，出了问题难以找到负责的对象。
人们似乎对智能的标准很低。如果某样东西看起来很聪明，我们就很容易自欺欺人地认为它是聪明的。事实是，人工智能最厉害的伎俩就是让世界相信它是存在的。ChatGPT和GPT-3在这方面是一个巨大的飞跃，但它们仍然是人类制造出来的工具。
不仅如此，ChatGPT还面临着人工智能的传统弊病，那就是“算法黑箱”。在人工智能深度学习输入的数据和其输出的答案之间，存在着人们无法洞悉的“隐层”，它被称为“黑箱”。这里的“黑箱”并不只意味着不能观察，还意味着即使计算机试图向人们解释，人们也无法理解。
也就是说，人们无法根据输入数据准确预测“黑盒子”的输出结果，也无法精密控制“黑盒子”工作时的行为边界，这使得无论是程序错误，还是算法歧视，在ChatGPT的工作中，都变得难以识别。
此外，ChatGPT大模型如果应用肯定能取得比小模型更好的表现，但随之而来的是模型推理而带来的巨大算力成本。毕竟，ChatGPT想要走向市场，不能忽略的一个问题就是ChatGPT的经济性。一直以来，训练阶段的沉没成本过高，就导致人工智能应用早期很难从商业角度量化价值。随着算力的不断提高、场景的增多、翻倍的成本和能耗，人工智能的经济性将成为横梗在所有公司面前的问题。
NLP技术路向何方？
在过去的十年里，通过使用简单的人工神经网络计算，基于以GPU、TPU为代表的强大算力资源，并在巨量的数据上进行训练，自然语言处理（NLP）取得了令世人瞩目的成就和突破。由此产生的预训练语言模型，比如GPT-3和ChatGPT，提供了一个强大的通用语言理解和生成基础，将自然语言处理技术发展推向了新的高度，使自然语言处理技术在某些领域达到甚至超越了人类水平，它们可以很容易地迁移到许多语义理解、智能写作任务当中。
虽然现阶段NLP仍有诸多局限性，我们也仍然处于基础模型时代的早期，毕竟人类的语言是强大的，人们捕捉到的事物种类和隐喻性概念十分庞大，但是，对词汇的计数却是有限的，而人工智能却需要在有限的词汇中解读各种意义，比尔·盖茨曾说过，“语言理解是人工智能皇冠上的明珠”，要达到这样的高度，显然还需要技术和应用上的突破发展，但这丝毫不影响NLP在进化过程中不断解决和弱化这些问题。
未来，或许还会出现比ChatGPT更进一步的模型，能够非常轻易地处理所有重复性的语言文字工作，以及所有启发性的艺术创作。
要知道，许多重复性的语言文字工作，其实根本不需要复杂的逻辑思考或顶层决策判断。比如接听电话或者处理邮件，以及帮助客户订旅馆、订餐的语言文字工作，根据固定格式把数据、信息填入合同、财报、市场分析报告、事实性新闻报道内的工作，在现有文字材料里提炼大纲、梳理要点的工作，将会议的实时文字记录提炼成会以简报，撰写一些流程性、程式化文章的工作等等。这些工作，都是基于ChatGPT或其他大模型的产品可以应用的场景。
此外，如今，ChatGPT已经让我们看到了它的创造性——无论是AI对话、AI写文章还是AI作画，大规模预训练模型固有的非确定性、发散性、天马行空的特点，恰好可以成为激发人类灵感的好帮手。未来，需要创作广告文案或商业展示的市场工作，需要发散性地探索不同故事路线的电影编剧工作，需要极大丰富视觉感受的游戏场景设计工作，或许也将充满NLP的身影。
李开复曾经提过一个观点——思考不超过5秒的工作，在未来一定会被AI取代。现在来看，在某些领域，ChatGPT现在就已远远超过“思考5秒”这个标准了，并且，随着它的持续进化，ChatGPT以及NLP技术可能产生的潜力还会超越不少人的想象。
2016年9月，AlphaGo打败欧洲围棋冠军之后，包括李开复在内的多位行业学者专家都认为AlphaGo要进一步打败世界冠军李世石希望不大。但后来的结果是，仅仅6个月后，AlphaGo就轻易打败了李世石，并且在输了一场之后再无败绩，这种进化速度让人瞠目结舌。而现在，NLP技术正在复刻AlphaGo的进化速度，向未来狂奔而去。