从语言模型角度看，ChatGPT 的天花板非常低，还有很多红利
从语言模型角度看，ChatGPT 的天花板非常低，还有很多红利
ChatGPT在工业界刮起商业化的与资本风潮的前提下，也帮自然语言理解（NLP）科学研究界抛出了诸多问题，NLP已经再次变成最热科学研究领域之一，但还在遭遇以ChatGPT为代表规模性预训练语言表达模型带来的冲击，ChatGPT应该如何重构NLP技术性？NLP的下一步应该怎么走？
在2月24日深圳人才研修院由鹏城实验室承办的第四届OpenI/O启智教育开发者大会上，张民专家教授进行了名为《语言智能与机器翻译》的主题演讲，对这一问题进行了深入的探索。
张民教授在1991年至1997年于哈尔滨工程大学依次获学士、硕士和博士学士学位，主要从事自然语言理解、计算机翻译和人工智能研究。在此次演讲中他提到ChatGPT其背后的NLP技术性，在他看来ChatGPT是一个技术性、数据信息、算率和工程架构设计结合的复杂系统，它能力是来自于基本模型、命令学习与增强学习。NLP人要有复杂系统的思想。
他认为，ChatGPT给NLP学者所带来的并不是威协，反而是为NLP带来了新机会、新研究范式，可更切实解决NLP难题，与此同时增加了NLP研究方向，为NLP行业给出了大量待解决的出题，如科学研究新一代语言表达大模型、确保模型的可信和安全、提升模型错综复杂的逻辑推理能力和可解释性、提高模型对人类意志的学习培训、发展趋势多模态大模型这些。
以下属于张民专家教授此次主题演讲的全文，AI高新科技评价做了不更改本意的编辑：
1
ChatGPT：NLP 科技的一大步
开启了通用性AI大门
在讨论此次总结报告以前，我就先就ChatGPT谈一些见解。
第一，要一致认可、相拥、追踪而非盲目跟风跨世代以ChatGPT为首的新一代NLP/AI技术性。
第二，追踪以后，需在OpenAI的这个小模型前提下做创新能力科学研究。好多人担忧，在模型的年代，NLP是否无需再进行了，实际上根本不是，大家要做的事大量，并且很多。
大伙儿想一下我们自己的人的大脑是如何学习外语的，3岁小孩的表达能力已经非常强大了，但人的大脑仅有5%的神经细胞被激活开展语言表达有关活动，孩子是如何做到举一反三的？大家人类学知识是真真正正来理解，自顶向下和自底向上紧密结合的学习方法，具备诠释、梳理、逻辑推理、想到、举一反三的能力。而ChatGPT是自底向上学习培训。因此将来的语言表达模型一定不是ChatGPT这个样。
此次汇报要说的，是我觉得将来5至10年甚至20年以ChatGPT为代表NLP要解决的问题。先讲的什么是ChatGPT，再说什么是语言模型、ChatGPT会给NLP什么启发。
最先而言什么叫ChatGPT。第一点，ChatGPT做的事就是使设备像人一样和人会话、沟通交流。自然语言理解是人类沟通交流最简单、最主要的媒体，知识是用于叙述知识与传承文化的一种手段。因而，ChatGPT很快被大家快速接纳，所以ChatGPT是人类网络投票投出来的，那也是ChatGPT可以如此之潮的一个很重要的缘故。
ChatGPT本质上是规模性预训练语言表达模型，是一个统一的、简约大模型，这也是第二点。
第三个关键环节，便是ChatGPT做出来的是一个NLP难题，可是大家一定要意识到了它是一个技术性 数据信息 算率 工程结构的复杂系统。
常常有人问，ChatGPT带给我们的经验是什么？我简单地讲，自然语言理解干三件事：让机器听得懂人话（了解）、讲人话（形成）、干人事部门（运用）。随之，ChatGPT的震撼之处是什么？第一，比较强的语言逻辑能力和形成能力，了解人类的用意，随后高谈阔论，娓娓而谈；第二，它会把伦理道德、社会道德等方面不合理具体内容除掉，同时可拒绝回答；第三，它用了三项技术性，包含表示学习、注意力机制与学习人类信念，没有这种技术性就没有大模型，也没有ChatGPT。
非严苛讲，“学习培训人类信念”是ChatGPT这种模型所特有的，这一说法听上去逼格很高，本身就是根据优化算法调节模型主要参数，从而让机器知道究竟需要设备干什么、如何可以做好。
ChatGPT理论基础是什么？也是从语料库当初中物品。语料库数据信息里边能蕴含是多少专业知识，ChatGPT较多就能有着是多少专业知识。从这一点来看，ChatGPT所以也是一个知识工程。因此词库应用语言学、认知语言学和计算语言学是ChatGPT的语言学理论基本。如果你相信语言表达可以表述专业知识，那样ChatGPT就能学好在其中的基础知识。
因此我们对ChatGPT的一个评价是：NLP科技的一大步，打开了AGI（通用人工智能）的一扇门。
2
ChatGPT 其背后的语言表达模型
只需登过初中、学习过汉语或英文，大家也就都懂，语言表达模型包含词、语句、语法结构、词义和章节等各个方面。从另外一个角度来讲，语言表达模型包含好几种表明方式，例如产生式、逻辑性、谓词、架构这些。从专业知识描述的角度来看，语言表达模型则包括标准、统计和神经元网络的办法。
抽象化讲，语言表达模型是电子计算机表明与处理自然语言理解的数学模型。语言表达模型是一个单一的、统一的、抽象的流于形式系统软件，自然语言理解通过语言表达模型的描写，就能被电子计算机解决了，因而语言表达模型针对自然语言理解至关重要。
大伙儿想一想，为何就做这一件事就能够完成繁杂会话？仅仅这么简单地预测分析下一个词，为什么它就能那么震撼，可以发表文章、会话、程序编程、造表这些？有一个经典“小猴子打印机谬论”，假如你给一个猴子无尽长一段时间，让它在电脑键盘上敲击，它就能在某个时间点写下一部莎士比亚全集。这是没有错的，从数学课的角度讲一定能完成。
ChatGPT就等于是一只猴子，把词随意地组合在一起，但ChatGPT的好处是什么？小猴子必须无尽长一段时间，它还并不了解搞出哪个字最好是，而ChatGPT有比较强的预测分析下一个词汇的能力，只需给他前文，它就能为下一个词开展免费预测。ChatGPT写一篇论文时，给人的感觉是一气呵成，事实上此刻它绝不是简单的给出前一个N个词预测分析下一个词，反而是早已暗含在英语模型中地编号了本文的构造。写一篇期刊论文一定要合理布局好结构，ChatGPT就是按照这一合理布局来相关工作的。ChatGPT最擅长的事情便是创作，高谈阔论，“编童话故事”。
那样ChatGPT的基本原理究竟是什么？有三个方面：基本模型，命令学习培训，增强学习。
基本模型使ChatGPT具有强悍的能力。拥有能力便是拥有力量，但是有了力量还不清楚究竟能干什么，命令学习是为了让模型了解做什么，增强学习乃是让模型干的更强。还有一个人类意见反馈，即奖赏模型，就是为了加强学习用的，用奖赏模型去干增强学习，期待ChatGPT保证跟人类一样、合乎人类的信念。如同高文老师教的，ChatGPT太取悦人类，表面看都是这样，但因为我觉得难点在于训练数据、奖赏模型和增强学习的指引及其社会道德的影响因素，造成它太像人类。
ChatGPT的核心技术主要有两个，一个是基本模型，一个应该是基本模型的人类信念两端对齐调整。至少从互动的角度来看，调整是非常有效的。调整可以做到什么效果？从互动的角度讲，它会使本来13B的模型特性做到175B模型的水准，提升10倍。但从专业知识的角度讲，13B的模型专业知识贫乏，讲的再甜言蜜语也无济于事。
3
大模型时期，NLP 如何做？
目前来说，ChatGPT不可以做的、干错的，比它能干的多得多。但大家要坚信一点，ChatGPT技术性刚发生，这些不可以做的许多问题能很快处理。
与此同时，我们也要见到ChatGPT有其吊顶天花板，它确实是各种各样的问题，说一千道一万，ChatGPT自身模型能力比较有限，例如会有弹冠相庆问题。像针对“1 1=2”，ChatGPT并不是用计算器去算出来，反而是运用模型去预测分析1 1相当于几，2发生的几率大，因此它称之为2。假如你授予ChatGPT测算能力，那样所有数字四则运算难题他们都会。
我们要见到，ChatGPT天花板极低，可是在到达吊顶天花板以前，我们有很多收益。科学合理的发展终归是波浪形的。
再去谈一谈ChatGPT与语言智能和计算机翻译。正确的方向我已经进行了几十年了，但我觉得计算机翻译是比较容易被ChatGPT刷新的，一定是。人类做翻译情况下通过语言逻辑和产生的全过程，ChatGPT刚好具有极强的语言逻辑和形成能力。现阶段计算机翻译模型严苛依靠双语教学数据信息，把计算机翻译看作是一个投射全过程，而非认知和形成全过程。现阶段计算机翻译模型遭遇许多无法解决问题，关键在于双语教学数据信息少，也有精确性、章节、泛指、低网络资源行业领域语言、噪音等各种问题。各种问题理论与技术层面都能被大模型非常好处理。
再回答一下学界广泛关注的问题，在模型的年代怎么去做NLP？我归纳了12种情况，任何一个问题解决了我觉得都具有跨世代的价值。
一、新一代语言表达模型。Masked LM and GLM模型能力强，但模型的描写能力十分有限，本质上似乎是全部LM中叙述能力较弱的模型（除开BOW模型）。下一代可计算性比较强、叙述能力更强大的语言表达模型是啥？最少不仅具有强大形成能力。
二、大模型时代的发展自然语言理解深度了解（NLU）。最少从今天开始，每一个自然语言理解每日任务都不容易避开大模型。根据联接观念的符号主义方式应当是一个发展趋势。
三、可靠NLP。模型输出结果可靠、可验真。
四、可以信赖NLP。价值观念、社会道德、政冶、个人隐私、伦理道德等。
五、具备繁杂逻辑推理能力和可解释性NLP。联接主义和符号主义结合的方式。
六、知识建模、获得与使用。模型立即融进结构化知识，或是做为作用软件。
七、具备增量学习、不断学习、人们在控制回路能力的NLP。
八、小模型、模型编写、行业融入、行业模型、面对特殊运用和任务模型、人类迅速可干涉。
九、人类信念学习与两端对齐（物理学、人类系统软件与信息智能社会的两端对齐）。
十、NLP推动的多模态大模型。自然语言理解多形式偏重认知能力，但是其他多形式偏重认知。除开NLP大模型，多模态大模型更需要以NLP为指引或是基本。
十一、NLP大型工程和复杂系统的发展理念认知：优化算法模型、算率、数据信息、工程项目。
十二、开源系统、对外开放、分享、产业链、优秀人才、资产、政府部门、社会发展……
最终总结一下，一是特别感谢表示学习，有了这个以后NLP从离散数学模型进到持续数学课模型时期，获得强悍的数学软件的大力支持，例如可微、可微、神经元网络等随意持续数学函数；二是专注力和人机对战两端对齐体制，专注力线性拟合NLP的前后文。三是大，模型大、主要参数多、数据量大，由量变产生质变，不断涌现各种各样能力。但是这些刚刚开始，考试成绩多，难题大量，我们可以干的事很多。下一代模型的创新将高速发展，真真正正迈进通用人工智能。大家也期望下一代电子计算机可以解决算率难题。学、产、研、用、资、政，大家一定要一起来做。