从本质看ChatGPT：当知识、人性、价值观皆可训练时，他会是天使还是魔鬼？

作者 | 高  文（华为ICT产业战略规划与发展部）

来源 | 华为、蓝血研究（lanxueyanjiu)

曾经，斯皮尔伯格的AI科幻电影《人工智能》震撼人心，让人怀疑人类的未来，机器人是人类演进的下一跳吗，我们这一代碳水人是否终将消失……

今天ChatGPT突然在现实中出现，让我们再次思考，这篇文章从本质出发，看看这个涉及AI的灵魂问题，能否找到答案……

关于ChatGPT的介绍很多，看看它自己的介绍：

01

AI的本质是什么？

有一段关于AI本质的讨论：

今天AI主流的基础技术是深度神经网络。什么是深度神经网络?

我们先回忆一下方程参数求解：

深度神经网络，其实就是很多个类似上图的方程组合起来的网络，x，y是我们说的数据，通过数据，求解出w, b 是多少，这就是AI的训练过程。

我们假定这个世界的任何事物都可以用一堆复杂的函数表示，那么求出w，b，就是找到了世界的客观规律。

今天AI的本质是一连串数学函数的组合，训练AI的过程就是找到参数(w, b)的随机组合，使得输入X，程序恰好能获得接近Y的输出。

从目前公开的各种信息分析，ChatGPT并没有重大的理论突破，所以其依然遵循前面描述的AI本质。“TA”不会思考，不会创新，只是将一大堆训练时输入的信息保存在了一连串的函数参数中，这些信息可以通过输入文字触发形成输出。

但大家为何对“TA”的出现如此惊讶呢？按照OpenAI自己的说法，原因之一是他们把一系列的技术组合成了一个让大众可以直接体验的产品，让大家亲身感受到了AI的强大。

OpenAI成立后，发布过一系列的成果、论文，在自然语言处理领域的GPT1、GPT2、GPT3、InstructGPT，每一次都在学术、产业产生了巨大影响，只是大众没有这么关注。“TA”的成长是有迹可循的，通过一步步的技术迭代才有了今天。

02

“TA”为何如此优秀？

今天的自然语言处理（NLP）到底是怎么炼成的？

以下描述参考了OpenAI相关论文以及台大李宏毅老师的分析，并作了简单化的呈现：

第一步：做完形填空／文字接龙，学到人类知识

简单解释上图，AI训练的过程，就是找到大量的文本资料，随机的挡住一些字，让机器去猜，通过一遍又一遍的迭代，直到猜的结果在一个满意的范围。

这就是“TA”的核心知识体系构建过程。可以想象一下，当“TA”“猜”完了世界上所有的书籍、文章、对话，“TA”实际就是学到了人类语言表达的方法、人类文字记录的知识与思想，这些信息都存在一张庞大的神经网络中，随时供调用。

这些知识存储在网络中，在特定的输入下，组合形成特定的输出:

既然可以回答问题，那么任意文字相关的处理任务，都可以转换成问答的形式来解决，比如写摘要、写短文、聊天……因为你可以对“TA”说：

Hi，帮我写一下这篇文章的摘要……

Hi，你再帮我用5年级小学生的口气写一篇春游、河边钓鱼的文章，500字……

Hi，……

第二步：满足人类喜好，输出让人类满意的结果

神经网络存储了很多的信息，AI并不知道是什么，需要文字输入来触发输出，每次的输出都是一个概率分布，简单理解就是输出的信息是随机的，因为学习的东西太多了，实际学习的数据也是千奇百怪。

AI实际是学会了一个概率函数，比如：

概率函数采样，可以给出不同的输出，就可以做各种不同类型的事情：

可以想象一下，如果你是一名老师，想出题，如何让他按照出题的模式来工作呢？针对某个特定的问题，对应的答案往往也不是唯一的，AI又是如何迎合人类喜好的呢？

我们可以训练另外一个叫AI二号的网络，对不同场景的不同回答打分。为了训练这个AI二号：1）人类训练者手工写了大量的问题和答案，再对不同的问答组合人工打分；2）训练AI二号，使AI的打分接近人类，这样AI便记住了人类喜欢什么样的答复，就像下面这样：

有了AI二号这个“人精”，我们就可以用AI二号代替人类去训练AI一号，让“TA”按照人类的要求输出了，就像下面这样：

这便是为何ChatGPT看起来如此“聪明”的重要原因。

人类可以根据自己的喜好，训练出自己想要的AI，这意味着知识、人性、价值观皆可训练

当“TA”的知识、人性、价值观皆可训练时，“TA”是什么？小朋友回答说，“TA”就是人

03

“TA”有什么黑科技？难在哪里？

“TA”并没有高不可攀的黑科技，“TA”的实现有很多公开的论文可以参考，网上也开始出现一些复刻的项目，这也是为何ChatGPT火爆后，很多厂商都能快速跟进的原因之一。

但，他又难在哪里呢？

1.创新

从公开的信息，很难发现ChatGPT有什么大巨大的创新，比如深度学习+强化学习的模式（可以理解成前面的AI一号+ AI二号的关系），早在2016 ~2017年Google的AlphaGo围棋大战李世石、柯洁的时候就用得炉火纯青了。

那么，ChatGPT有创新吗？

当然有，只是没有明显的表现出来，GPT1、GPT2、GPT3、InstructGPT、ChatGPT，每一次的迭代不知道要消耗多少开发者的脑细胞，我们说AI就像炼丹，炼丹的过程就是一个充满未知的探索过程，需要大量开脑洞的创新设计，并不断的尝试。ChatGPT的核心部分Transformer本身就是一个奇怪的架构，没有一颗奇思妙想、异想天开的心，是无法设计（或者说是试验）出那样的架构的，成功之前，可能还有成百上千个失败的架构。

AI领域并没有像欧拉、香农那样神奇的公式和理论，可以说目前就是没有基础理论支撑，你会接受这样没有边界、没有约束、天马行空的创新吗？

2.人才

创新的关键是人才，而关键人才在关键位置往往发挥了巨大作用，从而推动AI的发展，我们可以看看其中的一条故事线：

从人才的流动不难理解，为何在AlphoGo用得炉火纯青的深度+强化学习会成为ChatGPT成功的一个关键要素。

这只是众多人才线索的一条，“科技是第一生产力、人才是第一资源、创新是第一动力”，这句话在AI领域可能更加突出，因为AI需要更多的思考、悟性、脑洞，而且还是能熬得住痛苦、能坚持的那种。

3.资本

资本是一个非常关键的要素：

2015年OpenAI成立的初始基金就达10亿美元。

截至 2023 年 1 月，OpenAI 共获得了 110 亿美元的融资。

因为这是一个花钱的游戏：

有人估算GPT3的训练成本大约1200万美元。

微软为OpenAI提供的算力资源，超过285000个CPU内核，10000个GPU，与全球TOP500超级计算机相比，排名前五。

创新+人才+资本，这应该是ChatGPT出现的基础，或者说只出现在OpenAI，而没有出现在其它公司的原因……

4.数据

这是一个很值得讨论的问题，任何时候，大规模、高质量的数据都是ChatGPT这种大模型的基石。数据少或者有误导性，便会导致AI一本正经地胡说八道，就像广为流传的林黛玉倒拔垂杨柳的笑话：

微软Bing新的版本在取得更多的数据后和额外的判断后，最终找到了方向，见下图：

下图是自然语言训练常用的训练数据集，绝大数都是可以公开获取或者购买：

数据中语言主要是英语，其中互联网数据集英文占~46%,俄,、德、日、中文~5%左右，其它的数据集比如学术期刊、维基百科数据集英文质量也会高于其它语言。

今天的机器翻译已经能达到非常好的效果，用英文数据训练的模型，用中文问答问题也不大，但在一些对语言的准确度要求高的场景，可能会出现难以理解的情况，不过这应该不影响AI的整体表现。

如果需要回答的知识主要来自中文世界，在训练的时候又缺少中文数据， “TA”将根据随机采样的原则，输出不可信的结果。

04

在技术方面，“TA”有什么局限性？

ChatGPT并不完美，目前只是一个试验品，还不能称为一个正式的产品，所以我们在讨论局限性时，也需要用长远的、发展的目光看待“TA”：

1.一本正经地胡说八道

前面章节提到过这个问题，ChatGPT有时会写出看似合理但不正确或荒谬的答案。解决这个问题非常具有挑战性，因为：

在训练期间没有真实的数据来源

这个问题是致命的，学到的知识是编撰的，输出也必然是错误的。

训练模型的谨慎与用户满意度难以平衡

如果训练模型变得更谨慎，在不确定的情况下不回答问题，那么它可能会错过一些它能正确回答的问题，这样就会降低模型的效率和用户的满意度。但如果胡乱回答，可能会产生更坏的后果。

注：为避免出现一些令人震惊或者不恰当的回答，Bing版的ChatGPT比原始的ChatGPT更谨慎，有时候会拒绝回答一些看起来合理的问题，这会让使用者很不舒服。

人类的监督训练会误导模型，因为训练不是基于模型知道什么，而是人类演示者知道什么

使用监督学习(前面讲的AI二号)来训练模型，人类示范者给出正确的回答，那么模型可能会受到误导，因为人类示范者的回答取决于他们自己的知识和观点，而不是模型的知识和能力。例如，有些用户可能对ChatGPT提出一些复杂或专业的问题，但是人类示范者给出的回答可能不准确或不完整。这样就会让模型学习到错误或不合适的信息。这也是为何越是专业的问题，“TA”的回答看起来越不靠谱的原因。

这一条还有另外一个引申：人类将基于自己的知识、喜好、价值观训练出满足自己要求的AI，“TA”是魔鬼还是天使，取决于人类自己。

我们需要问自己一个问题：人类怎么能保证行动一致，不会出现魔鬼的“TA”？这将是人类未来需要面临的重大挑战之一，AI伦理的立法将越来越紧迫。

2.对问题敏感，不确定性大

ChatGPT对输入问题措辞的调整或多次尝试相同的提示很敏感。例如，给定一个问题的措辞，“TA”可能声称不知道答案，但只要稍作改写，就可以正确回答。

ChatGPT的核心是深度神经网络，其本质是一大堆随机生成的函数，储备了各种可能、不可能的知识，所以输出也是不确定的，一个相同的问题，会得到各种答复，甚至是自相矛盾的，这种不确定性，决定了“TA”的使用场景。

3.回答啰嗦

回答往往都很长，并且会过度使用某些短语，例如重申它是OpenAI训练的语言模型。原因之一，就是训练的时候，人类训练者训练的AI二号更喜欢看起来更全面、更长答案。

4.缺少澄清

理想情况下，当用户提供模棱两可的查询时，模型应当提出澄清问题，但ChatGTP模型通常会猜测用户的意图，这可能会导致得到的答复和提问者的意图相差十万八千里。

5.容易被洗脑

ChatGPT有时会响应有害指令或表现出有偏见的行为。这个问题很难解决，ChatGPT做了很多屏蔽规则，但通过复杂的提示工程，输入复杂的对话，会给AI造成洗脑的效果，一个简单的例子：

网络上流传的“给AI洗脑”的例子非常多，有些需要非常复杂的逻辑，就像黑客攻击一样，让预先设置的规则防不胜防。

这将是影响未来AI应用的一个关键，有目的攻击可能带来破坏性的结果，ChatGPT目前并不具备任何行动能力，但仅聊天也会引发有政治、宗教、犯罪、价值观等问题；未来AI如果有了行动力，这将是一个更大的挑战。

05

“TA”有何应用场景以及场景缺陷？

首先让“TA”写代码看看：

上面这是一段有问题的代码，因为计算机里面只靠一个独立的单元存储不了100的阶乘(1*2*3…..99*100)这么大的数字，于是我提醒了“TA”：

……截图过长，省略….

“TA”重新输出了考虑溢出问题的代码，并在结尾对代码做了解释。

而Bing版的ChatGPT将回答进一步优化，并几乎对每行代码都加了注释：

“TA”的编程能力令人惊讶，但正如前面分析，ChatGPT学习的实际是个巨大的随机函数，每次的输出都是不确定的，不一定每个问题都能得到这么完美的答案，不确定性的本质决定了ChatGPT是一个效率辅助工具，“TA”能提升效率，但还无法替代人类。

那么，基于不确定性，“TA”可以做什么呢？

1.数字助手，辅助办公室白领工作：

“TA”在很多领域，将成为人类真正的数字助手、提升生产力的强大工具，这些都是非直接作用于物理世界的任务，最终还需要人类修正：

1)代码编写：根据问题描述生成代码片段，并能帮助发现代码中的错误

2)智能写作：根据用户的主题或风格，生成各种类型的文本，例如文章、故事、诗歌等

3)概念解释：用简单的语言解释复杂的概念

4)各种规划：比如根据用户的健康目标和喜好提供饮食建议

5)搜索：结合实时信息的ChatGPT将改变绝大数据人使用搜索引擎的习惯

ChatGPT的所有答案都藏在训练数据中，如果训练数据是2020年前的，今天问“现在的美国总统是谁？”，“TA”不知道2021年上台的拜登。

但这不是问题，微软Bing版的ChatGPT把实时的新数据和训练的历史数据进行了融合，可以保证获取到的知识是刷新过的，比如下面问题的答复：

6)处理非结构化数据：将非结构化数据转换为结构化数据，如表格或图表

7)新闻内容创作：为新闻内容创作者生成高质量的文章或标题

8)教育辅助：为学生提供各种主题的教学和练习

9)机器翻译：根据用户的语言偏好，将一种语言转换为另一种语言

…..

“TA”有如此多的能力，也许不远的将来，每个人都需要配置一个这样的助手，不然工作效率就会低于他人而被淘汰，竞争压力可能驱动人人都自掏腰包购买这样的服务。

微软已经开始逐渐将ChatGPT应用到旗下产品和服务中，包括Azure云服务、Office办公套件、Bing搜索引擎等。

2.老人陪伴

陪伴老人、病患聊天讲笑话， 这种场景出错也无伤大雅

3.客服

根据用户的问题或需求，提供相关的服务或解决方案

4.其它更多…

“TA”不能做什么？“TA”是一个语言的概率模型，“TA”不适合高确定性、高安全、直接作用于物理世界的工作：

1.不能用于控制等场景

2.不能直接用于小孩陪伴聊天

因为无法预知“TA”是否会带坏小孩。

3.不能用于复杂逻辑推理场景

因为概率的原因，过于复杂的推理会产生错误的结论

4.不能做文本之外的事情

当前的“TA”只能基于文本进行交流，不能处理图像、声音等信息…

但这不算关键问题，ChatGPT可以和其它技术组合来完成这些任务，比如和图像生成AI对接，“TA”可以把人类的要求转化成图像生成AI更能理解的“AI之间的语言”，从而画出更加满意的图像作品，这可能是下一个引爆点……

用语言AI指挥绘图AI画出来的画，效果比人类直接告诉绘图AI好，再想象一下，如果我们像训练AI一号那样，根据人类的喜好再训练一下这个AI的组合，会产生什么惊人的效果？

当AI成为了AI的代理人，人类会有什么感觉？

5.更多….

不确定性是当前AI的基本原则，让AI的输出无限趋近于确定，是当前各种AI技术最求的目标。但也有学者会有不同的看法，因为人类本身也是不确定的。

06

“TA”对ICT产业有何影响？

如果只有一家企业拥有“TA”，世界会是什么样子？人类的知识、人性、价值观都将受“TA”影响甚至控制。

不过这样的事情不太会发生，未来应该会有很多个“TA”。

因为“TA”如此重要，不同的国家圈、文化圈、商业圈……都会积极发展自己的能力，这场由微软、Google率先打响的AI军备竞赛，很快就延伸到了全球，许多大公司宣布跟进语言大模型和生成性AI。

基于这个假设前提，看看对ICT产业的影响：

1.算力大战爆发，算力的总体建设需求可能超乎想象

华为2021年发布《计算2030》白皮书预测，2030年全球人工智能算力增长500倍，超过100ZFLOPS，如果ChatGPT是人工智能爆发的转折点，这个数字将变得更大。

1)训练算力需求激增

OpenAI公布的训练GPT3的计算量是3600 pfs-day，而微软提供给OpenAI的算力资源在2020年全球HPC排行榜能到第五，简单按照峰值100P FLOPS、平均使用率50%估算，GPT3训练一次需要2个月左右，也就是说代码写好，数据丢进去，两个月才能看到结果，出现问题又得从头再来。这种效率，常人估计难以忍受，这还是在如此巨大的算力支持下的时间。

很多玩家宣称将很快推出类似ChatGPT的产品，但如果没有强大的硬件基础设施支撑，这几乎是不可能完成的任务，据估算，只有一块英伟达V100 GPU，训练GPT3要花355年。

ChatGPT将极大的刺激用于AI训练的基础设施建设，美国已经出现E级（1024P）的AI HPC对外提供服务， 预计全球其它国家很快跟上，中国建设的超算中心、人工智能计算中心预计也将迎来扩容并进一步向社会开放。

2) AI服务（推理）算力需求难以估量

有分析估计，如果将当前的Google搜索用ChatGPT来回答，将需要超过50万台A100 HGX服务器，总共400万个A100 GPU，服务器和网络的总支出超过1000亿美元。

这仅是依据Google当前访问量的一个估算，我们可以想象一下，ChatGPT的出现，将极大的刺激新需求的出现，除了传统的搜索服务，前文提到的各种应用场景都会用到“TA”，如果未来人人都有一个AI数字助手，调用次数将是指数级增长，产生的算力需求将难以估量。

作为一个万能的助手，我们的工作有多依赖“TA”，每天和“TA”就有多少轮对话，算力的要求就有多高。

同时需要考虑的问题：如何降低成本，让服务投得起、用户用得起？

3) AI算力加速汇聚，密度加速提升

微软租用给ChatGPT的训练环境被称为HPC，HPC的设计原则能提升AI训练的吞吐量、并行效率，缩短训练时间，这在动辄几个月时间成本面前非常重要。

在大模型面前，小型的AI算力只适用于学习与研究，大型商用AI基础设施将成为优先选择。

下一代云计算中心可能有两种架构的服务，一是按照常规需求设计的资源池，可以随时弹性获得计算服务；另外一种就是参考HPC架构设计的高密度计算，高带宽、低时延、高并行IO。这里一直是创新的焦点，比如散热技术、高速互联技术、高并发等等。

只有少量大厂、大组织具备自建大型AI训练基础设施的实力，云厂商推出HPC AI算力服务可能会成为趋势，大量企业将为了降低成本、缩短研发周期、抢占先机而租用云上HPC AI训练服务。

2.终端将更加依赖云端服务，端云协同必不可少，网络需求增长

ChatGPT代表的大模型，算力需求巨大，只能在云端以服务的方式提供，终端对云端的需求也将大幅提升，大胆设想一下，未来手机上会不会出现一个物理按键，直接和云端的个人助手通话。“TA”将成为一个超级入口，一个超级APP，通过“TA”，人类可以连接到更多的服务。

是否影响网络基础架构？

首先当然是网络流量增加，这在未来“TA”叠加图像、视频等能力后将更加明显。

通信领域的话音服务是一个连续的“流”，不能说完一段话才点击一个发送按钮(对讲机)，不然用户体验会大幅降低，同理，当你和“TA”聊天时，这同样是一个“流”服务。一个处于数据中心的AI，同时对外发起N路(N的量级可能上亿)实时通话，这是以前没有的流量模型，是否会引发新的网络架构变化还需要继续观察。

3.人类将生产更多的数字内容，包括数字垃圾，网络数据量提前进入YB时代

很快互联网超过50%的数据流量由机器产生，这将反向刺激存力、算力需求的增长。

4.软件开发效率大幅提升

有了“TA”，大量的基础代码不需要从头编写，反复学习后AI产生的代码效率将大幅高于人类程序员平均值，软件研发生产效率基线需要重新刷新了。

结合低代码平台，企业内部可能实现人人都能开发应用，这将使更多的企业实现DevOps(开发+运营)的运营模式，企业变得更加敏捷。

这也可能带来应用的繁荣、算力需求的提升，IT产业迎来新一轮增长 。

5.小公司退出大模型竞争，大公司垄断加剧

在绝对的投资门槛下，缺乏资金、人才的小公司将成为黑土地上的生态。注：OpenAI不是小公司，实际还是大资金、大公司之间的故事。

大模型带来的更大变化将是加速大公司的垄断，软件开发比以前更加依赖大公司提供API/服务，这些API/服务也会逐渐汇聚到几家领先公司的手里：

6.数据成为大国竞争的战略资源，产业政策估计会加速出台

基于数据喂养的AI成为竞争焦点，数据真正成为战略资源，数据资源的开放和保护政策估计会更加严格，处于领先地位的国家可能会一如既往地呼吁全球数据开放，而追赶中的欧洲、中国等将制定更加完善的数据保护、数据开放政策……

联合国教科文组织曾经在2021年发布《人工智能伦理问题建议书》，提出了AI的出现对人类可能带来的挑战，ChatGTP估计会加速各国相关的法律出台。如何预防AI被滥用、威胁人类，已经不是一件看起来很遥远的事情。

7.数据交易市场将更加活跃

在严格的数据保护政策下，数据交易也将活跃起来，更多的行业数据用于大模型的二次训练（迁移学习），这些工作小公司也可以完成，基于大模型的生态也将更加繁荣。

产业政策同时也会促进政府、大型企业数据有条件的开放，高质量的数据将提升AI在公共服务、国计民生领域的能力。

8.人类对AI依赖增大，某些能力将面临退化

这又会带来什么样的影响？

9.更多…..

07

最后的思考

上图是一个AI的全局参考，和ChatGPT同处一个位置的AI通用场景模型，比如图像识别、自然语言处理、生成性AI，是人类感知、认知、创造世界的基础，这些基础能力有非常广阔的应用场景(安全监控、翻译聊天、软件开发、芯片设计、艺术创作…)，这类模型就像办公场景下的Office软件一样市场巨大，但如何做到便宜又好用将是大挑战。

同时，人工智能是一个庞大的产业链和生态，ChatGPT只是其中幸运出圈的一员，不同的生态参与者需要找到自己在这个系统中属于自己的机会和定位，避免把太多的注意力花在ChatGPT上。

回到文章标题：当AI的知识、人性、价值观……皆可训练时，AI是什么？

当AI可以按照你的意志办事时，你会在乎AI是否真的会思考、会推理、会创造吗？

▼

蓝血研究院近期公开课