人工智能教父Hinton：关于ChatGPT与AI发展的11个核心观点
g导读：
Geoffrey Hinton被称为“人工智能教父”，从上世纪80年代开始研究神经网络，是这个领域从业时间最长的人。
他曾获得2018年的图灵奖，是“深度学习三巨头”之一，是AI史上最重要的学者之一，论文被引用了50多万次。
他的父亲Howard Everest Hinton是英国昆虫学家，母亲Margaret是一名教师，他们都是共产主义者。他的叔叔是著名的经济学家Colin Clark，发明了“国民生产总值”这个经济术语，他的高祖父是著名的逻辑学家George Boole，他发明的布尔代数奠定了现代计算机科学的基础。
在厚重的科学家家族底蕴熏陶下，Hinton从小拥有独立思考能力以及坚韧品质，并且肩负着继承家族荣誉的担子。1973年，在英国爱丁堡大学，他师从Langer Higgins攻读人工智能博士学位，但那时几乎没人相信神经网络，导师也劝他放弃研究这项技术。周遭的质疑并不足以动摇他对神经网络的坚定信念，在随后的十年，他接连提出了反向传播算法、玻尔兹曼机，不过他还要再等数十年才会等到深度学习迎来大爆发，到时他的这些研究将广为人知。
他曾经和他带的两位博士生（其中一位是OpenAI的首席科学家Ilya）创立了一家AI公司，后来卖给了Google，他本人也进入Google担任首席科学家，参与了谷歌大脑。
他有很多学生在大厂担任首席科学家。他的学生Ilya，在他的研究基础上，用ChatGPT证明了Hinton的技术路线，这个路线始于上世纪80年代，直到最近几年大众才看到这条路上的金矿。
本文是Hinton关于ChatGPT和AI发展的访谈内容整理而成。供参考。
# 01
如果不了解大脑，我们永远无法理解人类
在70年代，有一种时髦的观点认为，你可以在不关心大脑的情况下做到这一点，我认为不可能，必须了解大脑是如何运作的。
在AI领域，有两种思路。一种是主流AI，另一种是关于神经网络的。主流AI认为，AI是关于推理和逻辑的，而神经网络则认为，我们最好研究生物学，因为那些才是真正有效的东西。所以，主流AI基于推理和逻辑制定理论，而我们基于神经元之间的连接变化来学习制定理论。从长远来看，我们取得了成功，但短期内看起来有点无望。
神经网络在20世纪80年代没有真正奏效的原因是，计算机运行速度不够快，数据集不够大。然而，在80年代，一个重要的问题是，一个拥有大量神经元的大型神经网络，计算节点和它们之间的连接，仅通过改变连接的强度，从数据中学习，而没有先验知识，这是否可行？主流AI的人认为这完全荒谬。
但它确实可行。因为大脑就是这样，经过学习，我们能完成没有进化出来的技能，比如阅读。阅读对我们来说是非常新的，我们没有足够的进化时间来适应它。但我们可以学会阅读，我们可以学会数学。所以一定有一种在这些神经网络中学习的方法。
大约在2006年，我们开始做所谓的深度学习。在那之前，让具有多层表示的神经网络学会复杂事物一直很困难。我们找到了更好的方法来实现这一点，更好的初始化网络的方法，称为预训练。
在ChatGPT中，P代表预训练。T代表变换器，G代表生成。实际上，是生成模型为神经网络提供了更好的预训练方法。2006年时，这个理念的种子已经埋下。
反向传播的思想就是在一开始随机设置连接权重，然后根据预测结果调整权重。如果预测出现错误，那么你就通过网络反向计算，并提出以下问题：我应该如何改变这个连接强度，使其更不容易说出错误答案，更容易说出正确答案？这称为误差或差异。然后，你要计算每个连接强度如何进行微调，使其更容易得出正确答案，更不容易得出错误答案。
一个人会判断这是一只鸟，然后将标签提供给算法。但是反向传播算法只是一种计算方法，用于确定如何改变每个连接强度，使其更容易说鸟，更不容易说猫。算法会不断尝试调整权重。现在，如果你展示足够多的鸟和猫，当你展示一只鸟时，它会说鸟；当你展示一只猫时，它会说猫。事实证明，这种方法比手动连接特征检测器要有效得多。
值得称道的是，那些曾经坚定反对神经网络的人，当看到这种方法成功时，他们做了科学家通常不会做的事情，也就是说：“它有效，我们会采用这个方法。”人们认为这是一个巨大的转变。因为他们看到这种方法比他们正在使用的方法更有效，所以他们很快就改变了立场。
当人们既在思考机器，也在思考我们自己的思维方式时，我们常常认为，输入是语言，输出是语言，那么中间一定也是语言。这是一个重要的误解。实际上，这种观点并不正确。如果这是真的，那么被称为符号人工智能的方法应该非常擅长进行机器翻译，比如把英语转换成法语。你会认为操作符号是实现这一目标的正确方法。但实际上，神经网络的效果更好。当谷歌翻译从使用符号方法转向神经网络时，效果大大提高了。
我认为，在中间的部分，你会发现有数百万个神经元，它们中的一些是活跃的，一些则不是。符号只能在输入和输出处找到，而不是在整个过程中。
# 02
对于大语言模型，只有理解整个句子，才能更准确地预测下一个词
我们知道这些大型语言模型只是预测下一个词。这并不简单，但确实如此。它们只是预测下一个词，所以它们只是自动补全。但是，问问自己一个问题：要准确预测下一个词，你需要了解到目前为止所说的内容。基本上，你必须理解已经说过的话来预测下一个词。所以你也是自动补全，只不过与它们一样。你可以预测下一个词，虽然可能不如ChatGPT那么准确，但为了做到这一点，你必须理解句子。
让我举一个关于翻译的例子。这是一个非常具有说服力的例子。假设我要把这句话翻译成法语：“奖杯太大了，它放不进行李箱。”当我说这句话时，你会认为“它”指的是奖杯。在法语中，奖杯有特定的性别，所以你知道该用什么代词。但如果我说：“奖杯放不进行李箱，因为它太小了。”现在你认为“它”指的是行李箱，对吧？在法语中，行李箱的性别也不同。所以为了把这句话翻译成法语，你必须知道，当它放不进去是因为太大时，是奖杯太大；而当它放不进去是因为太小时，是行李箱太小。这意味着你必须了解空间关系和容纳等概念。
为了进行机器翻译或预测那个代词，你必须理解所说的内容。仅仅把它当作一串单词是不够的。
# 03
我们现在正处于一个过渡点，接下来AI将无处不在
ChatGPT表明，这些大模型可以做一些令人惊奇的事情。微软发布了一些产品后，大众突然开始关注这个领域，他们突然意识到了大模型的潜力。
它已经开始无处不在了，ChatGPT只是让很多人意识到了这一点。实际上，当谷歌进行搜索时，它会使用大型神经网络来帮助决定向你展示什么最佳结果。
有两条通往智能的不同道路。一条是生物学途径，另一条是我们所拥有的模拟硬件途径。我们必须用自然语言进行沟通，还要向人们展示如何做事情，模仿等。但我们在交流方面做得很糟糕，与现在运行在数字计算机上的计算机模型相比，我们的交流能力差得多。
计算机模型之间的沟通带宽非常大，因为它们是相同模型的克隆，运行在不同的计算机上。正因为如此，它们可以查看大量的数据，因为不同的计算机可以查看不同的数据，然后它们结合了它们所学到的东西，远远超出了任何人能够理解的范围。
ChatGPT知道的比任何一个人都多。如果有一个关于知识量的比赛，它会轻松击败任何一个人。我们有100万亿个连接，其中大部分是通过学习得到的，但我们只活了十亿秒，这并不算很长的时间。像ChatGPT样的东西，它们在许多不同的计算机上运行了比我们更长的时间，吸收了所有这些数据。
我认为ChatGPT引发的AI浪潮，在规模上与工业革命、电力、甚至是轮子的发明相当。
# 04
未来，经过训练的AI系统，可以运行在低功耗的系统上
我们有两种途径来理解智能：一种是生物途径，其中每个大脑都是不同的，我们需要通过语言来在不同的大脑之间传递知识；另一种是目前的AI神经网络版本，你可以在不同的计算机上运行相同的模型，实际上它们可以共享连接权重，因此它们可以共享数十亿个数字。
这就是我们如何让一只鸟跳舞的。它们可以共享识别鸟的所有连接权重，一个可以学会识别猫，另一个可以学会识别鸟，它们可以共享它们的连接权重，这样每个模型都可以做两件事。这正是这些大型语言模型所做的，它们在共享。
但这种方法只适用于数字计算机，因为它们必须能够模拟相同的事物。而不同的生物大脑无法相互模拟，因此它们无法共享连接。
计算机的运行，必须依赖强大的电力支持，以便它能够精确地以正确的方式工作。然而，如果你愿意让计算机以较低的电力运行，比如大脑所做的那样，你会允许一些噪声等，但特定系统会适应该特定系统中的噪声，整个系统将正常工作。
大脑的运行功率是30瓦，而大型AI系统需要像兆瓦这样的功率。所以我们在30瓦上进行训练，而大型系统则使用兆瓦，它们有很多相同的东西。我们在谈论功率需求方面的1000倍差距。
因此，我认为会有一个阶段，我们会在数字计算机上进行训练，但一旦某个AI系统训练完毕，我们会将其运行在非常低功耗的系统上。所以，如果你想让你的烤面包机能和你对话，你需要一个只花费几美元的芯片，而且它能运行像ChatGPT这样的程序，那么最好是一个低功耗和低芯片。
# 05
如何保证AI提供的是真相，将是一个非常棘手的问题
ChatGPT像一个“白痴天才”，它并不真正了解事实真相。它接受了大量不一致的数据训练，试图预测下一个网络用户会说什么。
人们对很多事情有不同的观点，而AI必须有一种混合所有这些观点的方式，以便可以模拟任何人可能说的话。这与一个试图拥有一致世界观的人非常不同，特别是如果你想在世界上采取行动，拥有一致的世界观是非常有益的。
我认为接下来会发生的一件事是，我们将朝着能够理解不同世界观的系统发展，并且能够理解，好吧，如果你有这个世界观，那么这就是答案。而如果你有另一个世界观，那么答案就是另一个。我们得到我们自己的真相。
你可不希望某个大型盈利公司来决定什么是真实的。但他们正在控制我们如何使用这些东西。
我们已经看到，至少那些已经发布聊天产品的人觉得有些事情他们不希望用他们的声音说出来，所以他们会去干预它，以免说出冒犯人的话。是的，但这种方式你能做的事情是有限的。总会有你想不到的事情，对吧？是的。
目前我并不认为微软知道如何处理这个问题。（微软）他们也不知道。这似乎是一个巨大的治理挑战。谁来做这些决策？这是非常棘手的事情。
谷歌目前非常小心，不要那样做。谷歌会做的是将你引向相关文件，这些文件中会有各种各样的观点。所以我认为谷歌在发布聊天机器人时会比微软更谨慎，并且它可能会附带很多警告，这只是一个聊天机器人，不要一定相信它所说的。在标签上小心，或者在干预方式上小心，以免做出糟糕的事情。
要努力防止它说出不好的东西。但是，谁来决定什么是坏事呢？有些坏事是相当明显的，但是很多最重要的事情并不是那么明显。所以，目前这是一个很大的悬而未决的问题。我认为微软发布ChatGPT是非常勇敢的。
你也不希望政府来做这件事。像我说的，我不知道答案，而且我不相信有人真的知道如何处理这些问题。我们必须学会如何快速处理这些问题，因为这是一个当前的大问题。
# 06
AI或许已经具备“理解”能力
当涉及到“理解”的时候，我很惊讶人们会自信地宣称这些东西是没有“理解”的。
当你问他们“理解”的意思是什么时，他们会说他们不太清楚。那么如果你不知道“理解”的意思，你怎么能自信地说它们没有理解呢？
所以也许它们已经有“理解”了，谁知道呢。
我认为它们是否有“理解”取决于你对“理解”的定义，所以你最好在回答这个问题之前先明确一下你对“理解”的定义。我们认为它是否有“理解”能力重要吗，还是只关注它是否能有效地表现出有理解的状态？
我认为一个很好的例子可以想到的是一种自主的致命武器。说它没有感觉这也对，但是当它在追逐你并射击你时，你会开始认为它有感觉。
我们并不真的关心，这不再是一个重要的标准了。我们正在开发的这种智能与我们的智能非常不同，它是某种伺候无知者的工具，它和我们不一样。
我的目标是理解我们。我认为理解我们的方式是通过构建像我们一样的东西。我说过的那位物理学家理查德·费曼曾经说过，你不能理解一件事情，除非你能够构建它。
# 07
AI将使人们从事更有创造性的工作，而较少从事例行工作
如果你回顾历史，看看自动取款机，这些现金机出现时，人们说这是银行柜员的终结。但实际上，它并没有终结银行柜员的职位，现在银行柜员处理更复杂的事情。
未来可以机器写代码，人来检查代码，这样就能够快10倍。你可以只用10%的程序员完成一样的工作，或者使用相同数量的程序员，生产10倍的东西。
我们教育了很多人学习编程。教这么多人编程是否仍然有意义呢？在2015年左右，我曾经声称，在未来五年内，计算机将在图像识别方面超越放射科医生，因此教他们识别图像中的东西已经没有意义了。事实证明，我的预测错误了，实际上需要10年，而不是5年。
我认为有一段时间，我们仍然需要程序员。我不知道这段时间会有多长，但我们需要的程序员会减少。或者，我们可能需要相同数量的程序员，但产出更多。
# 08
AI消灭人类的几率介于0%和100%之间
就我所说，如果我们明智的话，我们会努力发展它，以免发生这种情况。
但是，令我担忧的是政治局势。确保每个人都明智行事是一个巨大的政治挑战。这似乎是一个巨大的经济挑战，因为你可能会有很多个体追求正确的道路，然而，公司的利润动机可能不会像为他们工作的个体那样谨慎。
我只真正了解谷歌，这是我唯一的工作公司。他们一直是最谨慎的公司之一。他们对AI非常谨慎，因为他们有一个提供你想要的答案的出色搜索引擎. 他们不想损害它。而微软则不太关心这个问题。如果搜索消失了，微软可能都不会注意到。
当没有人追赶他们的时候，谷歌采取缓慢的策略是容易的。谷歌一直处于领先地位。Transformers是在谷歌发明的，大型语言模型的早期版本也是在谷歌。他们更加保守，我认为这是正确的。但现在他们感受到了压力。所以他们正在开发一个名为“Bart”的系统，他们将发布该系统。他们正在对它进行大量的测试，但我认为他们会比微软更谨慎。
直到不久前，我认为在我们拥有通用人工智能之前还需要20到50年的时间。而现在我认为可能是20年或更短时间。有些人认为可能只有5年，几年前我会说不可能，但现在我不会这样说了。
# 09
一旦赋予AI创造子目标的能力，它就会变得更有效。
如果你想制造一种高效的自主士兵，你需要赋予它创造子目标的能力。
换句话说，它必须意识到类似的事情，比如：“好吧，我想杀死那个人，但是要过去，我该怎么办？”然后它必须意识到，如果能到达那条道路，可以更快地到达目标地点。所以，它有一个到达道路的子目标。
一旦你赋予它创造子目标的能力，它就会变得更有效。像普京这样的人会希望拥有这样的机器人。
但是，一旦它具备了创造子目标的能力，你就会遇到所谓的“对齐问题”，即如何确保它不会创造对人类或你自己不利的子目标。谁知道那条路上会有什么人？谁知道会发生什么？
# 10
AI研发需要“日内瓦公约”
我们需要做的是使这种技术与人类互补，让它帮助人们。我认为这里的主要问题之一是我们所拥有的政治体系。
如果这些系统是由军方研发的，那么将一条“永远不要伤害人类”的规则植入其中的想法，恐怕并不现实，因为它们本就是设计用来伤害人类的。
我认为最好的办法是类似于《日内瓦公约》的东西，但达成会非常困难。
我觉得如果有大量的公众抗议，那么可能会说服政府采取行动。我可以想象，在足够的公众抗议下，政府可能会采取某些行动。但是，你还需要应对其他人。
# 11
我们距离AI能够自我改进的时间点已经非常近了
我认为这是一个关键时刻。我们可能很接近了。然后它可能会变得非常快。
我们必须认真思考如何控制这一点。我对这些成果有一点担忧。
不过，我认为不论发生什么，这几乎都是不可避免的。
换句话说，一个人停止研究不会阻止这种情况的发生。如果我的影响只是让它提前一个月发生，那么这就是一个人所能做的极限了。有这个想法，我可能说错了，那就是短跑道和长起飞。
我认为有时间准备是好的。所以我认为，现在就担心这些问题是非常合理的，尽管在接下来的一两年内不会发生。人们应该思考这些问题。
结语
Hinton先生不只是在学术上居功至伟，他的精神也对我们的社会有着借鉴的意义。
“虽千万人吾往矣”，Hinton是计算机科学界为数不多的真正愿意去坚持自己的热爱并且义无反顾的与其他人对抗的，他不畏惧别人的眼光，那并不是因为他不在意或者怎么样——他似乎拥有洞察未来的双眼，知道他的坚守会是正确的。
最后，以Hinton先生的一段话结尾。
We're just produced biologically. Most people doing AI don't have doubt that we're machines. And I shouldn't say just. We're special,wonderful machines.
我们是机器，我们只是通过生物方式制造的。大多数做AI 的人对这一点毫不怀疑。我们只是特别精密的机器。我刚才不该说“只是”。我们是特别的、绝妙的机器。
为大家准备好了人工智能的资料，领取资料看下方
关注up主，后台留下你的足迹“资料”
评论区留下“已三连，资料”后台找我拿资料
祝大家学业有成，生活顺利