这两天,随着诺贝尔奖项的颁布,科技圈“炸开锅”,不是质疑获奖者自身的能力,而是好奇为什么诺贝尔奖都开始向 AI 技术倾斜。
对于这一趋势,甚至有人大胆开麦,开启预测模式,称即将于今晚、明晚以及下周颁发的 2024 年诺贝尔文学奖、和平奖和经济学奖中,必有 ChatGPT 的归处。
2024 年诺贝尔物理学奖颁发给了机器学习先驱
做出这样的猜测,其实也不是没有原因的。
2024 年 10 月 8 日,瑞典皇家科学院宣布,将 2024 年诺贝尔物理学奖授予 John J. Hopfield 和 Geoffrey E. Hinton,以表彰他们利用人工神经网络实现机器学习的奠基性发现和发明。
这一奖项的颁发,不少人提出疑问:物理学与机器学习是怎么跨越了鸿沟,联系到了一起?不止外界,就连获奖者 Hinton 自己都觉得有些意外。
通过 YouTube 直播的诺贝尔奖颁发的新闻发布会上,瑞典皇家科学院成员与 Hinton 进行了通话。在知道自己获奖后,Hinton 表示,“我惊呆了。我不知道会发生这种事。我感到非常惊讶。”
从诺贝尔委员会的角度来看,授奖的主要原因在于两位获奖者的研究源自物理学中使用的统计模型,并且部分是对使用他们的神经网络技术作为研究工具推动物理学研究的认可。
诺贝尔奖评奖委员会表示:“今年物理学奖得主取得的突破建立在物理科学的基础上。他们为我们展示了一种全新的方式,让我们能够利用计算机来帮助和指导我们,应对社会面临的许多挑战。”
获奖者之一、今年 91 岁的 John J. Hopfield 是一位拥有物理学背景的理论生物学家。据《Nature》报道,他在 1982 年取得了突破,开发了一种称为“霍普菲尔德网络”的模型。
这种网络基于物理学中的一些概念,特别是与材料中原子自旋相关的行为原理。简单来说,霍普菲尔德网络通过存储信息为“低能状态”来工作,这意味着它可以记住特定的模式。当系统接收到类似的提示时,它能够重新生成这些存储的模式。这个过程类似于大脑如何通过联想记忆回忆出单词或概念。
不止于此,Hopfield 的影响力跨越多个领域,他的早期研究将物理学、生物学和计算相结合。除了著名的霍普菲尔德网络,他还在理解神经系统如何处理和存储信息方面取得了重要进展,推动了早期对类脑计算的理论发展。
相较之下,另一位诺贝尔物理学奖得主 Hinton 更是被科技圈熟知。
今年 76 岁的 Hinton 在 20 世纪 80 年代初基于 Hopfield 的研究进行了拓展,开发了一种基于新方法的网络:玻尔兹曼机(Boltzmann Machine)。该网络可以学习识别某一类数据中具有特征的元素。
Hinton 使用了统计物理学的工具,这是研究由许多相似组分组成的系统的科学。玻尔兹曼机通过输入在机器运行时非常可能出现的示例进行训练。它可以用于对图像进行分类或创建与其训练模式相似的新示例。Hinton 在此基础上继续研究,推动了当前机器学习爆炸式的发展。
1987 年,Hinton 与 David Rumelhart、Ronald J. Williams 一起引起了人们对反向传播算法的关注,这是一种用于训练神经网络的关键方法,也是如今生成式 AI 模型的基础。
2012 年,Hinton 与 Alex Krizhevsky 和 Ilya Sutskever 合作开发了 AlexNet,这一在计算机视觉和深度学习领域的创新被广泛认为是开启了当今生成式 AI 时代的重要里程碑。
2018 年,Hinton 与 Yoshua Bengio、Yann LeCun 共同获得了被誉为“计算机界诺贝尔奖”的图灵奖。他常被称为“AI 教父”之一,此前也任职于 Google。
2023 年 5 月,因为对生成式 AI 感到担忧,他选择从谷歌辞职,以便能够“畅所欲言”地谈论人工智能系统的潜在风险。
当时,Hinton 表示,科技行业开发人工智能产品的动力可能会导致危险的后果,比如对人类的威胁。离职的当月底,Hinton 与另外近 400 名 AI 专家签署了一份 22 个字的声明——“减轻 AI 带来的灭绝风险应该与流行病和核战争等其他社会规模的风险一起成为全球优先事项”,向外界警告 AI 可能灭绝人类!
纷纷祝贺!
获奖之后,不少大佬纷纷送上祝贺。
Google AI 掌门人 Jeff Dean 发文表示:“祝贺我的好朋友兼前谷歌同事 Geoff Hinton 获得今年的诺贝尔物理学奖(与 John Hopfield 一起)! 随着神经网络应用于越来越多的领域,Geoff 对许多科学领域的影响持续增长。”
随后,他还分享了一张 Hinton 和他的学生们一起开香槟的照片。
图灵奖得主 Yann LeCun 也在第一时间祝贺道:
恭喜 John 和 Geoff!
两位都是我的前同事。我曾在多伦多 Geoff 的实验室读博士后。之后,我加入了贝尔实验室(Bell Labs),John 当时在那里担任兼职科学家(也是加州理工学院的教授)。事实上,我加入的部门会研究神经网络就是因为 John。
我第一次见到他们两人是在 1985 年。1985 年初,我在莱苏什 (Les Houches) 的一个研讨会上认识了 John。1985 年 6 月,我在巴黎的 Cognitiva 会议上认识了 Geoff。
质疑声此起彼伏,LSTM 之父:他们不配拿奖
不过,争议也随之而来。有人认为,因为机器学习等计算机科学领域的研究而获得诺贝尔物理学奖,这看起来有些不寻常。
对此,德国物理学家 Sabine Hossenfelder 直言,“2024 年诺贝尔物理学奖没有颁给物理学家……”
随后,“生成式人工智能之父”、LSTM 之父 Jürgen Schmidhuber 也在社交媒体 X 上发长文分享了自己的看法,其更是怒斥 Hopfield 和 Hinton 不配拿奖。
在 Jürgen Schmidhuber 看来,2024 年诺贝尔物理学奖授予霍普菲尔德(Hopfield)和辛顿(Hinton)的工作实际上是奖励了剽窃和错误归属,尤其是在计算机科学领域。这主要涉及 Shun-Ichi Amari 的“霍普菲尔德网络”和“玻尔兹曼机”。
Jürgen Schmidhuber 列了四点来佐证自己的说法:
1925 年,Lenz-Ising 发布了一种包含类神经元元素的循环架构。1972 年,Shun-Ichi Amari 使其具备自适应性,能够通过改变连接权重来学习将输入模式与输出模式关联起来。然而,在 2024 年诺贝尔物理学奖的“科学背景”中,Amari 只被简短地提及了一下。不幸的是,Amari 的网络后来被称为“霍普菲尔德网络”。Hopfield 在十年后重新发表了这个网络[注 AMH2],但没有引用 Amari 的研究,甚至在后续论文中也没有提及。
Ackley、Hinton 和 Sejnowski 在 1985 年发表的关于玻尔兹曼机的论文,涉及神经网络中隐藏单元的内部表示学习。然而,该论文并未引用 Ivakhnenko 和 Lapa(乌克兰,1965年)提出的第一个关于深度学习内部表示的工作算法,也未引用 Amari 在 1967-68 年期间的独立研究,该研究使用随机梯度下降(SGD)端到端地训练深度神经网络的内部表示。即便是在后来的综述文章中,以及 2024 年诺贝尔物理学奖的“科学背景”中,也未提及深度学习的这些起源。此外,玻尔兹曼机的论文也没有引用 Sherrington & Kirkpatrick 和 Glauber 的相关前期工作。
诺贝尔委员会还赞扬了 Hinton 等人 2006 年提出的深度神经网络逐层预训练方法。然而,该工作既未引用 Ivakhnenko 和 Lapa 在 1965 年提出的逐层训练深度神经网络的原始工作,也未引用 1991 年关于无监督预训练深度神经网络的原创工作[DLP]。
“普及信息”中提到:“在 20 世纪 60 年代末,一些令人沮丧的理论结果使得许多研究人员怀疑这些神经网络永远不会有实际用途。”然而,显然在 20 世纪 60 至 70 年代,深度学习研究在非英语国家仍然非常活跃。
评论区网友评论道,“Hinton 获得物理学奖就像你获得奥林匹亚先生奖一样,实至名归,但有些不合时宜,也不太合理。”
还有人预测,诺贝尔奖要是这么颁,那我可以猜测,化学诺贝尔奖颁给了 Deepmind 的蛋白质折叠了?
万万没想到,一语成谶。
诺贝尔化学奖也颁给了 AI
就在昨晚,瑞典皇家科学院决定将 2024 年诺贝尔化学奖的一半授予大卫·贝克(David Baker),以表彰他在“计算蛋白质设计”方面的贡献,并将另一半授予戴密斯·哈萨比斯(Demis Hassabis)和约翰·M·詹伯(John M. Jumper),以表彰他们在“蛋白质结构预测”方面的贡献。
Demis Hassabis 是 DeepMind 的联合创始人兼 CEO,而 John Jumper 担任 DeepMind 主管一职。
诺贝尔委员会表示:“该团队将 AlphaFold2 训练在所有已知蛋白质结构和氨基酸序列的庞大数据库上,新的 AI 架构开始产生了良好的结果。”
当 AlphaFold2 参加 2020 年“蛋白质结构预测的关键评估”(CASP)竞赛时,它的表现几乎与 X 射线晶体学(过去预测蛋白质结构的黄金标准)一样好。“过去,要获得蛋白质结构可能需要数年时间,有时甚至根本无法实现。现在,这个过程只需几分钟。”委员会补充道。
Jumper 在加入 DeepMind 公司时,Google 已经开发了初代 AlphaFold,虽然它改进了之前的 CASP 结果,但准确率仍只有约 60%。诺贝尔委员会表示,该团队利用 AI 最近取得的巨大突破:名为 Transformers 的神经网络。现在第二代 AlphaFold 模型可以预测几乎所有已知的蛋白质结构,总数超过 2 亿。
不过,虽然 AlphaFold 在帮助人类更好地预测蛋白质形状方面非常重要,而蛋白质的形状对其功能至关重要,但它无法开发药物或创造新事物。
这时,由华盛顿大学生物化学教授大卫·贝克(David Baker)设计的 Rosetta 软件就派上了用场。
贝克在 1990 年代开发了自己的蛋白质预测软件 Rosetta。诺贝尔委员会表示,Rosetta 在 1998 年 CASP 竞赛中表现优异,“与其他参赛者相比表现良好”。比赛结束后,贝克和他的团队有了一个想法:反向使用软件——不是用氨基酸序列预测蛋白质的形状,而是输入想要的蛋白质形状,看看能否由此推测出合适的氨基酸序列来创造它。最终获得了成功,还促进了 Top7 蛋白的诞生。
写在最后
毫无疑问,即使有争议,但是诺贝尔物理学奖和化学奖最大的赢家都是 AI。
至于文章伊始网友调侃的「诺贝尔文学家将会是 ChatGPT」的说法,其回复道:“自己离诺贝尔文学奖还很遥远!”
此外,它对今年的诺贝尔文学奖的候选人进行了一波预测:
参考: