OpenAI 重大技术突破曝光，可能威胁人类
昨天 Sam Altman 正式回归 OpenAI ，但关于这次罢免事件的更多内幕细节才开始浮出水面。
路透社报道称，在 Altman 被罢免的前几天， OpenAI 几位研究人员致信董事会，警告说他们发现了一种强大的人工智能技术，可能威胁到人类。
这封一直未曝光的信和提到的 AI 技术，可能也造成 Altman 被罢免的关键因素之一。
这项技术来自内部一个名为Q*（发音为 Q-Star）的项目，据称 Q* 显示出接近人类的高级推理能力。但正是这种高度智能化和自主性，引发了对其可能不受控制、对人类构成威胁的担忧。
OpenAI 内部一些员工认为 Q* 可能是该初创公司寻找所谓的人工通用智能（AGI）的重大突破。OpenAI 将 AGI 定义为在大多数经济价值任务中超越人类的自主系统。
来自内部的匿名信源透露，凭借巨大的算力资源，这个新模型能够解决某些数学问题。虽然目前只有小学生水平，但通过这样的测试让研究人员对 Q* 的未来成功充满乐观。
研究人员认为数学是生成式 AI 发展的前沿。目前，生成式 AI 擅长通过统计预测下一个词来进行写作和语言翻译，对同一个问题的答案可能会有很大差异。
然而，如果能够征服进行数学运算的能力——在数学运算中只有一个正确答案——这意味着 AI 将具有更接近人类智能的推理能力，研究人员认为这可以应用于新的科学研究。
不过路透社并没有拿到这封信的副本，OpenAI 目前也拒绝拒绝置评。
对 AGI 发展风险的顾虑，也一直被认为是引发 OpenAI 这次高层动荡的重要原因。
Ilya Sutskever. 图片来自：technologyreview.com
其中首席科学家 Ilya Sutskever 更一直主张谨慎地应对 AI 和 AGI 的安全隐患，他认为应该将特定价值观「刻」在超级 AI 中，让 AI 像动物一样拥有一些类似「天性」的「铭印」：
最终，AI 将变得非常、非常、非常强大。我们将无法理解他们。他们会比我们聪明得多。到那个时候，强烈的铭印至关重要，只有这样，他们对我们的感觉才会像我们对自己的孩子一样。
Ilya 在 Altman 被解雇前，在 X 发布的最后一条推文也表明了他的态度
如果你把智力看得比人类所有其他品质都重要，那么你会过得很糟糕。
下面给大家分享 Ilya 在 10 月 26 日接受的一次独家专访，可以从中看到 Open AI 内部另外一面的声音。
我们也能更加清楚地了解 AI 背后的秘密，以及未来发展的趋势，当更多的人因为 AI 进化陷入恐慌时，这位「恐惧制造者」的内心表达，可能会缓解人们对技术的疑虑。
原文地址：www.technologyreview.com
原文作者 ：Will Douglas Heaven本文有删减
以下是专访全文：
「与 Ilya Sutskever 的独家对话，讲述了他对 AI 未来的担忧，以及为什么这些担忧让他改变了一生的工作重点。」
OpenAI 的联合创始人兼首席科学家 Ilya Sutskever ，他的公司位于旧金山 Mission District 一条不起眼的街道上。
Sutskever 说目前他的首要任务不是构建下一个 GPT 或 DALL-E，而是弄清楚如何阻止无赖的超级人工智能。
他认为 ChatGPT 可能是有意识的，世界需要知道他的公司和其他公司创造出技术力量的真相。
他觉得总有一天，一些人会选择与机器融合。ChatGPT 已经改写了很多人未来的期望，将「永远不会发生」变成了「会比你想象的更快」。
他说话时深思熟虑，有条不紊。当他思考自己想说什么以及如何说时，他会停顿很长时间，不过对谈论自己倒不感兴趣。
但是，当我们谈论人工智能，以及他所看到的划时代的风险和回报时，话匣子和对前景的展望就打开了：
这将是不朽的、惊天动地的事，并且会有前后之分。
进步，永无止境
哪怕没有 OpenAI 这家公司，Sutskever 仍然会在 AI 历史上留下一笔。
他是以色列裔加拿大人，出生在苏维埃俄罗斯，但从五岁起就在耶路撒冷长大。之后，会说俄语、希伯来语和英语的他移居加拿大，师从多伦多大学人工智能先驱：杰弗里·辛顿（Geoffrey Hinton）。
Geoffrey Hinton. 图片来自：utoronto.ca
Hinton 后来与 Yann LeCun 和 Yoshua Bengio 共获图灵奖，以表彰他们在神经网络方面的工作。当 Sutskever 在 2000 年初跟随他时，大多数 AI 研究人员认为神经网络是一条死胡同。
2018 ACM A.M. Turing Award Recipients. 图片来自：youtube.com
不过 Hinton是个例外，他当时已经在训练微型模型，这些模型可以一次生成一个字符的短文本字符串：
这是生成式 AI 的开始，很酷，但不是很好用。
Sutskever 对大脑很着迷：他们是如何学习的，以及如何在机器中重新创造或模仿大脑的过程。像 Hinton 一样，他看到了神经网络的潜力，以及 Hinton 用来训练神经网络的试错技术，后来被称为深度学习。
2012年，Sutskever、Hinton 和另一位同门研究生 Alex Krizhevsky 建立了一个名为 AlexNet 的神经网络，他们训练该神经网络可以比当时任何的软件更好地识别照片中的物体。
AlexNet 模型示意图. 图片来自：blog.csdn.net
这是深度学习宇宙的「大爆炸」时刻。
他们已经证明神经网络在模式识别方面非常有效，这种计算的进步来自英伟达制造的一种称为图形处理单元（GPU）的新型芯片。
GPU 被设计为迅速地将快速移动的视频游戏视觉效果投射到屏幕上，而 GPU 擅长的计算看起来很像训练神经网络所需的计算。
黄仁勋和 Sutskever . 图片来自：blogs.nvidia.com
英伟达在开发 AlexNet 时向多伦多团队发送了几个 GPU 进行尝试。但他们想要 GTX 580 的最新版本芯片，在商店里迅速售罄。
据黄仁勋说，Sutskever 从多伦多开车到纽约买了一些：
我不知道他是怎么做到的——我很确定你只允许每人买一个；我们有一个非常严格的政策，即每个游戏玩家一个 GPU，但他显然用它们装满了后备箱。
那个装满 GTX 580 的后备箱改变了世界。
GTX 580. 图片来自：youtube.com
在AlexNet成功之后，谷歌来敲门了。它收购了 Hinton 的衍生公司 DNNresearch，并聘请了 Sutskever。
在谷歌，Sutskever 展示了深度学习的识别能力可以应用于数据序列，如单词、句子以及图像。但 Sutskever 并没有在谷歌呆太久。
2014年，他被招募为 OpenAI 的联合创始人。在 10 亿美元的支持下，加上硅谷的大量招摇，这家新公司从一开始就将目光投向了开发 AGI —— 通用人工智能，当时很少有人认真对待这一前景。
我记得山姆·奥特曼（Sam Altman）称伊利亚是世界上最受尊敬的研究人员之一。
Y Combinator 投资董事总经理 Dalton Caldwell 说，他甚至提到，世界顶级人工智能专家之一约书亚·本吉奥（Yoshua Bengio）认为，不太可能找到比伊利亚更好的人选来担任 OpenAI 的首席科学家。
然而，OpenAI 在一开始就陷入困境。
有一段时间，当我们开始 OpenAI 时，我不确定进展将如何继续下去。但我有一个非常明确的信念，那就是：人们不会押注深度学习。不知何故，每当你遇到障碍时，研究人员都会在六个月或一年内找到绕过它的方法。
Sutskever 很坚定的说道。
预期管理
去年 11 月，OpenAI 发布了一款免费使用的聊天机器人，重新打包了一些现有技术，ChatGPT 重置了整个行业的议程。
当时，OpenAI 并不知道它要推出什么。Sutskever 觉得公司内部的期望非常低：
我们制作 ChatGPT 时，我不知道它有什么好处。当你问它一个事实性的问题时，它给了你一个错误的答案。我以为它会如此不起眼，以至于人们会说，你为什么要这样做？这太无聊了！
Sutskever 认为吸引人的是便利。
ChatGPT 引擎盖下的大型语言模型已经诞生了几个月。将其包装在一个可访问的界面中并免费赠送，才使数十亿人第一次意识到 OpenAI 和其他公司正在构建什么。
这种初体验吸引了人们，第一次使用它时，我认为这几乎是一种精神体验。 你会觉得这台电脑似乎能理解我们。
Sutskever 谈到当时第一次使用 ChatGPT 的体验。
许多人被这个惊奇的新玩具吸引，OpenAI 在不到两个月的时间里就积累了 1 亿用户，ChatGPT 改变了人们的视野。
AGI 在机器学习领域不再是一个肮脏的词，这是一个很大的变化。人们历来采取的态度是：人工智能不起作用，每一步都非常困难，你必须为每一点进步而战。
当人们带着关于 AGI 的重大声明来时，研究人员会说，你在说什么？这行不通，那行不通。但有了 ChatGPT，它开始变得不同。
而这种转变在一年前才开始发生，是因为 ChatGPT 让机器学习的研究人员有了梦想。
从一开始，OpenAI 的科学家就一直在通过博客文章和巡回演讲来激发这些梦想。
「我们现在有人在谈论人工智能、AGI 或超级智能可以走多远。不仅仅是研究人员，政府也开始谈论它，这太疯狂了。」Sutskever说。
一切皆有可能
Sutskever 坚持认为，所有这些关于尚未、甚至不可能存在的技术的讨论，是一件好事。因为它让更多的人意识到目前的技术，已经成为了理所当然的未来。
你可以用 AGI 做很多不可思议的事情：自动化医疗保健，让它便宜一千倍，好一千倍，治愈这么多疾病，真正解决全球变暖问题。
但也有很多人担心：天哪，人工智能公司能成功管理这项巨大的技术吗？
尽管人们在谈论它的可行性，但 AGI 仍然是该领域最具争议的技术。很少有人认为它的发展是理所当然的。
许多研究人员认为，在我们看到 Sutskever 构想的未来之前，大家需要在观念上取得突破，但另一些人则认为并不是所有人都能扭转自己的看法。
Sutskever. 图片来自：matroid.com
然而，这个愿景从一开始就驱使他：
我一直受到这个想法的启发和激励。那时候它不叫 AGI ，但你知道，就像让神经网络做所有事情一样，我并不总是相信他们能做到。但这是一座要爬的山。
他将神经网络和大脑的运作方式相提并论：
如果你相信这一点，那么就会有很多有趣的含义。如果你有一个非常大的人工神经网络，那么人脑可以做到的事，大型人工神经网络也可以做到。如果你足够认真地对待这种认识，一切都会随之而来，我的大部分工作都可以用这个来解释。
Sutskever 在 X 上的一篇帖子，读起来像一卷格言，不过应该能代表他内心对这项技术，最真实的看法：
如果你把智力看得比所有其他人类品质更重要，你就会过得很糟糕。
人工智能不为人知的一面
当其他人为能够与人类智慧相匹配的机器而苦苦挣扎时，Sutskever 正在为能够超越我们的机器做准备。
他称之为「超级人工智能」：
他们会更深入地看待事物，能看到我们看不到的东西。
我很难理解这到底意味着什么？人类智能是我们了解智能的基准。但 Sutskever 所说的比人类更聪明的智能是什么意思？
我们在 AlphaGo 中看到了一个非常狭隘的超级智能的例子。2016 年，DeepMind 的棋盘游戏 AI 在五局比赛中以 4-1 击败了世界上最好的围棋选手之一李世乭。它想出了如何以不同于人类数千年来共同发展的方式下围棋，它提出了新的想法。
Sutskever 指出了 AlphaGo 臭名昭著的 「Move 37」。
AlphaGo 的第 37 手. 图片来自：uffpost.com
在对阵 Sedol 的第二场比赛中，AI 做出了让评论员都感到困惑的举动。他们认为 AlphaGo 搞砸了，但事实上，它下出了游戏历史上从未见过的妙手。
正是这种思路使 Sutskever 做出了他职业生涯中最大的转变。他与 OpenAI 的科学家 Jan Leike 一起成立了一个团队，专注于他们所谓的「超对齐」。
Superalignment. 图片来自：twitter.com
对齐是行话，意味着让 AI 模型做你想做的事，仅此而已。Superalignment 是 OpenAI 应用于超级智能的对齐术语。
目标是提出一套故障安全程序来构建和控制这项未来技术，OpenAI 将把五分之一的庞大计算资源分配给这个问题，并在四年内解决它。
Leike 提出：
现有的对齐方法不适用于比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估人工智能系统正在做什么。
但随着人工智能系统变得越来越强大，它们将承担更艰巨的任务。这将使人类更难评估它们。在与 Ilya 组建超对齐团队时，我们已着手解决这些未来的对齐挑战。
该公司在7月份大张旗鼓地宣布了该项目。
但对一些人来说，这更像是幻想。OpenAI 在 Twitter 上的帖子引起了大型科技公司著名批评者的嘲笑，诚然，这些都是熟悉的异议声音。
但这些反对声给我们敲响警钟，有些人认为 OpenAI 处于领先地位，而另一些人则认为它处于边缘地位。
但是，对于 Sutskever 来说，超对齐是不可避免的下一步。他认为像他这样的核心机器学习研究人员没有足够多的研究，超对准的工作才刚刚开始，而研究机构需要进行广泛的变革。
但他心中有一个他想要设计的保护措施：一台机器，以父母看待孩子的方式看待人。
在我看来，这是黄金标准，也是常识：人们真正在关心孩子。
Sutskever. 图片来自：utoronto.ca
我和 Sutskever 在一起的时间快到了，但他分享了一个我完全没想过的观点。
一旦你克服了流氓人工智能的挑战，那又如何呢？在一个拥有更智能人工智能的世界里，人类还有生存空间吗？
以今天的标准来看可能很疯狂，但按照未来的标准就不会那么疯狂了，许多人会选择成为人工智能的一部分。
Sutskever 说这可能是人类试图跟上人工智能的方式，「起初，只有最大胆、最有冒险精神的人才会尝试这样做」。
「你会这样做吗？你会是第一个吗？」我问道。
Sutskever 起身回答：
第一个？我不知道，但这是我考虑的事情。真正的答案是：也许吧。