Ilya Sutskever（OpenAI 首席科学家）谈论构建 AGI、alignment、未来模型和启蒙等问题

【编者按：OpenAI 首席科学家 Ilya Sutskever是一位拥有丰富经验的研究人员，他在多个领域都有出色的表现。他曾在多伦多大学工作，并带领谷歌的Brain团队进行人工智能方面的研究。他还与Yoshua Bengio和Geoffrey Hinton等人共同开创了深度学习领域。前不久，The Lunar Society(月球协会)对Ilya Sutskever进行了专访，主要从Building AGI, Alignment, Future Models, Spies, Microsoft, Taiwan,& Enlightenment 等这些方面与Ilya Sutskever进行讨论，Ilya Sutskever认为：在人工智能领域，实现人工通用智能（AGI）的时间表尚不确定，不同专家之间也存在争议。有些人认为可能在未来几十年内实现，而另一些人则认为可能需要更长时间或永远无法实现；泄露和间谍活动是人工智能领域的持续关注点，因为知识产权和研究成果可能具有价值和敏感性；机器学习和人工智能领域正在进行生成模型之外的研究，包括强化学习、迁移学习和无监督学习等；实现AGI的潜在影响和后果在学术界广泛讨论和推测，许多专家警告超级智能AI的风险。Ilya Sutskever之前在谷歌工作过，最近一直在与微软合作开发先进的AI系统；技术公司在AI领域的竞争非常激烈。确保超级智能AI系统的行为与人类的价值和目标一致是人工智能安全和伦理领域的重大挑战，许多研究人员正在积极开发解决此问题的方法。我们特将该内容编译出来和各位客户、合作伙伴朋友分享。如需转载，请联系我们（ID：15937102830）】

━━━━

通用人工智能的时间

Dwarkesh Patel  （以下称Patel）：今天有幸采访到OpenAI的联合创始人兼首席科学家Ilya Sutskever。Ilya，欢迎来到Lunar Society。

Ilya Sutskever  （以下称Ilya）：谢谢，很高兴来到这里。

Patel ：第一个问题，不允许谦虚。能在自己的领域取得重大突破的科学家并不多，能在整个职业生涯中取得多个独立突破并定义自己领域的科学家就少得多了，这有什么区别呢?你和其他研究人员有什么不同?为什么你能在你的领域取得多项突破?

Ilya： 谢谢你的夸奖。这个问题很难回答。我真的很努力，我付出了我所拥有的一切，到目前为止，这一切都很有效。我想这就是全部了。

Patel ：明白了。如何解释为什么社会不容许使用GPT?为什么没有更多的外国政府利用它来进行宣传？

Ilya：也许他们还没有机会做到很多。但是，如果现在发生了一些什么，我也不会感到惊讶。我当然可以想象，他们会采用一些开源模型，并尝试将它们用于这一目的。当然，我希望这是他们未来会感兴趣的东西。

Patel ：从技术上讲，他们可能只是还没有充分考虑这个问题？

Ilya：  或者还没有大规模地使用他们的技术做到这一点。或者它可能正在发生。

Patel：  如果真的发生了，你能追踪到它吗？ 

Ilya：我认为大规模跟踪是可能的，这需要特殊的操作，但是可能的。

Patel ：关于AI现在有一些非常有价值的机会，比方说在飞机的规模上，但我们还没有达到 AGI。这个机会有多大？

Ilya：很难给出一个准确的答案，这肯定会是一个很好的多年期机会。这也是定义的问题。因为 AI 在成为 AGI 之前，将以指数方式年复一年地变得越来越有价值。 

事后看来，可能感觉只有一年或两年，因为这两年的规模比前几年要大。但我要说的是，去年人工智能已经产生了相当多的经济价值。明年将会越来越大。所以我认为，从现在到 AGI，这将是一个很好很长的时间段。

Patel ：好的。因为我很好奇是否有初创公司正在使用你的模型，在某个程度上，如果有人能做出AGI，那么世界上只有一个企业，那就是 OpenAI。有多少企业可以有机会生产 AGI 无法生产的东西？

Ilya：  这与询问 AGI 需要多长时间是同一个问题。这是一个很难回答的问题。我犹豫要不要给你一个数字。还有一个原因是，从事该技术的乐观人士往往会低估实现这项技术所需的时间。但我是通过思考自动驾驶汽车来支撑自己的。特别是，有一个类比，如果你看看特斯拉的大小，如果你看看它的自动驾驶行为，它看起来就像无所不能。但也很明显，在可靠性方面还有很长的路要走。我们可能也会遇到类似的情况，就我们的模型而言，看起来我们也可以做任何事情，同时，我们需要做更多的工作，直到我们真正解决了所有的问题，让它变得非常好，非常可靠，健壮，行为良好。

Patel ：到 2030 年，人工智能占 GDP 的百分比是多少？ 

Ilya：哦，天哪，很难回答这个问题。

Patel ：给我一个大概。 

Ilya： 问题是我的错误率是一个天平。我可以想象一个很大的百分比，同时我可以想象一个非常令人失望的小百分比。

Patel ：好吧，让我们以反事实为例，它只占一小部分。假设现在是 2030 年，这些 LLM 并没有创造那么多的经济价值。尽管您认为这不太可能发生，但对于为什么会发生这样的事情，您现在最好的解释是什么？

Ilya：我真的认为这不太可能，这是评论的前言。但如果我以你的问题为前提，为什么这些事情在现实世界的影响方面令人失望？我的回答是可靠性。如果在某种程度上，你真的希望他们是可靠的，但他们最终并不可靠，或者如果可靠性比我们预期的要难。

我真的不认为会是这样。但如果我不得不选择一个，而你告诉我——嘿，为什么事情没有成功？这就是可靠性。您仍然需要查看答案，并仔细检查所有内容。这确实抑制了这些系统可以产生的经济价值。

Patel：  明白了。它们将在技术上成熟，问题是它们是否足够可靠。

Ilya：从某种意义上说，不可靠意味着技术上不成熟。

━━━━

生成模型之后是什么

Patel ：是的，有道理。生成模型之后是什么？之前，您正在研究强化学习。基本上是这样吗？这是让我们走向 AGI 的模式吗？或者这之后还有什么？

Ilya：我认为这种模式会走得非常远，我不会低估它。这种确切的模式很可能不会完全成为 AGI 的形成因素。我不敢准确地说出下一个模式是什么，但它可能会涉及整合过去出现的所有不同想法。

Patel：  您指的是某个特定的对象吗？

Ilya：很难具体。

Patel  所以你可以说，下一个标记预测只能帮助我们匹配人类的表现，而可能无法超越它？怎样才能超越人类的表现呢？

Ilya：我质疑下一个标记预测不能超越人类表现的说法。从表面上看，它似乎不能。看起来如果你只是学习模仿，预测人们会做什么，这意味着你只能复制人。但这里有一个相反的论点，说明为什么它可能不完全如此。如果你的基础神经网络足够聪明，你只要问它——一个有洞察力、智慧和能力的人会做什么？也许这样的人不存在，但神经网络很有可能能够推断出这样的人的行为方式。你明白我的意思吗？

Patel ：是的，但它从哪里获得关于那个人会做什么的洞察力呢？如果不是来自...

Ilya：来自普通人的数据。因为如果你仔细想想，足够好地预测下一个标记意味着什么？这实际上是一个比表面上更深层次的问题。很好地预测下一个标记意味着您了解导致创建该标记的潜在现实。这不是统计数据。就像它是统计数据，但什么是统计数据？为了理解这些统计数据并压缩它们，您需要了解创建这组统计数据的世界是什么？然后你说 - 好吧，我有这么多人。是什么造就了人们的行为？他们有想法和感觉，他们有想法，他们以特定的方式做事。所有这些都可以从下一个标记预测中推断出来。我认为这应该使之成为可能，不是无限期，但在相当不错的程度上来说——好吧，你能猜出你会怎么做吗？如果你选择一个具有这种特征和那种特征的人？就像这样的人不存在一样，但因为你很擅长预测下一个标记，你应该仍然能够猜到那个人会做什么。这个假设的、虚构的人比我们常人的智力要强得多。

Patel：当我们对这些模型进行强化学习时，要过多久强化学习的大部分数据才会来自人工智能而不是人类？

Ilya：大多数默认的强化学习数据已经来自 AI。人类被用来训练奖励功能。但是奖励函数及其与模型的交互是自动的，强化学习过程中生成的所有数据都是由 AI 创建的。如果你看一下当前的技术/模式，由于 ChatGPT，从人类反馈中强化学习 (RLHF)，它得到了一些重要的关注。人类的反馈已被用于训练奖励函数，然后奖励函数用来创建训练模型的数据。

Patel：明白了。有没有可能将人类从循环中移除，让它以某种 AlphaGo 的方式自我改进？

Ilya：是的，当然。你真正想要的是教人工智能与人工智能合作的人类教师。你可能想把它想象成一个人类教师做 1% 的工作而人工智能做 99% 工作的世界。你不希望它是 100% 的 AI。但你确实希望它是一种人机协作，它可以教下一台机器。

Patel：我曾经尝试过这些模型，但它们似乎不太擅长多步推理。虽然他们已经变得越来越好，但真正超越障碍需要什么？

Ilya：我认为专门的训练会让我们到达目标。对基本模型的不断改进将使我们到达这一目标。但从根本上说，我也不觉得他们在多步推理方面有那么糟糕。实际上，我认为当它们在不被允许思考的情况下，它们不擅长多步推理。但是当它们被允许思考时，它们就很好了。我希望通过更好的模型和特殊训练，这会得到显著改善。

━━━━

数据、模型和研究

Patel：网上的推理标记数据用完了吗?他们足够多吗?

Ilya：关于这个问题的背景，有人声称在某个时候我们将用完标记数据，一般来说，用来训练这些模型。是的，我认为这一天会发生，到那时，我们需要有其他方法来训练模型，其他方法来有效地提高它们的能力和磨练它们的行为，确保它们做的正是你想要的事情，而不需要更多的数据。

Patel：你的数据还没用完吗？有更多的吗？

Ilya：是的，我想说我的数据状况还是相当不错的。还有很多事情要做。但总有一天，这些数据会用完。

Patel：最有价值的数据来源是什么？是 Reddit、Twitter 还是书籍？你会在哪里训练其他品种的标记数据？

Ilya：一般来说，你会喜欢那些表示更聪明的东西的标记数据，更有趣的标记数据。你提到的所有资料都很有价值。

Patel：所以也许不是推特。但是我们需要采用多模式来获得更多的标记数据？或者我们还有足够的文本标记数据吗？

Ilya：我认为您仍然可以仅在文本方面走得更远，但采用多模式似乎是一个非常富有成效的方向。

Patel：如果你愿意谈论这个，我们还没有找到抓取标记数据的地方在哪里？

Ilya：显然我无法为我们回答这个问题，但我相信对每个人来说，这个问题都有不同的答案。

Patel：我们可以得到多少个数量级的改进，不是从规模上，也不是从数据上，而是从算法上的改进？

Ilya：很难回答，但我相信有一些。

Patel：是有的多还是有的少？

Ilya：只有一个方法可以找出答案。

Patel：好的。让我来听听您对这些不同研究方向的看法。Retrieval transformers。它只是以某种方式将数据存储在模型本身之外，并以某种方式检索数据。

Ilya：看起来很有希望。

Patel ：但你认为这是一条前进的道路吗？

Ilya：这看起来很有希望。

Patel：机器人技术，Open AI 将其抛在脑后是否是正确的一步？

Ilya：是的，是这样。那时候真的不可能继续在研究机器人了，因为数据太少了。当时，如果你想从事机器人领域工作，你需要成立一家机器人公司。你需要有一个庞大的团队来建造和维护机器人。即便如此，如果你要拥有 100 个机器人，这已经是一个巨大的操作，但你不会获得那么多的数据。因此，在一个大部分进步来自计算和数据结合的世界里，没有通往机器人数据的途径。所以回到过去，当我们决定停止在机器人领域方面的工作时，我们没有前进的道路。 

Patel ：现在有吗 

Ilya：我想说，现在有可能开辟了一条前进的道路。但是人们需要真正致力于机器人技术的任务。你真的需要说——我要建造几千、几万、几十万个机器人，并以某种方式从它们那里收集数据，并找到一个前进的道路，让机器人做一些稍微更有用的事情。然后是得到并用于训练模型的数据，它们会做一些更有用的事情。你可以想象这是一条循序渐进的改进之路，你建造更多的机器人，它们做更多的事情，你收集更多的数据，等等。但你真的需要坚持这条道路。如果你说，我想让机器人技术成为现实，那就是你需要做的。我相信有些公司正在这样做。但你需要真正热爱机器人，需要真正愿意解决与它们打交道时的所有物理和后勤问题。它与软件完全不同。我认为，今天，只要有足够的动力，就可以在机器人技术方面取得进步。

Patel：有哪些想法是您很想尝试的，但因为它们在当前硬件上运行不佳而无法尝试？

Ilya：我不认为目前的硬件是一个限制。但事实并非如此。

Patel：明白了。但是任何您想尝试的东西都可以旋转起来吗？ 

Ilya：当然。您可能希望当前的硬件更便宜，或者如果它具有更高的内存处理带宽可能会更好。但总的来说，硬件不是问题。

━━━━

结盟AIignment

Patel：让我们谈谈Alignment。你认为我们会有Alignment的数学定义吗？

Ilya：不太可能有数学定义。我认为，我们将实现从不同方面看待Alignment的多个定义，而不是实现一个数学定义。这就是我们将如何获得我们想要的保证。我的意思是你可以查看各种测试中的行为，一致性，在各种对抗性压力情况下，你可以查看神经网络如何从内部运行。您必须同时考虑其中的几个因素。

Patel：在你发布一个模型之前，您必须有多大的把握？100%？95%？

Ilya：这取决于模型的能力。模型的能力越强，我们就越需要自信。 

Patel ：好吧，假设这几乎是 AGI。通用人工智能在哪里？

Ilya：这取决于你的 AGI 能做什么。请记住，AGI 是一个模糊的术语。一般的大学本科生都是 AGI，对吧？关于AGI 的含义存在很大的歧义。取决于你把这个标记放在哪里，你需要或多或少的自信。

Patel：您之前提到了一些通往Alignment的途径，您认为目前最有希望的途径是什么？

Ilya：我认为这将是一个组合。我真的认为你不会想要只有一种方法。人们希望有多种方法的组合。你花费大量的对抗性计算来找出你想要它教授的行为和它表现出的行为之间的不匹配。我们用另一个神经网络来研究这个神经网络，以了解它在内部是如何运作的。所有这些都是必要的。这样的每一种方法都会减少错位的可能性。而且您还希望处在一个您的一致性程度比模型能力增长更快的世界中。

Patel：您认为我们今天用来理解模型的方法是否适用于实际的超级强大模型？或者它们的适用性如何？是不是同样的东西也会对他们起作用？ 

Ilya：这不能保证。我想说，现在，我们对模型的理解还很初级。我们取得了一些进展，但还有可能取得更大的进展。因此，我希望最终真正成功的是，当我们拥有一个被充分理解的小型神经网络时，它的任务是研究一个不被理解的大型神经网络的行为，以进行验证。

Patel：从什么角度来看，大多数 AI 研究都由 AI 完成的了？

Ilya：今天当你使用 Copilot时，你如何划分它？所以我希望在某个时候你会问你ChatGPT 的后代，你会说 - 嘿，我正在考虑这个和这个。你能给我一些有成效的建议吗？实际上你会得到一些有成效的建议。我不认为这会让你有可能解决你以前无法解决的问题。

Patel：明白了。它只是告诉人类，让他们更快地想出点子或其他东西。它本身不与研究相互作用吗？

Ilya：这是一个例子。你可以用多种方式将它切片。但瓶颈是好的想法、好的见解，而这正是神经网络可以帮助我们解决的问题。

Patel：如果你正在为某种一种研究成果或产品设计一个10亿美元的奖金，那么你为这个10亿美元的奖金设定的具体标准是什么？这样的奖项有什么意义吗？

Ilya：你问的很有趣，我实际上正在考虑这个问题。我还没有想出确切的标准。我们可以说两年后、三年或五年后，我们回顾并说这是主要结果。所以与其说有一个颁奖委员会立即决定，不如等五年，然后追溯颁奖。

Patel：但在你解决这个问题的过程中，我们没有具体的东西可以确定，你已经取得了很大的进展?

Ilya：进步很大，是的。我不会说这就是全部。

Patel：你认为端到端训练是适合越来越大模型的正确架构吗？或者我们是否需要更好的方法来将事物连接在一起？

Ilya：端到端训练非常有前景。将事物连接在一起是很有前途的。

Patel：一切都充满希望。

Patel：所以 Open AI 预计 2024 年的收入将达到 10 亿美元。这很可能是正确的，但我很好奇，当你谈论一种新的通用技术时，你如何估计它会带来多大的意外收获呢？为什么是那个特定的数字？

Ilya：从 GPT-3 开始，从两年前通过 API开始，我们已经拥有了一个产品很长一段时间了，我们已经看到了它是如何成长的。我们已经看到对 DALL-E 的反应是如何增长的，您也看到了对 ChatGPT 的反应是如何增长的，所有这些都为我们提供了信息，使我们能够对任何事情做出相对合理的推断。也许这就是一个答案。你需要有数据，你不能凭空想出这些东西，否则，你的误差在每个方向上都是100 倍。

Patel：但是大多数指数并不会保持指数状态，尤其是当它们的量越来越大时，对吗？那么在这种情况下如何判断呢？

Ilya：你会打赌人工智能不行吗？

━━━━

后通用人工智能的未来

Patel：我和你谈过。让我们谈谈后 AGI 的未来是什么样的。我猜你正在为这个你真正痴迷的宏伟目标每周工作 80 小时。你对基本上住在 AI 养老院的世界感到满意吗？AGI 来了之后你个人会做什么？

Ilya：AGI 来了之后，我要做什么，或者人们要做什么，这个问题是一个非常棘手的问题。人们会在哪里找到意义？但我认为这是人工智能可以帮助我们的事情。我想象的一件事是，我们将能够变得更加开明，因为我们与 AGI 交互，这将帮助我们更正确地看待世界，并由于交互而变得更好。想象一下与历史上最好的冥想老师交谈，那将是一件很有帮助的事情。但我也认为，由于世界将发生巨大变化，人们将很难准确了解正在发生的事情以及如何真正做出贡献。我认为有些人会选择做的一件事是成为人工智能的一部分。

Patel：你会成为 AI 的一部分吗？

Ilya：这是非常诱人的。

Patel：你认为 3000 年后会有实体化的人类吗？ 

Ilya：3000？我怎么知道 3000 年后会发生什么？

Patel：它看起来像什么？现在地球上还有人类行走吗？或者你们有没有具体考虑过你们真正想要这个世界是什么样的？

Ilya：让我向您描述一下我认为这个问题不太正确的地方。这意味着我们可以决定我们希望世界是什么样子的。我不认为这幅图是正确的。变化是唯一不变的。当然，即使 AGI 建成之后，也不意味着世界将是静止的。世界将继续变化，世界将继续发展。它会经历各种各样的转变。我认为没有人知道 3000 年后的世界会是什么样子。但我确实希望会有很多人类后代过着幸福、充实的生活，他们可以自由地做自己认为合适的事情。或者他们是解决自己问题的人。一个我会觉得非常乏味的世界是我们构建这个强大工具，然后政府说 - 好吧，AGI 说社会应该以这样的方式运行，现在我们应该以这样的方式运行社会。我更希望有一个世界，人们仍然可以自由地犯自己的错误并承担自己的后果，并逐渐在道德上进化，并自行进化，而 AGI 提供的更像是一个基本的安全网。

Patel：与仅仅进行研究相比，您花多少时间思考这些事情？

Ilya：我确实考虑过这些事情。他们是非常有趣的问题。

Patel：我们今天拥有的能力，在哪些方面超越了我们 2015 年的预期？到目前为止，它们在哪些方面仍未达到您的预期？

Ilya：公平地说，这是我在 2015 年所期待的。在 2015 年，我的想法要多得多——我只是不想赌深度学习不行。我想在深度学习上下最大的赌注。我不知道怎么做，但它会解决的。

Patel：但是，是否有任何具体方式表明它比您预期的要多或比您预期的要少？就像 2015 年的一些具体预测被推翻了一样？

Ilya：不幸的是，我不记得自己在 2015 年做过什么具体的预测。但我肯定认为，总的来说，在 2015 年，我只是想在深度学习上做出最大可能的赌注，但我并不清楚确切的数字。对于七年后事情会发展到什么程度，我并没有具体的想法。

好吧，不是在 2015 年，我在 2016 年和人相处得很好，也许是 2017 年，事情会发展得很好。而是细节。这两者都有，这两种情况都让我感到惊讶，又让我做出了这些大胆的预测。但也许我内心只相信他们一半。

Patel：你现在相信什么即使是OpenAI的大多数人都觉得难以置信的东西?

Ilya：因为我们在 OpenAI 进行了很多交流，所以人们对我的想法有很好的了解，而且我们在 OpenAI 真正达到了我们在所有这些问题上意见一致的地步。

Patel：谷歌有其定制的 TPU 硬件，它有来自所有用户的数据，Gmail 等。它是否让他们在训练比你更大的模型和更好的模型方面有优势？

Ilya：起初，当 TPU 出来的时候，我真的印象非常深刻，我想——哇，这太棒了。但那是因为那时我还不太了解硬件。事实证明，TPU 和 GPU 几乎是一回事。 

他们非常非常相似。GPU 芯片稍微大一点，TPU 芯片稍微小一点，可能稍微便宜一点。但随后他们生产了更多的 GPU 和 TPU，因此 GPU 最终可能会更便宜。

但从根本上说，你有一个大处理器，你有很多内存，这两者之间存在瓶颈。而 TPU 和 GPU 都试图解决的问题是，将一个浮点数从内存移动到处理器所花费的时间，你可以在处理器上进行数百次浮点运算，这意味着你必须做某种批处理。从这个意义上说，这两种架构是相同的。所以我真的觉得在某种意义上，硬件唯一重要的是每次失败的成本和整个系统成本。

Patel：没有太大的区别？

Ilya：事实上，我不知道。我不知道 TPU 的成本是多少，但我怀疑 TPU可能更贵，因为 TPU 的数量更少。

━━━━

新想法被高估了

Patel：当你在工作时，有多少时间花在配置正确的初始化上？确保训练运行顺利，并获得正确的超参数，以及有多少只是提出全新的想法？

Ilya：我会说这是一个组合。提出全新的想法只是工作的一小部分。当然提出新想法很重要，但更重要的是理解结果，理解现有的想法，理解正在发生的事情。

神经网络是一个非常复杂的系统，对吧？你运行它，你会得到一些难以理解的行为。这是怎么回事呢？理解实验结果，弄清楚下一步要进行的实验，很多时间都花在了这上面。了解哪里出了问题，是什么导致神经网络产生了意想不到的结果。

我想说，很多时间也花在了想出新的想法上。我不太喜欢这种框架。这并不是说它是错误的，而是主要活动实际上是理解。

Patel：您认为两者之间的区别是什么？

Ilya：至少在我看来，当你说想出新想法时，我就像——哦，如果它这样做了会怎样？而理解它更像是——这整件事是什么？正在发生的真正潜在现象是什么？潜在的影响是什么？为什么我们以这种方式而不是另一种方式做事？当然，这与所谓的提出想法非常接近。但理解部分是实际行动发生的地方。

Patel：这是你整个职业生涯的写照吗？如果你回想一下像 ImageNet ，它是更新颖的想法还是更理解？

Ilya：好吧，那绝对是理解。这是对非常古老的事物的一种新理解。

Patel：在 Azure 上培训的体验如何？

Ilya：极好的。微软一直是我们非常非常好的合作伙伴。他们确实帮助采用了 Azure，并将其带到了对 ML 非常有用的地步，我们对此非常满意。

Patel：整个人工智能生态系统在台湾可能发生的事情面前有多脆弱？假设台湾发生海啸什么的，人工智能会怎么样？

Ilya：这肯定会是一个重大挫折。在未来几年内，没有人能够获得更多的计算能力。但我预计计算机将会兴起。例如，我相信英特尔就像几代人以前一样拥有晶圆厂。这意味着如果英特尔愿意，他们可以从四年前开始生产类似 GPU 的东西。但是，这不是最好的。

实际上，我不确定我对英特尔的说法是否正确，但我知道台湾以外也有晶圆厂，只是没那么好。但是您仍然可以使用它们，并且仍然可以与它们一起走得更远。这只是成本问题，只是一次挫折。

━━━━

模型成本

Patel：随着这些模型变得越来越大，推理的成本是否会变得过高？

Ilya：我对这个问题有不同的看法。这并不是说推理会变得成本高昂。更好模型的推理确实会变得更昂贵。但这是禁止的吗？这取决于它有多大用处。如果它的用处大于它的价格，那么它就不会被禁止。

打个比方，假设您想与律师交谈。你有一些案子或者需要一些建议什么的，你很乐意每小时花费 400 美元，对吧？因此，如果你的神经网络可以为你提供真正可靠的法律建议，你会说——我很乐意花 400 美元获得该建议。突然之间，推理就变得不那么昂贵了。问题是，神经网络能否以这种代价产生足够好的答案？

Patel：是的。不同型号有价格区别吗？

Ilya：今天已经是这样了。在我们的产品上，API 服务于多个不同大小的神经网络，不同的客户根据他们的用例使用不同大小的不同神经网络。

如果有人可以采用一个小模型，并对其进行微调，得到令他们满意的东西，他们就会使用它。但如果有人想做一些更复杂、更有趣的事情，他们会使用最大的模型。

Patel：您如何防止这些模型成为商品，而这些不同的公司只是相互压低价格，直到与GPU 运行的成本基本持平？

Ilya：是的，毫无疑问，有一股力量正试图创造它。答案是你必须不断取得进步。你必须不断改进模型，必须不断提出新的想法，让我们的模型更好、更可靠、更值得信赖，这样你才能相信他们的答案，所有这些事情。

Patel：是的。但是假设现在是 2025 年，有人以成本价提供 2024 年的模型。而且还是很不错的。如果一年前的版本更好，为什么人们会使用 2025 年的新产品？

Ilya：那里有几个答案。对于某些用例来说，这可能是正确的。2025 年将有一款新模型，它将推动更有趣的用例。还有一个推理成本的问题。如果您可以进行研究以更低的成本提供相同的模型。同一个模型，服务于不同的公司，成本会不同。我还可以想象某种程度的专业化，一些公司可能会尝试专注于某些领域并比其他公司更强大。对我来说，这在某种程度上可能是对商品化的回应。

Patel：随着时间的推移，这些不同公司的研究方向是相交还是分化？他们是否在做类似的事情？还是说他们在不同的领域优分支？

Ilya：我想说，在短期内，看起来会相交。我预计会出现相交-分化-相交的行为，短期工作有很多相交，长期工作会有一些分化。但是一旦长期工作开始取得成果，就会再次相交。

Patel：明白了。当他们中的一个找到最有前途的领域时，每个人都会……

Ilya：这是正确的，显然，现在出版的作品少了，所以要重新发现这个有前途的方向需要更长的时间。但这就是我想象的事情的发展方向。相交，分化，相交。

Patel：是的。我们在一开始就谈到了这一点。但是随着外国政府了解这些模型的能力时，您是否担心间谍或某种形式的攻击来获取您的权重，或以某种方式滥用这些模型并了解它们？

Ilya：是的，你绝对不能忽视这一点。我们会尽最大努力避免这种情况，但这对每个建造者来说都是一个问题。

Patel：如何防止代码泄漏？ 

Ilya：你们有非常好的安保人员。.

Patel：有多少人有能力使用权限通过 SSH 进入机器？

Ilya：安保人员做得非常好，所以我真的不担心代码被泄露。

Patel：在这种规模下，您期望这些模型具有什么样的涌现特性？有什么东西是从头开始的吗？

Ilya：我敢肯定会出现真正令人惊讶的新特性，我不会感到惊讶。我真正感到兴奋的是，我希望看到的是——可靠性和可控性。我认为这将是一类非常非常重要的涌现性质。如果你有可靠性和可控性，帮助你解决很多问题。可靠性意味着您可以信任模型的输出，可控性意味着您可以控制它。我们会看到，但如果这些突现属性确实存在，那就太酷了。

Patel：有什么方法可以提前预测吗？这个参数计数会发生什么，那个参数技术会发生什么？

Ilya：我认为可以对特定功能进行一些预测，尽管这绝对不简单，至少在今天，您不能以超细粒度的方式进行预测。但是在这方面做得更好，真的很重要。任何对此感兴趣并且对如何做到这一点有研究想法的人，都可以做出宝贵的贡献。

Patel：您对这些比例定律的重视程度如何？有一篇论文说——你需要这么多数量级才能得出所有的推理？你会认真对待这件事吗，还是你认为它会在某个时候崩溃?

Ilya：问题是缩放定律会告诉您下一个单词预测准确性的日志会发生什么，对吗？将下一个单词的预测准确性与推理能力联系起来是一个完全不同的挑战。我确实相信两者之间有一个链接，但这个链接很复杂。而且我们可能会发现还有其他的东西可以让我们在单位努力下有更多的推理能力。您提到了推理标记数据，我认为它们会有所帮助，也许有些方法能帮上忙。

Patel：您是否正在考虑雇用人员为您生成标记数据？还是说这一切都来自于已经存在的东西？

Ilya：我认为依靠人来教我们的模型做事，尤其是确保他们表现良好，并且不会产生错误的东西是一件非常明智的事情。

━━━━

进步是必然的吗？

Patel：我们在拥有这些 GPU 的同时拥有transformer变换器，同时拥有我们需要的数据，这不是很奇怪吗？你觉得所有这些事情同时发生是不是很奇怪，还是你不这么认为？

Ilya：这绝对是一个有趣的情况。我会说这很奇怪，在某种程度上它不那么奇怪。这就是它不那么奇怪的原因——数据存在、GPU 存在以及transformer转换器存在，这一事实背后的驱动力是什么？数据之所以存在，是因为电脑变得更好、更便宜，我们拥有越来越小的晶体管。突然之间，在某个时候，每个人都拥有一台个人电脑变得经济实惠了。一旦每个人都拥有了个人电脑，你真的想把它们连接到网络上，你就可以上网了。一旦有了互联网，就会突然出现大量数据。GPU 同时也在改进，因为你有越来越小的晶体管，你想用它们做些什么？

游戏是您可以做的事情。然后在某个时候，Nvidia 说——游戏 GPU，我可能会把它变成通用 GPU 计算机，也许有人会发现它有用。事实证明它对神经网络很有用。GPU 可能会在五年后、十年后出现。让我们假设游戏不是问题所在。很难想象，如果游戏不存在，这意味着什么？但也许有一个反事实的世界，GPU 在数据出现后五年或数据出现前五年出现，在这种情况下，事情可能不会像现在这样准备就绪。但那是我想象的画面。所有这些方面的所有这些进展都是交织在一起的。这不是巧合。你不能选择在哪些方面有所改善。

Patel：这种进步是多么不可避免？假设您和 Geoffrey Hinton 以及其他几位先驱者从未出生。深度学习革命是会在同一时间发生？它延迟了多久？

Ilya：也许会有一些延迟。也许是延迟一年？ 

Patel：真的吗？就这些吗？ 

Ilya：这真的很难说。我不愿给出一个更长的答案，因为GPU 会不断改进。我不明白为什么没有人发现它。因为这是另一件事。让我们假设没有人做过，计算机变得越来越快、越来越好。训练这些神经网络变得越来越容易，因为你有更大的 GPU，所以训练一个神经网络需要更少的工程工作。您不需要对代码进行太多优化，当ImageNet数据集出来的时候，它非常庞大，而且非常难以使用。现在想象一下，你等了几年，它变得非常容易下载，人们可以随意修改。我的猜测是最多几年。不过，我不愿给出更长的答案。你无法重新管理你不了解的世界。

Patel：让我们暂时回到alignment。作为深入了解这些模型的人，您对alignment的难度有何直觉？

Ilya：在目前的能力水平上，我们对如何调整它们有一套很好的想法。但我不会低估哪些实际上比我们更聪明的模型，以及能够歪曲它们意图的模型之间的一致性的难度。这是需要深入考虑很多并进行研究的事情。学术研究人员经常问我，他们可以贡献的最佳地方是什么。而alignment研究是学术研究人员可以做出非常有意义的贡献的地方。 

Patel：除此之外，您认为学术界是否会对实际能力提出重要的见解吗，还是目前只是公司这样做？

Ilya：这些公司将认识到这些能力。学术研究很有可能得出这些见解。由于某种原因，这种情况似乎并不经常发生，但我不认为学术界有什么基本的东西。学术界也不是不能。也许他们只是没有考虑正确的问题或其他事情，因为可能只是更容易看到这些公司内部需要做什么。

Patel：我明白了。但也有可能有人会意识到……

Ilya：我完全相信。为什么要排除这种可能性？

Patel：这些语言模型开始真正影响物理世界而不仅仅是精神世界的具体步骤是什么？

Ilya：我不认为精神世界和物质世界之间有明显的区别。假设神经网络告诉你，嘿，这是你应该做的事情，它会改善你的生活。但是您需要以某种方式重新布置您的房间。然后你去重新安排你的房间，神经网络影响了物理世界。

━━━━

未来的突破

Patel：很好。你认为还需要一些像变形金刚一样重要的额外突破才能实现超人AI吗?或者你认为我们基本上从书中得到了一些见解，我们只需要实现它们并将它们连接起来?

Ilya：我看不出这两种情况之间有这么大的区别，让我解释一下原因。在过去，取得进步的方式之一是，我们一直都知道某些东西具有可取的特性，但我们没有意识到。这是一个突破吗？你可以说是的，它是。这是书中某些内容的实现吗？是的，它是。

我的感觉是，其中一些很可能会发生。但事后看来，这并不像是一个突破。每个人都会说——哦，当然可以。很明显，这样那样的事情是可行的。

Transformer 之所以被作为一项特定的进步提出来，是因为它是一种几乎对任何人来说都不是显而易见的东西。所以人们可以说这不是他们所知道的事情。让我们考虑一下深度学习最基本的进步，一个经过反向传播训练的大型神经网络可以做很多事情。新奇之处在哪里？不是在神经网络中。它不在反向传播中。但这绝对是一个巨大的概念突破，因为在很长一段时间里，人们都没有意识到这一点。但现在每个人都看到了，每个人都会说——当然，这是显而易见的。庞大的大神经网络。每个人都知道他们可以做到。

Patel：您对您的前任顾问的新前馈算法有何看法？

Ilya：我认为这是在尝试训练一个没有反向传播的神经网络。如果您有动力去尝试了解大脑如何学习连接的，这将特别有趣。原因是，据我所知，神经科学家确信大脑无法实现反向传播，因为突触中的信号只会向一个方向移动。

因此，如果你有神经科学的动机，并且你想说 - 好吧，我怎么能想出一些东西，来尝试在不进行反向传播的情况下尝试近似反向传播的良好特性？这就是前馈算法试图做的事情。但是如果你只是想设计一个好的系统，那么没有理由不使用反向传播。这是唯一的算法。

Patel：我想我在不同的环境中听过您谈论使用人类作为 AGI 存在的现有例子。在什么情况下，你不那么认真地对待这个比喻并且不觉得有必要在研究中进行研究？因为它对你来说是一种存在的案例。

Ilya：在什么情况下，我才能不再把人类作为智能存在的例子来关心呢?

Patel：或者，作为您在追求模型智能方面想要效仿的例子。

Ilya：我认为受到人类的启发是件好事，受到大脑的启发是件好事。在大脑中正确地受到人类的启发是一门艺术，因为它很容易抓住人类或大脑的非必要品质。很多人的研究都试图从人类和大脑中获得启发，但他们的研究往往会变得有点具体。人们也有一点——好吧，应该遵循什么样的认知科学模型？同时考虑神经网络本身的思想，人工神经元的思想。这也是受到大脑的启发，但结果是非常有效的。那么他们是怎么做到的呢？人类的哪些行为是必不可少的，你说这是向我们证明它的东西'这是可能的？什么是必需品？不，这实际上是一些更基本的东西的一些突发现象，我们只需要把注意力放在我们自己的基础问题上。一个人可以，而且应该谨慎地从人类智慧中汲取灵感。

Patel：最后一个问题。为什么在您的案例中，率先进入深度学习革命与仍然是顶尖研究人员之间存在如此强烈的相关性？你可能会认为这两件事没有那么大的相关性。但是为什么会有这种相关性呢?

Ilya：我不认为这些东西是超级相关的。老实说，这个问题很难回答。我只是一直很努力地尝试，到目前为止，结果证明已经足够了。 

Patel：所以是毅力。 

Ilya：这是必要条件，但不是充分条件。很多事情都需要结合在一起才能真正解决问题。你需要真正去做，也需要有正确的看待事物的方式。很难对这个问题给出一个真正有意义的答案。

Patel：Ilya，这真是我的荣幸。非常感谢您来到Lunar Society。谢谢你带我们来办公室。谢谢。

Ilya：是的，我真的很喜欢。非常感谢。

源于硅谷、扎根中国，上海殷泊信息科技有限公司 (MoPaaS魔泊云) 是中国领先的人工智能(AI) 平台和服务提供商，为用户的数字转型、智能升级和融合创新直接赋能。针对中国AI应用和工程市场的需求，基于自主的智能云平台专利技术，MoPaaS 魔泊云在业界率先推出新一代开放的AI平台为加速客户AI技术创新和应用落地提供高效的GPU算力优化和规模化AI模型开发运维 (ModelOps) 能力和服务。MoPaaS魔泊云 AI平台已经服务在教学科研、工业制造、能源交通、互联网、医疗卫生、政府和金融等行业超过300家国内外满意的客户的AI技术研发、人才培养和应用落地工程需求。MoPaaS魔泊云致力打造全方位开放的AI技术和应用生态。同时，MoPaaS魔泊云在浙江嘉兴设立安尚云信信息科技有限公司全资子公司，致力于推动当地的科技产业发展，并积极培养本地专业技术人才，创造更大的社会和经济效益。MoPaaS 被Forrester评为中国企业级云平台市场的卓越表现者(Strong Performer)。