四位OpenAI成员的访谈：ChatGPT幕后的故事 | 水木视界iss.43

2022年11月底，总部位于旧金山的人工智能公司OpenAI默默地推出了ChatGPT。该公司并没有预料到该产品获得的爆红效应。自那时以来，OpenAI一直在努力适应这一变化，并从中获利。

OpenAI的政策专家Sandhini Agarwal表示，该产品被视为“研究预览版”，是未来两年技术的先导，并通过收集公众反馈来解决一些缺陷。OpenAI的科学家Liam Fedus参与了ChatGPT的开发，他表示：“我们不想把它过分包装成一个重大的基础性进展。”

为了了解ChatGPT背后的故事，包括它的制作过程、发布以来的更新，以及开发人员对其成功的感受，作者采访了四位OpenAI的成员。除了Sandhini Agarwal和Liam Fedus外，还有OpenAI的联合创始人John Schulman和OpenAI调整团队的负责人Jan Leike。该团队的目标是解决如何使AI能够满足用户的需求，而不是制造更多问题。

Copyright © MIT Tech Review Will Douglas Heaven

尽管OpenAI对ChatGPT的成功感到困惑，但他们正积极地调整战略，并观察着数百万人如何使用它，从而在出现严重的问题时尝试修复它们。自去年11月以来，OpenAI已经多次更新了ChatGPT，以阻止用户诱导ChatGPT生成不适宜内容（即越狱），OpenAI的研究人员正在使用一种名为“对抗训练”的技术，这项工作会将多个聊天机器人匹配并相互对抗。

除此之外，OpenAI与微软签订了一项数十亿美元的协议，并与全球管理咨询公司贝恩（Bain）合作，在其客户的营销活动中使用OpenAI的生成性AI模型，包括可口可乐。ChatGPT的热闹引发了关于大型语言模型的淘金热，全球各地的公司和投资者都加入了这个行动。

虽然ChatGPT的出现只有三个月时间，但已经引起了很多关注。它的来龙去脉、OpenAI采取了哪些措施以确保它准备好正式发布，以及该企业接下来的计划等等...这些问题都备受关注。

以下为采访内容

Jan Leike: 说实话，最近发生的一切给我们带来了太多的压力。我们仍处于震惊之中，也一直在试图跟上事态的发展。

John Schulman: 在ChatGPT发布后的几天里，我无时无刻不在刷推特，关于 ChatGPT 的截图填满了我的推特动态。我知道它会很受用户的欢迎，并且会吸引到大批的关注，但我并没有预料到它会如此火爆。

Sandhini Agarwal: 我们所有人都惊讶于它的用户数量。在发布前，我们对这些模型做了很多工作，有时候我们会忘记这些模型对于外界来说是多么超前。

Liam Fedus: 我们当然会感到震惊。在此之前，很多企业都尝试过制作通用聊天机器人，这个领域并不算成熟。然而，我们的内部测试让我们有信心能够制作出一款人们喜欢的产品。

Jan Leike: 我很好奇的是，是什么推动了这些 - 是什么在推动着ChatGPT的传播。老实说，我们不理解，我们不知道。

研发团队的困惑在于，ChatGPT所使用的大部分技术并不是全新的。实际上，ChatGPT是GPT-3.5的精细调整版本，而GPT-3.5是OpenAI在发布聊天机器人之前数月发布的一系列大型语言模型的更新版本。GPT-3.5本身是GPT-3的更新版本，于2020年问世。

尽管这些技术并不是全新的，但OpenAI在其网站上提供这些模型作为API，这使得其他软件开发人员可以轻松地将模型插入其自己的代码中。OpenAI还在2022年1月发布了GPT-3.5的先前精细调整版本，称为InstructGPT。然而，这些以前版本的技术从未向公众推广。

Liam Fedus: ChatGPT模型是从与InstructGPT相同的语言模型微调而来。我们使用了类似的微调方法，但是我们也添加了一些对话数据并微调了训练过程。因此，我们不想过分宣传它是一项重大的基础性进展。然而，结果证明，对话数据对ChatGPT的性能有很大的积极影响。

John Schulman: 根据标准基准测试评估，这些模型的原始技术能力实际上并没有实质性的差异。然而，相比之下，ChatGPT更具可访问性和可用性。

Jan Leike: 在某种意义上，用户可以将ChatGPT理解为一个受过良好教育的AI系统。在ChatGPT发布之前，它的基本模型已经在许多接口上开放近一年了。在另一方面，我们让它更符合用户对它的期望。它会与用户对话，易于在聊天界面中访问，试图提供帮助。

John Schulman: 它更容易推断出用户的意图。用户可以通过多次交流来获得他们想要的对话。

ChatGPT的训练方式与InstructGPT非常相似，它们都使用了一种被称为人类反馈强化学习（RLHF）的技术，即通过强调人类用户实际喜欢的内容来微调它们。

Jan Leike: 我们让一大群用户阅读ChatGPT的提示和不同回应，并让他们告知哪个回应更可取。然后我们会将所有的反馈数据合并到一个训练中。这在很大程度上与我们使用InstructGPT所做的事情类似。用户们希望它有帮助，诚实，无害。例如：如果用户的查询不清楚，它应该询问后续问题。它还应该澄清自己是一个AI系统，而不应该假装自己有某些身份和能力：当用户要求它完成违背道德的任务时，它必须明确拒绝。其中的一条拒绝语句是“作为由OpenAI训练的语言模型...”，这句话并没有明确地被写入ChatGPT的逻辑中，而是很多人类评分者共同训练的结果。

Sandhini Agarwal: 是的，人类评分者必须根据各种标准对模型进行排名，例如真实性。但他们也认为避免对ChatGPT赋予身份是一个好的习惯。

因为ChatGPT使用了OpenAI曾用过的相似技术，在向公众发布模型的时候，研究团队并没有做过多的限制。他们认为，之前模型设定的标准已经足够了。

Sandhini Agarwal: 在发布ChatGPT时，我们并不认为它具备极高的风险性：此前的GPT-3.5已经足够安全，此外，通过ChatGPT对人类喜好的训练，模型学会了拒绝行为，它们能够拒绝许多不适宜的请求。

Jan Leike: 我们确实对ChatGPT进行了一些额外的“红队测试”，所有OpenAI的员工尝试过打破这个模型。我们还邀请一些外部团队做了同样的事情。另外，我们还有一个信任用户的早期访问计划，他们提供了宝贵的反馈意见。

Sandhini Agarwal: 在测试阶段，我们确实发现它生成了某些不需要的输出，但它们都是GPT-3.5也会生成的内容。因此，在风险方面，作为一个研究预览版本——这是ChatGPT的最初目的——它让我感觉很好。

John Schulman: 你不能等到系统完美无缺之后才发布它。我们对早期版本测试了数个月，测试者对产品的总体印象是积极的。我们最大的担忧是事实性，因为该模型喜欢捏造不存在的事情。但是，InstructGPT和其他大型语言模型已经进入了公众视野。因此，我们认为只要ChatGPT在事实性和其他安全问题方面比那些模型更好，就可以发布了。在发布之前，根据我们有限的评估，我们确认该模型似乎比其他模型更加真实和安全。

自ChatGPT发布以来，OpenAI一直在观察人们如何使用它，这是他们首次看到了一个大型语言模型在数千万用户手中的表现，这些用户可能会试图测试其极限并找出其缺陷。团队试图抓住ChatGPT可能产生的最棘手的例子，从关于“上帝爱恋童神父的歌曲”到“窃取信用卡号码的恶意软件代码”，并利用它们来限制模型的未来版本。

Sandhini Agarwal: 我们还有很多工作要做。ChatGPT的爆红使许多问题凸显出来，并成为关键问题，而我们希望尽快解决这些问题。比如，我们知道这个模型仍然存在偏见：ChatGPT很擅长拒绝不好的请求，但用户能够编写提示，进而规避它的拒绝逻辑。

Liam Fedus: 能够观察到用户使用多样化和有创意的应用是令人兴奋的，但我们始终专注于需要改进的领域。通过迭代过程，部署、获取反馈并进行优化，我们可以生产出最符合用户期望的技术。随着技术的发展，新问题不可避免地会出现。

Sandhini Agarwal: 在发布后的几周里，我们看了一些人们发现的可怕交谈案例。我们评估了每一个案例，并讨论了如何修复它们。

Jan Leike: 大部分时候，那些案例会在Twitter上疯传，但也有一些人会私下联系我们。

Sandhini Agarwal: 我们发现不少用户再利用某些漏洞去突破ChatGPT的道德限制（即越狱）。对此，我们并不感到惊讶，这是我们正在积极解决的问题。当我们发现一些不适宜对话数据时，就会将这些对话添加到我们的训练和测试数据中。我们看到的所有数据都会对未来的模型产生影响。

Jan Leike: 每次我们有一个更好的模型时，我们都希望将其发布并测试。我们非常乐观地认为，一些有针对性的对抗性训练可以大大改善越狱的情况。目前，我们不清楚这些问题是否会完全消失，但我们确定越狱会变得更加困难。这并不意味着在发布之前我们不知道越狱的可能性。我认为，一旦用户在本地部署了这些系统，真正的安全问题很难预测。因此，我们非常重视监控人们使用系统的方式，观察会发生什么，然后对此做出反应。当一个系统进入真实世界时，很难预见到所有实际发生的事情。

今年1月，微软推出了Bing Chat，一款搜索聊天机器人，许多人认为它是OpenAI尚未官方发布的GPT-4版本。（OpenAI表示：“Bing由我们的下一代模型之一提供支持，Microsoft专门为搜索进行了定制。它融合了ChatGPT和GPT-3.5的先进技术。”）科技巨头将聊天机器人的应用视为他们的下一个挑战。

Sandhini Agarwal: 显然，对于科技巨头来说，这些模型的上下文使用非常重要。像谷歌和微软这样的公司，即使有一件事情不属实，也会成为一个很大的问题，因为它们是搜索引擎。搜索引擎与聊天机器人所需的行为模式非常不同。我们找出在所有这些不同的用途之间平衡的方法，从而创建出对人们在各种情境下都有用的东西，其中所需的行为可能会有很大的变化。这增加了更多的压力。ChatGPT只是一个实验性的产品，我们需要确保它在所有方面都能很好地工作。这是我们现在面临的主要挑战之一。

John Schulman: 我低估了人们对ChatGPT政治问题的探究和关注程度。也许我们能优化收集训练数据的过程，我们正在努力解决这个问题。

Jan Leike: 从我的角度来看，ChatGPT失败了很多，而我们还有很多事情要做，很多问题尚未被解决。我们所有人都必须认识到技术的局限性，这一点对我们自己和他人都是如此。我的意思是，语言模型已经存在一段时间了，但现在仍然是早期阶段。我们知道它们存在的所有问题。我认为我们必须非常坦诚地表明，这不是一个成品。

水木未来丨视界 iss. 43Credit@Will Douglas Heaven, MIT Tech Review

"The inside story of how ChatGPT was built from the people who made it"