OpenAIGroup的对话实录：ChatGPT很棒，但也很糟糕
当OpenAI在2022年11月下旬悄悄推出ChatGPT时，这家总部位于旧金山的人工智能公司的期望值很低。诚然，OpenAI内部没有人预测到这会导致大规模的病毒式传播狂潮。
从那以后，该公司迎头赶上——并试图从中获利。
根据OpenAI的政策研究员SandhiniAgarwal的说法，ChatGPT最初被设计为“研究预览”：两年前该技术更成熟版本的预览，更重要的是，通过公众反馈，它的一些尝试纠正它的缺点。.
“我们不想把它推得太远，并说这是一个重大的、根本性的突破，”从事ChatGPT工作的OpenAI研究员LiamFedus说。
深入了解这个聊天机器人-它是如何开发的，OpenAI自发布以来如何持续更新它，以及它的开发人员如何看待它的成功。
我们采访了四个人，他们帮助创建了已成为网络上最受欢迎的应用程序之一。
除了Agarwal和Fedus，我还采访了OpenAI创始人JohnShulman和OpenAI校准团队负责人IanLake。
校准团队致力于解决人工智能如何实现用户期望行为的问题，除此之外别无其他。
我的理解是，OpenAI仍然对其研究的预览成功感到敬畏，但已经抓住机会开发这项技术，观察数百万用户如何使用它，并尽其所能解决出现的最大问题。
自11月以来，OpenAI对ChatGPT进行了多次更新。研究人员正在使用对抗性学习技术来防止ChatGPT触发用户的恶意行为（也称为越狱）。
这项工作让多个聊天机器人相互对抗：一个聊天机器人扮演对手的角色，通过创建文本来攻击另一个聊天机器人，迫使它打破通常的约束并生成不必要的响应。成功的攻击被添加到ChatGPT的训练数据中。我希望他学会忽略这些攻击。
OpenAI还与微软达成了数十亿美元的交易，并与贝恩结盟，后者计划使用OpenAI的生成人工智能模型。
在OpenAI之外，围绕ChatGPT的炒作引发了全球公司和投资者对大规模语言模型的另一波炒作。短短三个月，炒作甚嚣尘上。ChatGPT的来源是什么？OpenAI正在采取哪些步骤来确保它已为公众做好准备？他们接下来会做什么？
*注：内容已复制
JanLeike：坦率地说，这很棒。我们非常惊讶，并试图赶上。
JohnShulman：在发布后的几天里，我一直在查看Twitter，在这段时间里，我的提要中全是ChatGPT的屏幕截图。
我原以为它对人们来说很直观并且有一些粉丝，但我没想到它会这么受欢迎。
SandhiniAgarwal：看到人们开始如此广泛地使用它，我们所有人都感到惊讶。我们在这些模型上花费了太多时间，以至于我们常常忘记它们对外界来说有多么惊人。
LiamFedus：我们没想到这款产品会如此受欢迎。毕竟，之前有很多人尝试过开发通用聊天机器人，我知道成功的可能性。然而，我们的个人测试确保我们拥有人们会喜欢的东西。
JeanLeike：我想更好地了解其背后的原因——是什么推动了这种病毒式传播行为。老实说，我们不明白。
该团队的部分困惑源于这样一个事实，即ChatGPT的大部分技术都不是新技术。ChatGPT是GPT-3.5的“抛光版”，GPT-3.5是OpenAI几个月前发布的一个语言模型大家族。GPT-3.5本身是GPT-3的更新版本，于2020年出现。该公司在其网站上为这些模型提供了应用程序编程接口(API)，允许其他软件开发人员轻松地将这些模型集成到他们自己的代码中。OpenAI还发布了GPT-3.5“扩展预览版”，于2022年1月在InstructGPT上发布。但这些以前的技术版本都没有像ChatGPT那样广为人知。
LiamFedus：ChatGPT模型是根据与InstructGPT相同的语言模型进行微调的，我们使用类似的方法对其进行了微调。我们添加了一些对话信息并稍微改变了训练过程。所以我们不想大声喧哗并声称这是一个重大的根本性突破。但聊天数据对ChatGPT有非常积极的影响。JohnSchulman：从标准基准评估来看，这些模型之间的底层技术实力并没有太大区别，但ChatGPT更易于访问和使用。
JanLeike：在某种程度上，您可以将ChatGPT视为我们人工智能系统的长期发布版本之一。
在引擎盖下，它并不比以前的模型好多少。在ChatGPT发布前将近一年，相同的基本模型提供了一个API。
另一方面，我们让它与人们想做的事情更相关。它在聊天中与你交流，聊天界面简单易用，力求成为一个好用的工具。这是一个惊人的发展，我认为人们正在意识到这一点。
JohnShulman：意图更容易推断，用户可以通过反复交互实现他们想要的。
ChatGPT的教学方式与InstructGPT非常相似，使用一种称为强化学习与人类反馈(RLHF)的技术。这是ChatGPT的杀手级功能。基本思想是采用倾向于随意吐出任何内容的大规模语言模型——在本例中为GPT-3.5——并通过学习人类用户的偏好来训练它做出响应，从而进行微调。
JanLeike：我们有一个庞大的团队阅读ChatGPT说明和答案，看看一个答案是否比另一个更好。
然后将所有这些信息合并到一个培训课程中。其中大部分是我们在InstructGPT所做的。
你希望它真正起作用，说实话，是无害的。
然后它具有一些功能，例如对话框创建和助手。
例如，如果用户的要求不够具体，就应该继续提问。它还需要揭示其作为AI系统的身份，而不是假装它不是独一无二的，它需要表明它具有不存在的能力。
如果用户让他做一个他不应该做的任务，他应该拒绝。
在这次训练中出现的一句话是“AsalanguagemodelbyTrainedbyOpenAI...”这个注释并不是一成不变的规则，但它成为了人类评论者赞赏的一点。
桑迪尼·阿加瓦尔：没错。人工审阅者必须根据许多标准评估模型，例如有效性。但他们开始倾向于他们认为正确的事情，比如不假装知道。
由于ChatGPT使用的是OpenAI使用的技术，因此该团队没有接受过向公众发布该模型的特殊培训。他们认为他们为以前的模型设置了足够高的标准。
SandhiniAgarwal：我们在准备发布时并未将此模型视为新威胁。GPT-3.5已经在世界上可用，我们知道它是安全的。此外，ChatGPT学会了通过教授人类偏好来自行拒绝许多请求。
JeanLeike：对于ChatGPT，我们额外做了一次“红队测试”（译者注：一套完整的攻击模拟来寻找系统漏洞），OpenAI的每个人都坐下来试图“破解”这个模型。我们也有外国球员。我们对提供反馈的老用户进行了抢先体验测试。
SandhiniAgarwal：我们发现它生产了（人们）不想要的产品，但GPT-3.5也生产了那些东西。就风险而言，它是研究的预览，所以它首先[发布]，所以没什么大不了的。
JohnShulman：您不能等到系统完美后再发布。我们对初始版本进行了几个月的测试，参与者对该产品印象深刻。
我们最关心的是它的准确性，因为这个模型喜欢伪造事实。但是InstructGPT和其他广泛的语言模型已经存在，所以我们认为如果ChatGPT在准确性和其他安全问题上比它的前身更好，那么分发它会更好。
在发布之前，我们确信这些模型在准确性和安全性方面优于其他模型，基于我们有限的评估，我们决定发布。
自发布以来，OpenAI一直在观察人们如何使用它，并且第一次看到一个大型语言模型在交给数千万想要测试其极限并发现其缺陷的用户手中时表现如何。该团队试图采用最有问题的ChatGPT示例，并使用它们来优化模型的未来版本。
SandhiniAgarwal：我们有很多后续步骤。我相信ChatGPT的病毒式传播将使我们知道并想要解决的许多问题变得更加紧迫。
例如，我们知道模型仍然存在偏差。是的，ChatGPT非常擅长拒绝不良请求，但它很容易受到快速言语的影响而只接受那些请求。
LiamFedus：看到用户提出丰富而创新的用例令人兴奋，但我们一直在寻找需要改进的地方。我们相信，通过迭代部署、反馈和改进的过程，我们可以产生最理想和最实用的技术。随着我们的技术不断发展，新的挑战总是不可避免的。
SandhiniAgarwal：在ChatGPT推出后的几周内，我们看到了用户遇到的一些最糟糕的情况，我的意思是人们可以看到的最糟糕的情况。我们首先评估了每种情况并讨论了如何解决它。
JeanLeike：（这些案例）有时是在推特上被广泛分享的故事，有些人更喜欢与我们私下交流。
SandhiniAgarwal：我们发现很多问题实际上是上面提到的越狱行为，我们需要立即解决。然而，由于用户竭尽全力迫使ChatGPT说脏话，我们之前并没有忽视它，我们也不会太惊讶。
但是，这是我们现在正在积极解决的问题。当我们发现越狱时，我们将它们添加到我们的训练和测试数据中。我们看到的所有信息都将成为未来模型的一部分。
JanLeike：当我们有一个更好的模型时，我们想要测试它。我们确信，通过一些有针对性的对手训练，您的越狱情况可以大大改善。
目前尚不清楚这些问题是否会完全消失，但我们认为我们可以让越狱变得更加困难。
但是，在发布之前我们并不知道越狱的可能性。
我认为一旦你让它运行起来就很难预测哪种行为会带来安全风险。所以我们专注于观察人们使用系统的目的，看看会发生什么，然后做出回应。
不是我们不主动解决问题。但是当系统连接到现实世界时，我们无法预见所有可能的情况。
今年1月，微软公布了BingChat搜索聊天机器人，这是一个未公布的GPT-4版本的OpenAI（OpenAI声称Bing由我们的下一代模型提供支持，微软专门为搜索场景开发的模型进行适配）.它结合了ChatGPT和GPT-3.5的优点）。
知名科技巨头对聊天机器人的使用为那些负责构建基础模型的人带来了新的挑战。