当前位置:首页|资讯|微软|ChatGPT

微软CTO对谈ChatGPT背后的男人:在AI领域,这件事微软都说难

作者:36氪的朋友们发布时间:2023-05-25

腾讯科技讯 北京时间5月24日凌晨,微软在西雅图召开一年一度的Build开发者大会,微软CEO萨提亚·纳德拉宣布,在Windows11中加入一个名为Copilot的AI助手。此前微软已经公布的产品在此次开发者大会上获得升级,新版本的Microsoft 365 Copilot将支持插件功能,以满足不同用户的需求。这不是唯一一个支持插件的应用,本月早些时候,微软宣布插件将出现在Bing AI聊天中,OpenAI最近也为ChatGPT添加了对插件的支持,并且这些插件将支持互通。

“开源标准的好处是,作为开发者,你只需开发一次,这个插件就可以被任何AI调用,”OpenAI总裁格雷格·布罗克曼(Greg Brockman)在现场表示,通过插件,ChatGPT可以将能力拓展到各个领域。这位被称为ChatGPT背后的男人,也出现在微软Build开发者大会现场,和微软CTO Kevin Scott进行了现场对话。

在对话中,他们探讨了Brockman开发GPT过程中的Aha时刻、遇到的困难与挑战、以及对于构建插件生态的看法。在对谈的最后,Brockman还特别提出了,即使微软这样的大公司,都很难深入特定的领域,比如法律,研究如何让技术赋能这个行业的发展,所以每个人都将使人工智能变得更伟大。

以下为对话实录:

Kevin Scott:我们先从ChatGPT的体验开始谈起。它让我们都感到惊讶,它的用户增长令人惊叹,构建ChatGPT是一个非常大的工程挑战,你能分享一下相关的经历吗?

Greg Brockman:构建ChatGPT的过程十分有趣。我们尝试构建一套AI聊天系统其实已经很多年了。实际上,我们曾经进行过一个名为Web GPT的早期版本的演示,这个演示非常酷,引起了很大兴趣。那时我们有几百个合作伙伴,实际上他们必须付费才能使用这个系统。他们表示这非常有用,可以帮助他们完成编码任务。

但是对我来说,真正让我印象深刻的时刻是当我们有了GPT-4,而我们之前用的是GPT-3,我们只是部署了基础模型,所以我们只是预训练了它,但是没有真正地往任何方向调整它,只是通过API进行了一些数据接入。对于GPT-3.5,我们实际上已经达到了能够做指令跟随的程度,我们有外包商,系统被人工给予“这指令你应该如何完成它”的任务。而我们就是在GPT-4上延续了这样的训练。

让我感兴趣的是,只是作为一个小实验,我当时设想,“如果你在它已经生成了一些东西之后,再跟上第二个指令,会发生什么?”模型回答了一个完美的回应,包含了之前的所有内容。所以意识到这个模型已经足够强大了,它真的概括了这样一个想法,“如果你真的想让我跟随指令,而你给我一个新的指令,也许你真的想让我和你对话。”所以对我来说,那是让我恍然大悟的时刻,“好吧,我们已经有了这个基于早期模型的基础设施”,而这个新模型,即使只是使用这种本来不是为聊天而设计的技术,它也想聊天,它能行的。所以这是一个真正的“aha”时刻。从那时起,我们就只想着“我们必须把它拿出来。它会成功的。”

Kevin Scott:是的,这令人吃惊。我记得当Sam打电话给我说,“嘿,你知道吗,我们想发布ChatGPT,我们觉得把其中一个模型调整一下,可能只需要几个星期的工作”,我就说,“好啊,为什么不呢?”而我根本不知道它在技术上会工作得这么好,而且会是这么一个疯狂的成功。所以,也许跟这个有关,我知道你是GPT-4所有训练基础设施的主要架构师之一,所以GPT-4为ChatGPT的部分功能提供了支持,而且它对于所有从事人工智能领域的人来说都是一个启示。我想知道你能不能分享一下,你对GPT-4的开发有什么有趣的发现?

Greg Brockman:是的,GPT-4确实是一件用心的作品。作为一家公司,在GPT-3之后,我们实际上尝试了多次超越那个模型的性能,这不是一件容易的事情。

我们花了几周的时间来调整其中一个模型,这导致了令人难以置信的成功。作为GPT4训练中的主要基础设施架构师之一,对于每个在人工智能领域工作的人来说,这真的是一个启示,这是一项充满爱的劳动。

对于GPT4,我们实际上回到了绘图板,重建了整个基础设施。我们对每个细节进行了深入分析和调整,但我相信仍然可能存在一些错误。我认为还有更多细节可以继续优化,雅各布给出了一个很好的类比,他是我非常喜欢的项目负责人之一,他说这就像建造一枚火箭,我们希望每个工程公差都尽可能小,并且有很多微小的细节要处理。

比如说,以前如果我们在检查点有一个数据BUG,如果你在恰好错误的时刻杀死了任务,你可能会在任务重新启动时得到一个混合物,换句话说,如果我们在保存模型参数的过程中有一个数据错误,如果你在这个过程中刚好终止了任务,你可能会在任务重新开始时得到一个混合的模型参数,也就是说,一部分是新训练出来的参数,一部分是旧的参数。

尽管机器学习很善于从中恢复,但这也是我们需要关注的一个问题。我们需要回过头来,仔细检查每一个细节,做一些乏味的工作,但也正是这些乏味的工作使得我们最终获得了成功。

Kevin Scott:Satya(微软CEO)在他的演讲中提到了我们正在开发的这种插件的共享方法,这个想法是我们要赋予在座的所有人写软件的能力,可以扩展像ChatGPT和我们正在构建的所有这些东西Copilot之类的功能。我知道这也是一个有趣的技术挑战,而且我们还没有解决所有的技术问题,还有很多工作要做,才能把它变成我们最终想要的状态。所以我想知道你有没有一些想法要分享一下?

Greg Brockman:我同意你的看法。插件的概念非常迷人,特别是对于开发人员来说,他们可以利用这项技术来改善系统,使其对每个人都更好。而这就是我觉得非常令人兴奋的地方,也是我们把它设计成一个开放标准的部分原因,因为这样一来,作为一个开发者,你只需要构建一次之后任何AI都可以使用。这是多么美妙的想法,对吧?我觉得互联网发展真正的推动力是任何人都可以建立一个网站,然后每个人都可以访问它,开发者建立一个API,突然之间任何人都可以使用它。而我觉得这种核心设计原则,真的让任何想要插件能力的开发者都能够接入并获得系统的能力,并能够把任何领域的所有力量带入ChatGPT,真的非常了不起。

Kevin Scott:是的,我真正喜欢插件的地方是它在概念上是如此简单。它让我有点想起了我写过的第一个HTTP服务器。如果你理解了核心概念,你可以很快地建立一些可以做一些非常强大的事情的东西,我觉得这对于一个工程师来说是一件了不起的事情。所以你知道,在OpenAI,你一直在思考如何突破技术的极限。而且,我觉得我们合作的一件非常了不起的事情是和你们一起工作。感觉我们可以看到比我们原本能够看到的更远的未来。所以我想知道你对哪些突破极限的事情感到兴奋,例如说某种应用或者模型?

Greg Brockman:是的。我觉得有意思的是,我们好像处在一种类似于时钟滴答的快速迭代周期中,众所周知,在特拉维夫古代时期,人们会不断地创造新东西,并且大力推广它们。而我认为,对于GPT-4来说,我们现在正处于一个初期阶段,正在全力发挥它的潜力,我们已经公布了一些视觉能力,但还没有完全实现。

而我认为这将改变这些系统的运行方式和用户体验,以及可以基于它们开发的应用种类。所以我非常激动,如果你回顾一下过去几年的历史,你会发现我们两年前实现了降价70%,而去年我们又实现了90%的成本降低,相当于10倍的成本下降,这简直太疯狂了,而且我相信我们可以用新模型不断重复这样的成就。所以GPT-4虽然现在很贵,还没有完全普及,但我相信这种情况会发生变化。我希望每个人都能意识到这一点。

Kevin Scott:是的。我认为这是一个我想要和在座的每个人分享的重要信息,你们要知道——这也是我们告诉微软内部所有使用这些技术的开发者的,今天看起来很贵的东西明天就会变得便宜,因为技术进步太快了。所以我想我们还能挤出一点时间来谈谈最后一个话题。你已经给在座的开发者提供了很多非常棒的建议,但是也许你还有最后一点想要对大家说的。

Greg Brockman:我认为,在这个领域,技术明显在不断进步。但是我觉得每个开发者都能做到一件事,对我们或者微软这样的大公司来说可能很难做到,那就是深入特定的领域,探索如何让这项技术在那里发挥效果。

所以我非常欣赏那些专注于特定领域的公司,比如说法律领域,他们真的有专业知识,和很多律师沟通,了解他们对这项技术有什么需求和困难。所以我觉得每个人的付出都会对科技的发展带来更多的附加价值。

Kevin Scott:这太棒了,就如Greg所说,你们都是将来会让人工智能变得伟大的人。所以非常感谢Greg今天和我们在一起,感谢所做的一切,谢谢!

本文来自“腾讯科技”,36氪经授权发布。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1