当前位置:首页|资讯|OpenAI|ChatGPT|编程

和OpenAI学管理:2023年最强的王炸产品是怎样炼成的?

作者:华尔街见闻发布时间:2023-11-16

原标题:和OpenAI学管理:2023年最强的王炸产品是怎样炼成的?

按:

本文为著名科技记者Gergely Orosz与OpenAI应用工程团队负责人Evan Morikawa的访谈。

自从去年11月推出以来,ChatGPT在短短一年里发布了数次重大更新,从一个简陋的网页对话框,进化成如今具备多模态、代码解释器、大模型商店等一系列功能的超级APP。是什么样的工程文化让 ChatGPT 团队能够如此快速地迭代?在OpenAI外部,没有人知道答案,这家炙手可热的明星公司作风低调而神秘,对其软件工程实践三缄其口。

但在与Orosz的访谈中,Evan Morikawa透露了许多OpenAI在管理思维、人才选择、工作方法等许多方面的独到之处。

华尔街见闻整理要点如下:

1. OpenAI极其重视“人才密度”,它倾向于招聘年龄更大的资深技术人员,小型、资深、专注的团队往往有极高的工作效率。OpenAI现在只有大约700名员工,但工作产出可能比大它一万倍的公司还要更高;

2. OpenAI的工作节奏非常紧张,但这里不是拼命卷工作时长的地方,许多员工要抽出时间陪伴家人,倒逼他们更有效率地完成任务。

3. 办公室面对面的沟通仍然非常重要。一些创造性的解决方案是在办公室的社交互动中诞生的,OpenAI团队会在午餐桌上碰撞出很多新想法,

4. 尽管OpenAI根据职能划分了研究/应用团队,但不同团队之间的协作非常紧密。在ChatGPT团队里,既有设计师和产品经理,也有软件工程师和研究人员。不同职能的团队都需要了解对方的工作,避免出现研究部门只专注于实验,而产品部门只想商业化和赚钱的情况

5. “打造AGI”这一使命是OpenAI团队所有人的终极目标,也是日常工作的指引。使命不仅有助于决定做什么,也有助于决定不做什么。

以下为访谈原文:

Evan,你能介绍一下 OpenAI 和你自己吗?

OpenAI 是 ChatGPT 的制造者。希望你已经用 ChatGPT 学习了新知识,帮助你写作,或者只是和它聊天消遣。ChatGPT 只是 OpenAI 的产品之一,OpenAI 还推出了 DALL-E 3(图像生成)、GPT-4(高级模型)和 OpenAI API(开发者和公司用它将人工智能集成到自己的业务中)。

负责开发这些产品的工程、产品和设计的团队在内部被称为“应用团队”。OpenAI 的目标是构建对全人类有用的安全 AGI。应用团队的目标是打造真正让人工智能造福全人类的产品。

研究部门训练大型模型,然后应用部门在这些模型的基础上构建 ChatGPT 和 API 等产品。在实践中,这是一个更加紧密结合的过程,我稍后会详细介绍。

应用团队是公司内部的一个新成员。OpenAI 成立于 2015 年,而应用团队则始于 2020 年夏天。我们之所以组建这个团队,是因为我们想围绕 GPT-3 构建并扩展一个 API,而 GPT-3 是我们当时刚刚完成培训的一个模型。"

你是如何成为 OpenAI 应用团队的主要负责人的?

我在 2020 年 10 月加入 OpenAI。当时,OpenAI 总共约有 150 名员工,而应用团队只有少数几个人。几乎所有在 OpenAI 工作的人都是研究员。我没有机器学习方面的博士学位,但我那时候意识到 OpenAI 正在建设 API 和工程团队,这让我感到非常兴奋。

在 OpenAI,我一开始是作为 GPT-3 API 的个人贡献者编写代码。2021 年 1 月,在我上任几个月后,我过渡到管理我们的应用工程团队。那时,我的团队大约有 6 个人。如今,两年半过去了,应用工程团队已经发展到 130 名工程师,我管理其中的一半。整个应用团队约有 150 人,另外 20 人是项目经理和设计师。

自 2020 年 10 月以来,OpenAI 已从约 150 人发展到今天的约 700 人。我们还在继续招聘。

OpenAI 是如何快速发展的?我感觉每隔几个月就会推出一项重要的新功能。作为局外人,光是了解你们的进度就已经很不容易了!

一方面,这绝对是我职业生涯中速度最快的地方;但另一方面,这也并不神奇。我认为关键在于:

  • 让ChatGPT像一家小型独立创业公司一样运营
  • 让研究和应用紧密结合
  • 长期的产品和研究思维
  • 渐进式发布
  • 高人才密度
  • 日积月累的习惯
你提到 ChatGPT 像是在独立运营,具体是怎样进行的?

ChatGPT 看起来、感觉和行为都像出自一家成立仅一年的初创公司之手,但 OpenAI 本身已有近 8 年的历史。OpenAI 内部的应用小组成立于 3 年前。ChatGPT 是应用团队内部的一个产品团队,大约成立于 1 年前。

我和应用团队领导层的其他成员希望 ChatGPT 团队能感觉到他们是自己独立的创业公司。在实践中,随着团队的成长,这一目标也发生了很多变化。

2022 年夏天,我们开始开发 ChatGPT。当时,应用团队大约有 30 名工程师、几名项目经理和设计师,正在运行的产品包括、GPT-3 和 Codex 的API接口、模型微调、嵌入应用程序、DALL-E 2等。

所有这些产品都使用相同的代码库,在同一个集群中运行,并使用相同的构建管道。在应用团队公司内部,我们的结构是按功能划分的;工程部是一个统一的团队。

ChatGPT 的出现改变了这种状况。

几位应用工程师、一些设计师、研究人员和 Greg Brockman(OpenAI 的总裁兼联合创始人)聚在一间屋子里,开始快速迭代产品创意。

我们给这个新生团队提供了自己的代码库和一个全新的集群。开发环境看起来就像初创公司或个人项目的早期阶段。

我们对 ChatGPT 这个小型子团队的目标是营造一种早期初创公司的氛围,让他们不断迭代,寻找产品市场契合点(Product Market Fit)。团队的每个成员都在办公室工作,我们重新安排了座位,让大家彼此相邻。

随着 ChatGPT 团队的壮大,我们确保团队保持垂直整合。这意味着工程、产品、设计和主要研究人员始终紧密合作

2023 年 5 月,Peter Deng(OpenAI消费者产品副总裁)加入 ChatGPT,领导工程、产品和设计团队,我们将这一模式进一步深化。

我们之所以知道要这样组织ChatGPT团队,是因为在应用团队开始开发API接口的第一版时,我们就建立了类似的结构。三年前,我们也是在一个全新的代码库、全新的集群和全新的开发环境中,从少数几个工程师开始起步的。我们的运作方式就像一家正在寻找产品PMF的早期初创公司,并通过API产品找到了PMF。

这种“分形初创公司”的方法对于任何新产品类别来说都是一个很好的模式。我希望我们能继续采用这种模式,快速迭代我们考虑采用的新想法。

与研究的紧密结合有多重要,为什么重要?

在大多数科技公司,与工程部合作的 "经典 "三人团队往往被称为“EPD”(工程、产品、设计):

这些团队之间往往会进行大量合作,跨职能团队中通常有工程、产品和设计方面的成员。

将研究融入产品团队至关重要。与经典的“EPD”相比,我更喜欢把我们这个合作紧密的团队称为“DERP”(设计、工程、研究、产品):

在OpenAI,许多产品问题实际上是研究问题。比如,这些问题可以被视为功能请求:如何让ChatGPT生成更简洁的输出结果?如何让ChatGPT生成更准确的答案?ChatGPT如何连接更多数据源?

虽然这些问题看起来像是产品问题,但实际上它们在很大程度上依赖于研究。如何调整或微调基础模型以实现预期目标?研究人员与产品工程的结合并不总是必然的。在 OpenAI,研究和应用是两个独立的组织结构。在研究组织内部,有各种不同的研究团队。

比如,有预培训团队负责培训 GPT-4 模型,还有,培训后团队负责对 GPT-4 进行微调,还有负责校准的团队和让 GPT-4 能看、能听、能说的多模态团队等等。

研究人员往往具有重要的学术或行业背景。他们阅读大量学术论文,以了解最新技术。他们也会提出想法并进行大量实验,以改进我们的模型。他们都亲力亲为;研究人员要做大量的工程设计并编写大量的代码!

我们本可以选择将模型“扔到墙外”应用的方法:就是研究人员先训练一个模型,然后把它交给应用人员,让应用人员把它产品化。

但是,我们希望避免出现这样一种文化:研究部门只专注于进行实验,而产品部门只想商业化和赚钱。

为了避免这种情况,像 ChatGPT 这样的产品团队由软件工程师、设计师、产品经理和研究人员共同组成。

在 ChatGPT 的案例中,大部分研究人员来自我们称为“后期培训”的研究团队。这些研究人员精通最新的微调技术和强化学习 (RL) 方法,如临近策略优化 (PPO)。由于这些研究人员也是产品组的一员,而且他们自己也在进行A/B实验,因此研究和工程之间的反馈回路非常紧密。

与研究部门的紧密耦合是我们能如此迅速地推出新创意的原因。我们是如何快速推出浏览、代码执行、插件和其他 ChatGPT 功能的呢?就是因为团队间的紧密集成!

所有这些都始于研究构想,之所以能快速部署到生产中,是因为从事研究的团队与工程团队紧密结合在一起!此外,在研究和应用两个团队里都有修补和原型设计的文化。很多原型很快就能投入生产。

长期主义思维如何帮助产品落地?

OpenAI 的使命是确保人工智能(AGI)造福全人类。

所谓 AGI,我们指的是在最具经济价值的工作中胜过人类的高度自主系统。这一使命体现在 OpenAI 公司章程中。章程更详细地反映了OpenAI的战略,例如,详细说明了对长期安全的关注。

几乎每次全员大会都会提到我们的章程和使命。在产品讨论中,我们有策略地使用了“在这些选项中,哪一个让我们感觉更接近AGI”这一短语——指的就是我们的使命。

这不仅有助于决定打造什么,而且我还看到过很多因为使命而决定放弃的情况。

明确的重点永远是速度的驱动力。我相信,我们的使命有助于保持这种专注,也为许多新想法铺平了道路。

另一个关键在于研究团队:

同时开展的研究活动有助于我们加快产品上线的速度。研究工作就是要不断思考统一的方法、打造功能更强的模型。比如说,和纯文本模型一样,我们之前也一直在进行多模态的研究工作。

研究团队还要确保他们的工作能和别的研究有交汇的地方。我们并不想打造很多小模型,我们希望朝着AGI的方向发展。

同时进行的几项研究加快了我们的速度。例如,我们能够在相对较短的时间内推出GPT-4、图像理解、文字转语音、语音转文字等功能,在很大程度上归功于研究工作的同步进行。

OpenAI发布产品的策略是什么?

我们避免采用“大爆炸、一气呵成”的发布模式。这不仅是因为“早发布、 勤发布”是一种屡试不爽的产品策略。也因为持续更新是我们安全的基本原则战略。

人工智能安全是公司内部的一个重要话题,也是我们工作的核心,对安全的关注往往比启动和开发一个项目更重要。我们的核心原则之一是,从现实世界中逐步学习。

我们采取了很多方法确保AI的安全性,例如:

红队:一组被称为“红队”的安全专家扮演攻击者的角色,测试和评估安全措施的有效性;

对齐:确保人工智能系统的行为方式与人类价值观保持一致,并且不会无意中做出有害的行为;

政策工作:与世界各地的政策制定者合作,制定具体规则加强人工智能技术和服务的安全性和可信度。

除了这些努力之外,我们还注意到,逐步、有控制地让AI接触真实世界是发现和解决安全问题的最重要方法之一

我们的产品都会再密切监控下逐步推出。产品发布前,会先经过选定客户的试用,然后再逐步推广。一个有趣的事实是,当全世界都看到ChatGPT“突然”爆发时,实际上,在 OpenAI内部,我们已经花了好几年,在可控的环境中开发和调整ChatGPT!

ChatGPT的发布其实是为了收集有关对话模式的反馈意见,不过这次特殊的发布出人意料地一炮而红了。

OpenAI会雇用什么样的人,招聘策略是什么?

Sam Altman——OpenAI的CEO——非常关注人才的高密度 。所谓“高人才密度”,指的是平均技能和业绩表现远高于其他地方的正常水平,出色的工作在OpenAI是最基础的。

经验丰富的团队可以非常非常快地交付产品。出于对高人才密度的重视,我们在应用团队招聘时有意向高级工程人员倾斜。此外,我们还尽量保持小规模。事实证明,我们这样做是正确的,因为规模非常小的高级团队可以很快完成任务!

所以,授权和信任团队也很容易。对于即刻做出的决定,我通常都有种不假思索的信心,相信这些决策一般都会指向正确的方向。我们会对决策进行内部审查,写下想法,但不会遵循特别严苛的形式。

让孵化器里的创始人类型的人,和“曾在一家大型科技公司工作过、参与过规模增长”的角色融合在一起,效果非常好。我们同时需要这两类人:

ChatGPT内部的早期迭代十分粗糙,而创始人类型的角色恰好能够胜任这部分工作;大规模扩展复杂分布式系统的工程技能,需要参与过大规模系统扩展的工程师。

不管是要购买生产力工具还是自己打造生产力工具,我们都很果断。

我们明白,拥有熟悉创企生态圈使用的最新工具、能及时定位问题的人才非常重要,购买这些生产力工具有助于保持我们的团队小而灵活。

但是,我们不能总是依赖购买和使用现有工具。凡是我们认为是业务核心的工具,我们都会自己动手开发。此外,随着规模的扩大,我们可能会也会淘汰一些生产力工具。

谦逊是我们的“技术人员”头衔背后的重要品质。OpenAI的每个人都有“技术人员”的头衔,无论其经验或专业知识如何。

这样做有几个原因。我们坚信,团队中容不下不善于团队配合的“独行侠”。 我们还希望避免吸引那些一心追求晋升的人,这些人总会为了提升自己的头衔,制造冗余的复杂产品。

我们希望每个人都能很好地沟通,做任何对我们的任务最有利的事情。只要我们能坚持这一点,我们就会更加专注,更快地完成任务。

OpenAI把安全放在首位,而不是速度。在招聘时,我们非常关注AI安全性。我们不希望形成一种速度凌驾于安全之上的文化,在完成任务的过程中注意安全非常重要。

你提到OpenAI的日常工作方法也是公司快速发展的因素之一,你觉得最重要的方法是什么?

我们之所以迭代速度那么快,很大程度要归功于我们的工作里的很多小细节,总结一下就是:

周一至周三,团队会在办公室工作。每个人周一、周二、周三都在旧金山总部办公。面对面工作会以意想不到的方式帮助我们完成任务。

我还记得在ChatGPT早期开发阶段,我们所构建的内容经常会发生变化。每天都在变化。比如GPT大模型那时候每天都在演变,我们的研究人员需要一直调整它。

通过拍同事肩膀或加入无意中听到的谈话,我们取得了令人惊讶的进展。当然,我们也会定期召开同步会议,预定的协作之外,我们也会取得特别的进展。

我们还经常临时制作白板。我们会在午餐桌子上碰撞出很多新想法——真的!随着团队的迅速扩大,临时性的社交互动成为了入职培训的一大助力。如果没有这些面对面互动,两年内招募大概120人入职会困难得多。

对一些人来说,星期四和星期五不开会的日子。这两天,办公室里的人比较少。在这些日子里,我们会完成更多有针对性的工作。

协调每天的工作是我们提高工作效率的关键。靠这种协调性,我们在一周的前三天就能抵达关键工作节点

工作节奏相当紧张。使命、产品和技术的影响力促使大家努力工作。不过需要强调,这并不一定意味着我们的工作时间很长。OpenAI不是那种凌晨2点还有一堆人没下班的地方。在这里,大家会相互支持,我们会积极关注彼此的职业倦怠。

正如我所提到的,我们倾向于招聘年龄更大、经验更丰富的员工。这也意味着这里有很多有孩子的父母。 每个人都非常重视家庭时间。对家庭的关注,也让团队必须高度集中注意力,分清轻重缓急,灵活安排时间,包括我自己在内!

OpenAI似乎已经在相对较短的时间内完成了大量工作。那么,接下来要做什么呢?

要想继续保持较高的交付速度,我们需要克服许多挑战,比如:

团队不断壮大。团队规模越大,沟通越困难,协调越困难。

更成熟的产品。我们制造的产品越来越成熟,对产品进行大刀阔斧的修改更困难了。

人工智能安全问题。这些问题将变得更加严峻,不仅对我们,对整个行业都是如此。OpenAI很可能需要改变之前的架构来应对这些问题。

我们希望努力保留目前的大部分原则:强大的使命感、一体化的研究团队和更高的人才密度始终都是好事。

总体而言,我对我的团队、公司的未来以及人工智能的潜力持谨慎乐观的态度。我们认为,让更多人感受到我们创造的工具对生产力的价值,是非常重要的事情。现在大家才刚刚看到冰山一角。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1