神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。
编者按:在刚刚过去的这个周末,科技圈掀起了一股轩然大波。在炙手可热、风光无比的人工智能初创企业OpenAI刚刚召开完首次开发者大会,让人对人工智能的未来萌生更多憧憬之际,公司董事会突然投票将为公司赢得今日地位立下汗马功劳的CEO 山姆·阿尔特曼踢出了董事会。目前事件还在发酵和变化之中,背后的金主微软一面表态继续支持OpenAI,一面称已邀请阿尔特曼以及辞职的总裁格雷格布罗克曼(Greg Brockman)加入微软,领导一支新的研究团队。OpenAI有500多名员工已发起请愿,要公司恢复阿尔特曼原职,否则将一起随旧主加入微软,而投票将阿尔特曼踢出董事会的首席科学家Ilya Sutskever也是联署人之一。本文并不是要探讨这起事件的来龙去脉,而是想探讨对人类有重大影响的技术如何进行治理的问题,从人类的长远利益来看,这件事也许并非坏事。文章来自编译。
早在 2020 年的时候,我就跟山姆·阿尔特曼(Sam Altman)进行过一次长谈,当时我们讨论了 OpenAI 董事会的角色,以及他认为该这个组织的治理可能会如何改变。回顾过去,阿尔特曼的回答很有先见之明。
问:有个问题我很好奇,你觉得未来几年如果要给人工智能制定一份全球契约(Global Compact)的话,那会是什么样子的?要做到既要让我们觉得可以让这些技术为人类服务,但又要用一种良好管理的方式。
山姆·阿尔特曼:这是一个非常重要的问题。我们可以先研究一下历史,看看事情是如何发展的。当缺乏公共监督,当这些公司发展到跟大多数国家一样强大,甚至比大多数国家还要强大,并且是由未经选举产生的人,说实话,还是相当不负责任的领导人管理时,我认为,随着这些技术变得越来越强大,这种情况应该让我们所有人都要停下来。
我认为我们需要找到某种方法,不仅让大家共享经济成功,解决社会面临的不平等问题,而且还需要对这些非常重大的决策进行治理。在拥有非常强大的人工智能的世界里,我们希望我们的未来是什么样子?这不能由旧金山那 150 号人来共同做出决定。那样不会有什么好事情的。
问:我现在还没有找到好的模式来能做到这一点。我觉得大家在讨论小多边主义的想法,也就是如果你能够让足够多的人足够频繁地讨论,也许就能建立一个其他人可以接受的框架的核心,然后大家就会如法炮制。
山姆·阿尔特曼:是,我认为这肯定会有帮助。但有个问题总会存在:这种机制有多大的影响力?
假设我们确实创造出了通用人工智能(AGI)。现在,如果说我在这方面做得不好的话,我们的董事会(也是不对公众负责的)可以解雇我,然后说:“我们换个人试试吧”。但在我看来,到了那个时候,当公司的权力到了一定程度,整个世界应该就可以下结论说,嘿,也许这家公司需要一个的新领导者了,这就像我们投票选出一个人来治理国家一样。
那么,这就变成了一家影响力足够大的公司的民主程序该是什么样子的问题。我远不是这方面的专家,比我聪明得多的人也一直在思考这个问题,但我突然想到,我们圆心啊已经有了各种模式了,我们可以研究一下世界各地的不同模式,然后讨论一下这张模式在哪些国家运用的效果比较好,在哪些国家效果不好。
现在,这件事情已经发生了。阿尔特曼已经被董事会解雇。董事长兼总裁格雷格·布罗克曼(Greg Brockman)也离开了公司。故事还在不断发展。 The Information做了很好的报道,彭博社的也不错。硅谷最具传奇色彩的天使投资人Ron Conway 的评价是“自从 1985 年苹果董事会驱逐史蒂夫·乔布斯以来,我们从未见过这样的董事会政变。这太令人震惊了。”
如何在人工智能的安全与市场发展势头之间做出平衡?这个问题似乎是做出这一决定的考虑因素之一。可能还有其他因素的影响。奥特曼有很多计划要做,包括他的加密货币WorldCoin;核聚变初创企业 Helion;与 乔纳森·艾维(Jonny Ive)以及 Masa Son 一起探索做人工智能设备。也许一个新的利益冲突——甚至是 OpenAI 的直接竞争对手——正在浮现。
如果我们相信人工智能是一种强大的通用技术,那么它将对整个社会产生巨大影响:像印刷机、电力、蒸汽机、互联网那样的影响。这不仅关系到我们的生产力,也关系到我们的文化、社区以及日常生活。
如果真是这样的话,那么我们确实能从广泛的辩论中受益。这样的一场辩论会牵涉到摩擦、分歧与争论——重要的是,这样的辩论必须以尽可能透明公开的方式进行。
OpenAI 的危机就像一个玻璃容器,泛化的技术对社会的影响,或者具体的人工智能对社会的影响这些更广泛议题都可以往里面装。
我不想做太多没有根本的猜测,尽管很多讨论似乎都围绕着该公司的战略方向以及安全与市场发展如何平衡。 OpenAI —— 或任何一家人工智能公司 —— 如何解决这个问题非常重要。但没有明显的最佳方法。
有很多人工智能研究人员都在思考安全问题。 OpenAI 拥有一支庞大的安全团队,由 Ilya Sutskever领导。但重要的是要认识到,2023 年人工智能的安全与 2023 年汽车的安全是不一样的。我们在思考汽车安全、安全气囊的质量以及制动器的功效时,这些都属于已知量。我们有相关的数据。逃避车辆安全的首席执行官在做出这些决定时可以评估风险(死亡与受伤)。
但 2023 年的人工智能安全之争与汽车安全之争不一样。我们缺乏足够的数据。对于风险会是什么样子,目前还没有科学共识。我们也没有可以依赖的标准工具包。
相反,我们有的是一系列相互关联的过程:科学研究;社会与制度探索(是谁的安全,代价是什么);以及产品发现(这些实际上是如何在现实世界当中体现出来的),这个领域超出了我们已有的知识范畴,目前我们只掌握部分答案,还在不断摸索。
资源应该如何分配?我们应该在什么地方划清界限?我们是否应该坚持建立可行的、可证明的安全理论并以此为基础?或者,找到这些理论,更重要的是,找到安全的工作模型,是不是需要将产品投入到实际应用,从而可以进行广泛的实验和挑战,以及不断地更新我们的理论性理解?如果是后者的话,应该用什么样的速度推进才合适?
这些问题的答案都不是一眼就能看出来的。因为,正如我所说那样,我们不知道。
我们经常会使用这样的技术,我们对它的机制并不了解,其安全参数是根据经验而不是理论而建立的。麻醉剂就是一个很好的例子。我们从 1840 年代开始就用上了麻醉剂,即便是在今天,虽然我们最终对它们如何影响受体和神经通路还没有完全了解,但我们仍然可以通过反复试验来确定其安全使用。作为一个接受过麻醉的人,我很高兴我们没有等到对麻醉剂的安全性有了理论上的了解之后才得以让医生戴上手术手套。
这并不是说我们应该在不注意安全的情况下搞人工智能开发。
而是说,这个问题的解决没有直截了当的办法。
2020 年,在我与阿尔特曼的第一次对话当中,他表达了自己的看法,即人工智能需要进行更广泛、更民主的辩论。从某种意义上说,这就是我们对人工智能的看法。这与其他技术形成了鲜明对比。
各种 GPT 改变了一切。对它们展开高质量的辩论至关重要。这样的辩论有很多方面:参与的广度(包括公众参与)、对不同影响的考虑、长期视角、运用的证据基础、形成政策结果的方式、及时性及其适应性以及问责制。
考虑到之前广泛应用的技术和服务的情况,这场辩论的广度是可变的或不存在的。想想看Uber在我们城市的迅猛发展。再追溯一下历史:几乎没有公众意识到电力或蒸汽机或塑料的推广,也没有就此展开过辩论。
对基因工程影响的探索要比对这些技术(或互联网之类的东西)的探讨健康得多,但公众的参与程度不一样,不像我们在今天的看到的对人工智能的讨论那么深入。
从政府到学校、媒体、会议、推特乃至于研究论文,对人工智能的讨论十分广泛,形式多样,相关辩论确实非常丰富。
我们看到的是开始出现面向公众开展广泛的咨询,有广泛群体的广泛参与,对许多不同影响进行了更广泛的讨论,以及我们对这个问题的处理方法适应性越来越强。
从这个角度来看,OpenAI 的事件只是那场争论和规范过程的一部分。这并不是一场灾难,可能甚至连打嗝都算不上。也许这会让 OpenAI 放慢几个月的速度,让他们喘口气并重新思考优先事项:研究上、工程上以及商业上的优先事项。从长远来看,有人被赶走无关紧要:技术诀窍保留在人的脑子里。我们知道,做出像 GPT-4 Turbo 这样的好东西是可能的,但也是有限的。这并不是一个我们永远也没法达到的高度。考虑到这场危机可能会催生出更好的长期治理,这是件好事也说不定。
我有一些自己喜欢应用的简单原则:权力集中无益,参与者的多样性有用,单一文化没有弹性……。简而言之,玩家多一点往往比玩家少一点更好。
因此,OpenAI 的分裂可能会导致有人出走并带走他们的知识,这是件好事。
技术属于复合型知识,会受益于不同的世界观与经验的交集。如果研究人员离开 OpenAI 去其他地方建立新的初创公司或加入竞争对手,那是件好事。
2021 年,Dario、Daniela 以及 Jack 离开了 OpenAI 并创立了 Anthropic,这也许比他们留在原公司更好。
因此,如果阿尔特曼以及昨天辞职的 OpenAI 前主席兼总裁格雷格布罗克曼着手一家新的人工智能企业的话,从科学研究、技术进步以及安全和透明部署的角度来看,这可能是一个能带来净产出的结果。而且,如果他们当中的任何一个很快参与到一个或多个与 OpenAI 存在重合或竞争的项目的话,这张情况将不足为奇。
如果这场罢黜激发起大家对用其他方式组织与建设人工智能基础设施(包括开源、实用型思维方式、老式的市场竞争)的兴趣的话,最后的结果也是好的。
人工智能之争有一个方面是不太健康的,那就是技术治理的相对重要性。硅谷科技文化的很多元素都反对治理这种理念(反抗权威与自由主义先锋主义的结合),因此,作为硅谷这几十年来诞生出来的最伟大的事物,OpenAI出现了治理的巨大失败这件事情,不仅具有讽刺意味,而且具有象征意义。
治理确实很重要。随着 OpenAI 从 2015 年的一家小型研究机构发展到今天的规模,治理根本没有跟上步伐。 OpenAI 如今拥有复杂的结构,这个相对年轻的董事会负责监督一个 501(c)(3) 非营利组织,而这家非营利组织下面还有一家控股非营利组织,而后者又是一家有利润上限的公司(微软已对这家公司进行投资)的多数股东。
这并不是说 OpenAI 的董事会没有必要在上周五采取行动(也许他们必须这么做,也许没有必要)。但在危机爆发前的几个月里,董事会未能提出尖锐问题并让高管承担责任,这似乎也说得过去。对于一家备受关注的公司来说,他们的董事会并没有丰富的治理经验。
这个对于任何组织来说都是未知的领域 —— 其中一个关键的优先事项将是要加强 OpenAI 的治理,并阐明其真正的使命是什么。
OpenAI 的剧变并不是一起孤立事件,而是反映了这个行业在努力对这种变革性技术进行监管时所面临的更广泛挑战。我的意思是,阿尔特曼本人在 2020 年就向我强调过这一点。
现在也许是认真对待这一事件,吸取教训,并找到一个跟它寻求要监管的人工智能一样先进和复杂的,透明的治理系统的时候了。
延伸阅读
译者:boxi。