万人联名封杀GPT-4背后：有一个神秘组织，马斯克等大佬都是信徒

在新一轮AI全球竞赛爆发之际，一封呼吁暂停大型AI研究的公开信在科技圈掀起轩然大波。

这封公开信茅头直指Open AI，呼吁暂停开发比GPT-4更强大的AI系统至少6个月。

图灵奖得主Yoshua Bengio、马斯克、苹果联合创始人Steve Wozniak、Stability AI 创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信，目前已经有近13000人签名。

令人意外的是，Open AI CEO Sam Altman的名字也曾赫然在列，但后来被证实为假签名，Altman称并没有计划呼吁暂停人工智能的开发。

近期，OpenAI 已经公布了GPT-4模型，其起草诉讼书、通过标准化考试和根据手绘草图建立工作网站的能力震惊四座。

然而，就当所有人的注意力集中在签名的AI大佬身上时，华尔街见闻注意到这封公开信背后的生命未来研究所（Future of Life Institute，FLI）可一点都不简单。

FLI是什么样的组织？

先简单介绍一下FLI，是一家专注于变革性科技的非盈利组织。

顾名思义，FLI研究的对象是“生命的未来”，以“引导变革性技术造福生命，远离极端大规模风险”为使命。

我们认为，开发和使用强大技术的方式将是决定未来生命前景的最重要因素，因此我们的使命是确保技术继续改善等前景。 

FLI工作包括资助各种研究项目，组织和赞助相关会议和讲座，以及向公众普及科技领域的最新发展和挑战。

FLI成立于2014年，创始人为科技界人士和哲学家，比如Skype联合创始人Jaan Tallinn，麻省理工学院（MIT）物理系教授Max Tegmark，牛津大学哲学教授Nick Bostrom。

FLI的拥趸除了学术界翘楚之外，还有全球首富马斯克，甚至是美国知名演员摩根·弗里曼也榜上有名。

而提到FLI，就不得不提它的姊妹机构牛津大学人类未来研究所（Future of Humanity Institute，FHI），后者自称关注解决人类及其前景的宏观问题。

巧合的是，Bostrom同时也是FHI的创始人和主任。

仅有两字之差的机构名称，同样宏大的宗旨，关键的人物任职，均表明两者有着特殊的联系——长期主义。

Bostrom是长期主义的提出人，FHI研究助理、开放慈善项目官员Nick Beckstead、牛津大学哲学教授William MacAskill都对这一理论有所贡献。

长期主义影响力有多大？

除了FLI和FHI之外，长期主义还是全球优先事项研究所(Global Priorities Institute , GPI)和全球优先事项研究前瞻基金会（Forethought Foundation for Global Priorities Research）的研究重点。

前者由牛津大学哲学教授Hilary Greaves领导，后者由牛津大学哲学教授William MacAskill管理，他也在FHI和GPI任职。

William MacAskill

长期主义还是慈善巨头有效利他主义(Effective Altruism，EA)运动的主要理论支撑之一，这一组织由FHI研究员、《悬崖：世界末日和人类的未来》作者Toby Ord联合创立，MacAskill现担任主席。

MacAskill创作的有关长期主义的书籍《我们欠未来》在硅谷广受赞誉，马斯克曾称其“与我的哲学非常吻合”。

马斯克还是Bostrom的忠实拥护者，他经常引用Bostrom的研究成果，还曾通过FLI向FHI捐赠了150万美元。

除此以外，贝宝（PayPal）联合创始人Peter Thiel曾向机器智能研究所（Machine Intelligence Research Institute）捐了一大笔钱，这一机构对长期主义深信不疑，宣称要从超级智能机器手中拯救人类。

图片来源：Machine Intelligence Research Institute官网

长期主义不仅受到科技大佬的赏识，其影响力甚至渗透到了欧美政界。

总部位于华盛顿的安全和新兴技术中心(Center for Security and Emerging Technologies，CSET)希望将长期主义者安置进美国政府高层，帮助塑造国家政策。

CSET由前FHI研究助理Jason Matheny建立，他曾是拜登政府的美国国家安全专家，现担任美国知名智库兰德公司的CEO。

Ord曾为世卫组织、世界银行、世界经济论坛、美国国家情报委员会、英国首相办公室、内阁办公室和政府科学办公室提供过建议，他还曾为联合国秘书长的一份报告做出了贡献，在这篇报告里特别提到了长期主义。

关键在于，长期主义可能是除了全球顶尖学府和硅谷以外，很少有人听说过的最具影响力的意识形态之一。

但更可怕的是，这种世界观可能是当今世界上最危险的世俗信仰体系。

长期主义是什么？

首先需要注意的是，Bostrom提出的长期主义并不等同于关心长期前景或后代福祉。

远不止这些。

长期主义把个体的人比作人类整体。

这是什么意思？

长期主义者认为，人类有自己的“潜力”，一个超越每个人的潜力，如果不能实现这种潜力将是极其糟糕的。

长期主义的核心教条是，从伦理上讲，没有什么比实现人类作为“源于地球的智慧生命”物种的潜力更重要的了。

在长期主义者看来，这一点至关重要，甚至还创造了一个听起来很吓人的术语——“世界末日”。

这一术语是指人类潜能被破坏的任何可能性，以及任何实际上破坏了这种潜能的事件的“存在主义灾难”。

长期主义为什么很危险？

为什么这种意识形态非常危险？

一言以蔽之，将实现人类潜力这一事业的重要性提升到高于一切的水平，可能会显著增加现实中的人——眼下和不久的将来还活着的人——遭受极端伤害甚至死亡的可能性。

比如，长期主义者认为不需要关注全球气候变化。

因为气候变化不会损害人类在未来数万亿年的长期潜力，即使它会让岛屿消失，让数以亿计的人流离失所，面临严重的生存危机。

如果从宇宙的角度来看这种情况，那么即使是在未来2000年里使人口削减75%的气候灾难，也只不过是沧海一粟。

Bostrom在谈到两次世界大战、艾滋病和切尔诺贝利核事故时，称“这样的悲剧事件对人们来说是受到实时影响的，但从大局来看，即使是最严重的灾难也仅仅是生命大海上的一片涟漪”，只是“人类的小失误”。

这意味着，如果未来发生灾难，只要它不对人类整体构成直接的生存风险，那么人类就不应该太担心，即使是对个人来说可能是悲惨的。

Ord则认为，人类的首要任务是，到达“人类存在安全区”，即“存在风险”较低的地方。

据他估计，气候变化导致生存灾难的几率只有千分之一，比本世纪超级智能机器毁灭人类的几率低了整整两个百分点。

Ord曾承认，气候灾难“有可能造成文明无法挽回的崩溃，甚至是人类完全灭绝”，同样对现实中的人类（尤其是南半球的人类）造成绝对巨大的伤害，但与人类在宇宙中的长期潜力相比，它的影响几乎可以忽略不计。

如果人类将“发挥潜能”当成第一要务，那么应该用什么样的手段去确保不偏离这一方向呢？

Bostrom本人认为，人类应该认真考虑一个全球性的“入侵式监听系统”，实时监听地球上的每个人，增强预警能力。

他说，国家应该使用先发制人的暴力或战争来避免存在性灾难，并认为拯救数十亿现实中的人类的生命仅等同于微微降低存在风险。

举例来说，即使有百分之一的可能性拯救1054个未来人类的生命，那么将生存风险降低一个百分点的一亿亿分之一，其价值也相当于拯救十亿人类生命的1000亿倍。

这种危险的世界观还存在其他根本性问题。

比如，长期注意与实现“生存安全”根本不相容，换句话说，要真正降低未来人类灭绝风险的唯一途径可能是完全放弃长期主义意识形态。

来看看长期主义者所说的人类“长期潜力”。

它主要由三部分组成：超人类主义、空间扩张主义以及与哲学家所谓的“总体功利主义”密切相关的道德观。

超人类主义，指人类应该用先进的技术来重新设计我们的身体和大脑，创造一个由彻底增强的“后人类”组成的“优越”种族。

比如，我们可以对自己进行基因改造以完全控制我们的情绪，或者通过神经植入物访问互联网，或者甚至可以将我们的思想上传到计算机硬件以实现“数字永生”。

将超人类主义和长期主义联系起来，根据Bostrom 和Ord的说法，成不了所谓的后人类会阻碍人类实现巨大而光荣的潜力，这将是“存在主义灾难”。

空间扩张主义指的是我们必须尽可能多地殖民未来的光锥（时空中的面）: 即理论上我们可以进入的时空区域。

根据长期主义者的观点，我们未来的光锥包含了大量可利用的资源，他们称之为负熵的“宇宙禀赋”。

Ord写道，单单银河系的直径就有15万光年，包含了超过1000亿颗恒星，其中大部分都有自己的行星。要实现人类的长期潜力，我们只需要最终到达附近的一颗恒星，建立一个足够坚实的立足点，创造一个新的繁荣社会。

但为什么要这么做？让新的后人类文明洒满宇宙有什么重要的？

这就不得不提第三个组成部分: 总功利主义，这里简称为“功利主义”。

一些长期主义者坚称他们不是功利主义者，在一些人眼中，这只是一种烟雾弹行为。

比如，EA运动可能只是披着利他主义外衣的功利主义。

这项运动被称为EA运动之前，Ord等早期成员曾认真考虑过称之为“有效功利主义社区”。

功利主义并不在意价值是如何在时间和空间中分配的，重要的是总净额。

比如，假设现在有1万亿人，每个人的生命价值为1，那么总价值为1万亿，而如果现在有10亿人，每个人的生命价值为999，那么总价值为9990亿。在功利主义者眼中，第一个世界的价值更高。

这里的推测基于这样一个观点，即人只是价值的“容器”，本身并没有价值，人类存在的意义仅限于“容纳”了价值，更多的人意味着更多的价值。

简而言之，在功利主义者看来，人的存在是为了价值最大化，而不是为了造福人民。

这就是为什么长期主义者痴迷于计算未来有多少人可以存在。

Bostrom曾估计未来世界人类数量将达到1054，这一数字在他2014年出版的《超级智能》一书中更高，为1058。

最后总结一下长期主义者眼中的人类长期潜力：通过数字化技术增强的人类遍布银河系。

为了长期主义者的目标，人类不能把资源浪费在解决全球贫困问题和全球气候变暖上，反而应该把更多精力放在超级智能机器上，建立一个全球监视系统，发动“先发制人”的战争。

Beckstead甚至认为，人类应该优先考虑富裕国家人民的生活，而非贫穷国家人民，因为前者对未来的影响绝对更加重要。

为了实现价值最大化，人类必须开发越来越强大、越来越危险的技术; 如果做不到这一点，本身就将是一场生死存亡的灾难。不过，技术并不是导致全球性问题日益恶化的根本原因，也不是停止创造更多技术的理由。

有人认为，人类需要先进的技术逃离可能在未来十亿年内被太阳毁灭的地球，但在此之前，滥用技术更有可能导致人类灭绝。

本文来自微信公众号“华尔街见闻”（ID:wallstreetcn），作者：卜淑情，36氪经授权发布。