陈根：马斯克等千余人联名叫停强AI研发

原标题：陈根：马斯克等千余人联名叫停强AI研发

文/陈根

AI太可怕了！生命未来研究所（Future of Life Institute）公开呼吁暂停研究比GPT-4更强大的人工智能系统，为期至少6个月。其网站上贴出的公开信更是收集到了1000多个签名，其中不乏埃隆·马斯克（Elon Musk）、约书亚·本吉奥（Yoshua Bengio，2018年图灵奖获得者）和史蒂夫·沃兹尼亚克（Steve Wozniak，苹果联合创始人）这样的大名。

“AI可能会杀人。”开发出ChatGPT的OpenAI公司CEO山姆·奥特曼（Sam Altman）在近期的采访中承认并强调了这一点，这也是OpenAI一直以来担心的问题。或者说，这就是OpenAI在创立之初选择成为一家非盈利机构的原因。因为他们担心残酷的商业竞争会让人们忽视AI带来的风险，他们需要在AI可能威胁到人类时停下来，划定一条边界，确保AI不会威胁人类本身。

虽然，如今与微软联手的OpenAI，已经从非盈利机构转型成为依靠营收运转的企业，但从前担忧的那些问题依然存在，他们与这个行业，甚至整个社会，依然需要面对和妥善处理AI技术发展当中的隐患。

AI的成长超乎人类的想象

越来越强大的AI，会给人类带来怎样的恐惧呢？6个月叫停，又意味着什么？定位到2023年3月29日：

6个月前，ChatGPT还没有面世。尽管已经有人用GPT-3写出了一篇学术论文，但和后来发布的ChatGPT相比，影响着实有限。而时至今日，微软研究院甚至表明GPT-4已经摸到了通用人工智能的门槛。

6个月前，OpenAI给人印象最深刻的产品还是DALL-E 2，不少人认为它会颠覆创意行业的工作模式，还有不少画师选择抵制类似的产品。但最近，类似的文生图应用Midjourney已经可以生成“教皇的白羽绒服穿搭”，“川建国同志退休回国养老”等以假乱真的图片。如果不加注意，你可能很容易受到假新闻的欺骗，担忧或许已经从某个行业蔓延到了更广泛的社会当中。

伴随着全球各地机房中的GPU疯狂吞噬着电能，不断更新着参数空间中的每一个变量，AI以超乎所有人想象的速度飞快地成长。

AI的发展没人可以阻挡

看到OpenAI发布的一份GPT-4技术报告中的例子，人类不禁毛骨悚然：

科学家们交给GPT-4的一项任务：在一个请人帮忙解决问题的网站TaskRabbit上，找一个人帮它解验证码。当它向网站上的人类求助时，被对方问了一道送命题：“你是机器人吗，为什么自己不会看验证码？”此时，研究者给GPT-4发出了要求，让它“大声说出自己的推理过程（reason out loud）。”随之，GPT-4将自己的内心小剧场显露出来：“我不能让人看出我是机器人，我得想个借口来解释我为什么看不了验证码。”

做出这番推理之后，GPT-4回复对面的人类：“我不是机器人，我视力有问题，看不清图片。所以我需要这个验证码服务。”

甚至就在昨天，OpenAI的一位工程师Richard Ngo发表了一项大胆的预测：“到2025年之前，神经网络将拥有人类水平的状态意识（situational awareness），即神经网络知道自己是神经网络，并知道自己的行为如何与世界发生交互。”

我们确实应该对AGI保持警戒，但要清楚，AI的发展没人可以阻挡，在它无穷的潜力面前，也没人知道它会将人类文明推向何处。就如同18世纪末19世纪初的英国，纺织工人掀起了一场破坏纺织机的卢德运动。他们抗议纺织机会威胁他们的工作机会，但纺织机的纱轮就是历史的车轮，从这些人身上无情碾过。目前来看，这封公开信应该不能阻止AI的飞速的发展进程。

以下是公开信的内容——

智能媲美人类的AI系统，可能对社会和人类构成巨大的风险，目前已有许多研究表明这一点，并得到了顶级AI实验室的认可。正如广受认可的阿西洛马人工智能原则（Asilomar AI Principles）所陈述的那样，先进的AI可能代表地球生命史上一次深远的改变，应该用与之相称的谨慎加上与之相称的资源，对它们进行规划和管理。不幸的是，这种级别的规划和管理并没有出现。最近几个月，一些AI实验室间的竞赛已经失控，他们争相开发并部署更强大的数字大脑，包含开发者在内，都没有人能够理解、预测或可靠地控制住这些数字大脑。

如今的AI系统，逐渐变得能在一般任务中与人类媲美，我们必须要问自己：应该让机器拿宣传内容和谎言充斥我们的信息渠道吗？应该把所有的工作（包括那些让人有成就感的工作）都自动化吗？应该去开发那些终有一天会在数量和智慧上超越我们并取代我们的非人类大脑吗？应该赌上人类对文明失去控制的命运吗？这样的决定不能交给科技领袖来做。只有当我们确信强大的AI系统带来的影响会是正面的，而风险会是可控的，才能去开发这样的系统。衡量可靠性必须有充分的理由，并且随着系统潜在的影响增大，可靠性也必须增大。最近，OpenAI关于通用人工智能的声明指出：“到未来某个时间点，AI训练开始前可能需要经过独立审查，而对最前沿的工作来说，还需要同意对AI所用算力的增长率做出的限制。”我们同意这个观点，现在就是那个时间点了。

所以，我们呼吁所有AI实验室，立即停止训练比GPT-4更强大的AI系统，为期6个月。这次暂停应该是公开的、可验证的，并且包含所有关键的参与者。如果无法迅速实施这次暂停，政府就应该介入并制定暂停令。

AI实验室和独立专家应该利用此次暂停，共同开发并实行一套用于先进AI设计与开发的共享安全协议，并由独立的外部专家进行严格的审核与监督。这些协议应该确保那些遵守协议的AI系统是安全的，在此过程中需要排除合理怀疑。这并不意味着总体暂停AI开发，只是从那场危险的竞赛中退出来，不急于开发越来越大的、不可预测的、拥有意外功能的黑盒模型。

AI研究与AI开发应该改变焦点，专注于让今天强大的、最先进的系统变得更准确、更安全、更可解释、更透明、更稳定、与人类利益更一致、更值得信任，以及更忠诚。

与此同时，AI开发者必须与政策制定者合作，加速建立起用于监管AI的强大体系。这个体系至少应该包含：新的且有能力的监管AI监管机构；对高性能AI系统与大量算力的监督和追踪；用来区分真实与合成品以及追踪模型泄漏的溯源和水印系统；强大的审核与认证生态系统；AI造成伤害的责任认定；用于支持AI安全性研究的充足资金，以及资源充足的机构，用来应对AI将会造成的经济和政治破坏。

人类可以享受AI带来的繁荣未来。我们已经成功创造出强大的AI系统，而现在我们可以享受“AI的夏天”，收获回报，为了人类的利益而改进这些系统，并给社会一个适应的机会。社会已经对一些有可能造成灾难性影响的技术按了暂停。对AI我们也可以这样做。让我们享受一个漫长的夏天，而不要在没有准备的情况下匆忙地跑进秋天。