马斯克、图灵奖得主等千名大佬联名呼吁：暂停比GPT-4更强的AI

当全球都在为AI的进化而欢呼雀跃，一封警示AI风险的公开信在硅谷科技圈广为流传。

北京时间3月29日，图灵奖得主、深度学习三巨头之一约书亚·本吉奥（Yoshua Bengio），埃隆·马斯克，《人类简史》作者尤瓦尔·赫拉利等人联名发表公开信，呼吁所有人工智能实验室应立即暂停比GPT-4更强大的人工智能系统训练，暂定时间是6个月以上。

A股最火赛道跳水

3月29日早间，A股市场的人工智能板块一度大爆发，海天瑞声盘中暴涨20%，创出历史新高，年内涨幅一度扩大至352%。

但当日午后，人工智能概念大幅回落，掌阅科技大跌超5%，昆仑万维、川大智胜、中文在线等热门股集体转跌，海天瑞声、光云科技的涨幅亦明显收窄。

随着人工智能的火爆，市场资金也疯狂涌入相关个股。据中信证券统计，上周之前，TMT板块的日均成交额达到2400亿元左右，占A股成交量的28.41%。而3月20日至27日期间，板块的日均成交额则超4400亿元，全市场占比达到了43.13%。

千余名大佬联名“发声”

第一批签名人里面可谓大佬云集。

截至发稿，这封公开信获得了1126个签名支持，埃隆·马斯克于公开信下第三位签名，苹果联合创始人史蒂夫·沃兹尼亚克紧随其后，署名序列中还包括Stability AI的创始人穆斯塔克、Skype的联合创始人和Pinterest联合创始人，以及一位图灵奖得主。

约书亚·本吉奥因对深度学习的贡献，在2018年与“深度学习之父” 杰弗里·辛顿 (Geoffrey Hinton)、Facebook首席科学家杨力昆（Yann LeCun）一起获得了图灵奖。三人被称为“AI教父”。

后两人虽然没有参与公开信的签名，但最近对OpenAI以及AI领域的快速发展都表示了担忧或批评。辛顿在近日接受哥伦比亚广播公司采访时表示，AI消灭人类“并非不可想象”，人类需要警惕AI会给一小部分公司和政府带来巨大的权力。作为Facebook的AI领头人，杨力昆则一直对OpenAI的大语言模型路径不屑一顾，认为其科技并无特别创新之处。

马斯克作为OpenAI的共同创始人之一，一直也毫不掩盖他对OpenAI的敌意，认为其过商业化，从开源变成了“闭源”，已经忘了非盈利和开放的“初心”。但最近也有新闻指出，马斯克之所以如此敌视OpenAI，是因为2018年争夺OpenAI经营权失败，所以撤资走人。

此外，签名人还包括苹果联合创始人史蒂夫·沃兹尼亚克、2020年美国总统选举民主党初选候选人杨安泽、AI经典教科书《人工智能: 一种现代方法》作者Stuart Russell、AI领军公司DeepMind的一众研究人员等。

Sam Altman，态度耐人寻味

署名人员中目前没有OpenAI员工的身影。据媒体报道，OpenAI的首席执行官阿尔特曼的名字曾短暂出现在署名名单中，此后消失。但有四名谷歌员工在名单上署名，包括来自谷歌旗下人工智能实验室DeepMind的三名研究科学家。

AI背后不可忽视的风险

这封题为《暂停巨型人工智能实验》的公开信于3月22日刊登在非盈利组织生命未来研究所（Future of Life Institute）的官网上，其行文明快、语言犀利，详细阐述了具有与人类竞争性的人工智能系统会给社会和文明造成的潜在风险。

信中写道：广泛的研究表明，具有与人类竞争智能的人工智能系统可能对社会和人类构成深远的风险，这一观点得到了顶级人工智能实验室的承认。正如广泛认可的“阿西洛马人工智能原则（AsilomarAIPrinciples，阿西莫夫的机器人三大法则的扩展版本，于2017年由近千名人工智能和机器人专家签署）中所述，高级AI可能代表地球生命史上的深刻变化，应该以相应的关照和资源进行规划和管理。不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——能理解、预测或可靠地控制。

“当代人工智能系统现在在一般任务上变得与人类具有竞争力，我们必须扪心自问：我们是否应该让机器用宣传和谎言充斥我们的信息渠道？我们是否应该自动化所有工作，包括令人满意的工作？我们是否应该发展最终可能比我们更多、更聪明，淘汰并取代我们的非人类思维？我们应该冒险失去对我们文明的控制吗？”这封信写道，“只有当我们确信它们的影响是积极的并且风险是可控的时候，才应该开发强大的人工智能系统。这种信心必须有充分的理由，并随着系统潜在影响的规模而增加。OpenAI最近关于通用人工智能的声明指出，‘在某些时候，在开始训练未来的系统之前进行独立审查可能很重要，并且对于最先进的工作来说，应该同意限制用于创建新模型的计算量增长。’我们同意。那个某些时候就是现在。”

这封信呼吁，所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少6个月。这种暂停应该是公开的和可验证的，并且包括所有关键参与者。如果不能迅速实施这种暂停，政府应介入并实行暂停。人工智能实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督。这些协议应确保遵守它们的系统是安全的，并且无可置疑。这并不意味着总体上暂停AI开发，只是紧急从奔向不可预测的大型黑盒模型的危险竞赛中收回脚步。

与此同时，信中指出，AI开发人员必须与政策制定者合作，以显著加快开发强大的AI治理系统。至少应包括：建立专门负责AI的有能力的新监管机构；监督和跟踪高性能人工智能系统和大量计算能力；推出标明来源系统和水印系统，以帮助区分真实与合成，并跟踪模型泄漏；强大的审计和认证生态系统；界定人工智能造成的伤害的责任；为人工智能技术安全研究提供强大的公共资金；以资源充足的机构来应对人工智能将造成的巨大经济和政治破坏（尤其是对民主的破坏）。

这封信最后写道，“人类可以享受人工智能带来的繁荣未来。成功创建强大的AI系统后，我们现在可以享受‘AI之夏’，收获回报，设计这些系统以造福所有人，并为社会提供适应的机会。社会已经暂停其他可能对社会造成灾难性影响的技术。我们可以在这个领域也这样做。让我们享受一个漫长的AI之夏，而不是毫无准备地陷入秋天。”

未来生命研究所建立于2014年，是一个非营利组织，由一系列个人和组织资助，使命是引导变革性技术远离极端、大规模的风险，转向造福生活。（来源：界面新闻、澎湃新闻、每日经济新闻等；整理：孙琪）

编辑：李云鹏