姚期智、Hinton等25位顶尖AI学者发声：AGI最快十年内出现，得行动起来了

出品｜搜狐科技

作者｜郑松毅

在刚刚结束的2024微软开发者大会上，OpenAI联合创始人兼首席执行官山姆·奥特曼（Sam Altman）再次强调，考虑如何应对AI可能带来的存在性风险至关重要，现在的GPT-4远非完美，还有很多工作要做。

就在大会前的几个小时，Yoshua Bengio、Geoffrey Hinton 和姚期智（Andrew Yao）三位图灵奖得主联合国内外数十位业内专家和学者，在权威科学期刊 Science上刊登了题为“Managing extreme AI risks amid rapid progress”的文章，指出未来的AI系统可能会带来一系列大规模的社会风险和恶意使用的可能性，呼吁重新调整AI监管方向，制定更有力的行动策略，以应对AI快速发展带来的挑战。

文章中，25位世界顶尖的人工智能科学家表示，当前的监管措施不足以应对高级AI系统的复杂性和潜在风险，并提出了应对这些风险的紧急优先事项。

他们认为，AI技术的发展速度快于安全和治理的进展，导致潜在的社会性风险日益增加。未来的AI系统可能带来的风险包括大规模的工作岗位流失、自动化误导信息传播以及自主AI系统失去控制，最终导致人类的边缘化或灭绝。

人工智能开创者之一的Geoffrey Hinton，也是这篇论文的共同作者之一，他曾表示，“AI将会比人类更聪明，担心AI可能会发展出自己的次级目标，从而寻求更多的权利，导致不可控的后果。”

中国科学院院士、清华大学教授、论文共同作者姚期智担心，人工智能系统可能会面临安全漏洞，被恶意利用或者攻击，对个人隐私和数据安全造成威胁。另外，人工智能系统的价值观可能与人类的价值观相冲突，导致系统做出不符合人类期望的决策或者行为。

需现在制定策略应对即将到来的AGI挑战

文章指出，当前全球科技公司正在竞相开发能够自主行动和追求目标的AGI（通用人工智能）系统。据统计，科技企业对训练最先进模型的投资每年增加两倍。

值得注意的是，科技公司拥有将训练规模扩大100，甚至1000倍所需的现金储备，硬件和算法将得到进一步提升。具体来说，人工智能计算芯片的成本效益每年提高 1.4 倍，人工智能训练算法的效率每年提高 2.5 倍。这意味着，人工智能技术的发展也在急促地向前迈步。

“人工智能已经在一些特定领域超越了人类的能力，例如玩策略游戏和预测蛋白质如何折叠。与人类相比，人工智能系统可以更快地行动，吸收更多的知识。我们不确定人工智能的未来将如何展开。然而，我们必须认真对待这样一种可能性：在很多关键领域超越人类能力的，强大的通用人工智能系统将在这十年或未来十年内被开发出来。”

科学家们表示，伴随着先进的人工智能能力而来的是大规模的风险，人工智能系统有可能加剧社会不公正，侵蚀社会稳定，助长大规模犯罪活动，并促进自动化战争。

为此，科学家们呼吁重新调整技术研发方向，大型科技公司和公共资助者至少将其人工智能研发预算的三分之一用于解决技术增长带来的风险和挑战，并确保人工智能的安全和道德使用。除了传统的研究拨款外，政府支持还可包括奖金、预先市场承诺和其他激励措施。

具体来说，AI快速发展带来了监督与诚信、鲁棒性、可解释性等多方面挑战。

监督与诚信方面，能力更强的人工智能系统可以更好地利用技术监督和测试方面的弱点，产生虚假但令人信服的输出，让人类难以判别信息真伪。

鲁棒性方面，人工智能系统在新情况下的表现难以预测。另外，规模更大、能力更强的模型解释起来更加复杂。

科学家预测，未来的人工智能系统可能会表现出我们迄今为止仅在理论或实验室实验中看到过的失效模式，或有不可控情况发生。另外，不可避免的是，有些人会滥用或肆意使用人工智能，我们需要一些工具来检测和防御人工智能带来的威胁，但随着人工智能系统的能力越来越强，它们最终将能够规避人为防御。

为此，科学家在研究后提出的处理措施包括：

政府洞察力：为识别风险，政府迫切需要全面洞察人工智能的发展。监管机构应强制要求保护举报人、报告事件、登记前沿人工智能系统及其整个生命周期数据集的关键信息，以及监控模型开发和超级计算机的使用。

安全案例：前沿人工智能应遵循航空、医疗设备等行业的风险管理最佳实践，在这些行业中，公司会提出安全案例，以识别潜在的危险，描述缓解措施，表明系统不会越过某些红线，并模拟可能的结果来评估风险。安全案例可以利用开发人员对自己系统的丰富经验。由政府设定风险阈值，聘请专家和第三方审计师来评估安全案例并进行独立的模型评估，如果开发者的安全声明后来被伪造，会追究开发者的责任。

缓解措施：为了将人工智能风险控制在可接受的范围内，需要与风险程度相匹配的治理机制。监管机构应明确现有责任框架所产生的法律责任，并要求前沿人工智能开发者和所有者对其模型所产生的、可合理预见和预防的危害承担法律责任。

科学家们建议，为了在法规完善之前争取时间，大型人工智能公司应立即做出“如果-那么”（if-then）承诺—— 如果在其人工智能系统中发现特定的红线能力，他们将采取具体的安全措施。这些承诺应该详细，并接受独立审查。监管机构应鼓励各公司争先恐后，利用同类最佳承诺和其他投入，制定适用于所有参与者的标准。