行业前沿｜马斯克等千名科技大佬签署公开信：暂停训练比GPT-4更强大的AI系统

“当全社会都在为AI的进化而欢呼雀跃时，多位科技领袖也表达了深切担忧。

编译：唐诗 |

包括埃隆·马斯克（Elon Musk）在内的数百位科技界知名人士在内的签名者签署了一封公开信，敦促所有 AI 实验室应立即暂停训练比 GPT-4 更强大的 AI 模型，为期至少 6 个月。称人工智能的最新进展“对社会和人类构成巨大风险”。

这封信是在OpenAI的GPT-4公开发布两周后发布的，这是有史以来最强大的AI系统，这导致研究人员削减了他们对AGI（或超越人类认知能力的通用人工智能）何时到来的期望。

许多专家担心，随着人工智能军备竞赛的升温，人类正在梦游般地陷入灾难。

01

六个月的暂停时间

“先进的人工智能可能代表地球生命史上的深刻变化，应该以相应的关怀和资源进行规划和管理，”信中说。“不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室掀起AI狂潮，开发和部署越来越强大的数字大脑，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理（甚至他们的创造者也是如此）。”

签署者名单包括马斯克身边的900多人的名字，包括苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、智人作家尤瓦尔·诺亚·赫拉利（Yuval Noah Harari），以及一些负责机器学习多项突破的人工智能最杰出的学者。

截至周二，没有OpenAI员工签署这封信，尽管首席执行官Sam Altman的名字短暂出现，然后从签署者名单中消失。

至少有四名谷歌员工，包括其子公司人工智能实验室DeepMind的三名员工，Stability AI首席执行官Emad Mostaque和人道技术中心执行主任Tristan Harris也出现在名单上。目前暂时无法验证所有签名都是真实的。

“当代人工智能系统现在在一般任务中变得具有人类竞争力，”这封信中说。

“我们必须扪心自问：我们是否应该让机器用宣传和谎言充斥我们的信息渠道？我们是否应该自动化所有的工作，包括令人满意的工作？我们是否应该发展出可能最终超过、超过、过时并取代我们的非人类思维？我们应该冒失去对文明控制的风险吗？此类决定不得委托给未经选举的技术领导者。”

这封信呼吁所有人工智能实验室同意利用拟议的六个月暂停时间继续安全研究。

“人工智能实验室和独立专家应该利用这一暂停，共同开发和实施一套共享的安全协议，用于先进的人工智能设计和开发，这些协议由独立的外部专家进行严格的审计和监督。”信中说。“这些协议应确保遵守它们的系统在合理怀疑之外是安全的。”这封信背后的人指出，他们并不是呼吁暂停人工智能的发展，而是“从危险的竞赛中退后一步，转向具有新兴能力的更大的不可预测的黑匣子模型”。

02

人工智能之夏

加里·马库斯（Gary Marcus）是公开信的签名者，也是《重启人工智能》（Rebooting AI）一书的作者，他表示，他之所以加上自己的名字，是因为他觉得有责任说出来。

“存在严重的近期和长期风险，企业人工智能责任似乎在人类最需要的时候失去了控制，”他说。“如此迅速地进入未知领域，面临如此多的风险，这似乎不是一个好方法。如果[公司]不认真对待这些风险，那么我们其他人大声疾呼是很重要的。”

人工智能安全创业公司SaferAI的首席执行官西蒙·坎波斯（Simeon Campos）表示，他签署了这封信，因为即使是这些系统的发明者也不知道它们是如何工作的，不知道它们的能力，也不知道如何限制它们的行为，就不可能管理系统的风险。

“我们现在在做什么？”坎波斯说。“我们正在全速竞争中将这些系统扩展到前所未有的能力水平，并对社会产生变革性影响。我们必须放慢这些系统的发展，让社会适应和加速安全的替代AGI架构，并通过设计进行正式验证。

这封公开信以充满希望的基调结束。“社会已经暂停了其他可能对社会产生灾难性影响的技术。我们可以在这里这样做。让我们享受一个漫长的AI之夏，而不是毫无准备地匆匆忙忙地进入秋天。”

以下是公开信原文：

正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成较大的风险。《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球上生命历史的深刻变革，应该以相应的谨慎和资源进行规划和管理。然而，尽管最近几个月人工智能实验室掀起AI狂潮，开发和部署越来越强大的数字大脑，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。

现在，人工智能在一般任务上变得与人类有竞争力，我们必须问自己：我们应该让机器在信息渠道中宣传不真实的信息吗？我们是否应该把所有的工作都自动化，包括那些有成就感的工作？我们是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？我们是否应该冒着失去对我们文明控制的风险？这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。同时，这种信心必须得到验证，并随着系统的潜在影响的大小而加强。OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，对于最先进的努力，同意限制用于创建新模型的计算增长速度。我们同意，现在就该采取行动。

因此，我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。这种暂停应该是公开的、可核查的，并包括所有关键参与者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。

人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。这些协议应该确保遵守协议的系统是安全的。值得一提的是，这并不意味着暂停一般的人工智能开发，只是从危险的竞赛中退后一步，限制不可预测的研究和开发。

人工智能的研究和开发应该重新聚焦于，使目前最先进和强大的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的监管机构；监督和跟踪高能力的人工智能系统和大型计算能力的硬件；出处和水印系统帮助区分真实和合成，并跟踪模型泄漏；强大的审查和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。

人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个“人工智能之夏”中获得回报，为所有人的明确利益设计这些系统，并给社会一个适应的机会。停止使用其他技术可能会对社会造成灾难性影响，因此我们必须保持准备状态。让我们享受一个漫长的人工智能夏天，而不是匆忙进入秋天。

这封信目前已有1127名科技领袖和研究人员签名，除了马斯克、辛顿和马库斯之外，还包括图灵奖得主约书亚·本希奥（Yoshua Bengio）、《人工智能：现代方法》作者斯图尔特·罗素（Stuart Russell）、苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、Stability AI首席执行官埃马德·莫斯塔克（Emad Mostaque）等科技界领袖人物。

参考链接：

https://futureoflife.org/open-letter/pause-giant-ai-experiments/

https://vnexplorer.net/ai-labs-urged-to-pump-the-brakes-in-open-letter-s1115440.html

本文提供的信息仅用于一般指导和信息目的，本文的内容在任何情况下均不应被视为投资、业务、法律或税务建议。