危险！立刻停下！马斯克领衔，超千名大佬紧急联名呼吁！

作者：财经八卦阵发布时间：2023-03-31

如果有人在1年前告诉你，人工智能即将毁灭人类，科幻作品中的HAL-2000、MOSS、Matrix即将成为现实，你大概率会觉得他在杞人忧天。可今天，面对ChatGPT新闻的狂轰滥炸，以及刚刚诞生的新一代语言模型GPT-4，不少人的想法或许已经改变了。

作者：赵颖，来源：华尔街见闻（ID：wallstreetcn）

当全社会都在为AI的进化而欢呼雀跃，全新的、意想不到的风险可能也正在悄悄酝酿。

3月22日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。该机构以“引导变革性技术造福生活，远离极端的大规模风险”为使命。

该机构在信中提到：

我们不应该冒着失去对文明控制的风险，将决定委托给未经选举的技术领袖。只有当确保强大的人工智能系统的效果是积极的，其风险是可控的才能继续开发。

人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。

截止目前，马斯克、苹果联合创始人Steve Wozniak、Stability AI 创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。

值得一提的是，OpenAI CEO奥特曼在与MIT研究科学家Lex Fridman的最新对话中指出，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性。

现在，全球各地机房中的GPU正在疯狂吞噬着电能，不断更新着参数空间中的每一个变量，AI正在飞速成长。很明显，AI的发展已经度过了一个临界点，如果没有人主动阻止，AI进化的速度很可能超乎所有人的意料。

那么ChatGPT是如何看待公开信中AI对人类社会的影响？华尔街见闻专门询问了ChatGPT 3.5，其表示随着人工智能技术的不断发展和普及，人工智能可能对社会和人类造成的影响将越来越大。这封公开信提出的呼吁和建议，应该被视为引起更广泛和深入讨论的起点和参考，而不是一个终点或解决方案。

文生图AI Midjourney绘制的“川建国同志退休回国养老”。

以下是公开信原文：

正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成较大的风险。《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球上生命历史的深刻变革，应该以相应的谨慎和资源进行规划和管理。然而，尽管最近几个月人工智能实验室掀起AI狂潮，开发和部署越来越强大的数字大脑，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。

现在，人工智能在一般任务上变得与人类有竞争力，我们必须问自己：我们应该让机器在信息渠道中宣传不真实的信息吗？我们是否应该把所有的工作都自动化，包括那些有成就感的工作？我们是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？我们是否应该冒着失去对我们文明控制的风险？这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。同时，这种信心必须得到验证，并随着系统的潜在影响的大小而加强。OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，对于最先进的努力，同意限制用于创建新模型的计算增长速度。我们同意，现在就该采取行动。

因此，我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。这种暂停应该是公开的、可核查的，并包括所有关键参与者者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。

人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。这些协议应该确保遵守协议的系统是安全的。值得一提的是，这并不意味着暂停一般的人工智能开发，只是从危险的竞赛中退后一步，限制不可预测的研究和开发。

人工智能的研究和开发应该重新聚焦于，使目前最先进和强大的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的监管机构；监督和跟踪高能力的人工智能系统和大型计算能力的硬件；出处和水印系统帮助区分真实和合成，并跟踪模型泄漏；强大的审查和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。

人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个“人工智能之夏”中获得回报，为所有人的明确利益设计这些系统，并给社会一个适应的机会。停止使用其他技术可能会对社会造成灾难性影响，因此我们必须保持准备状态。让我们享受一个漫长的人工智能夏天，而不是匆忙进入秋天。

GPT-4老板：AI可能会杀死人类，已经出现我们无法解释的推理能力

OpenAI CEO奥特曼Altman在与MIT研究科学家Lex Fridman的最新对话中指出，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性。

在此次采访中，Altman提出了一点关于GPT的新颖之处，即推理能力。“这个模型的神奇之处在于…对于很多它都不准确的定义，它可以进行某种推理。”

Altman指出，“我认为这很了不起，最令人兴奋的是，在提取人类知识的过程中，它产生了这种推理能力。”

Altman谈及了近期围绕ChatGPT产生的诸多问题，坦承就连OpenAI团队，也根本没搞懂它是如何“进化”的：

从ChatGPT开始，AI出现了推理能力。但没人能解读这种能力出现的原因。

唯一的途径是向ChatGPT提问，从它的回答中摸索它的思路。

Altman称不会回避“人工智能可能杀死全人类”的说法。美国决策理论和人工智能的研究者和作家Yudkowsky此前指出“人工智能可能杀死所有人”。对此，Altman回应道，“我认为有这种可能性，并且承认这一点很重要，因为如果我们不谈论它、不把它视为潜在的事实，那么我们就不会投入足够的努力去解决这个问题。” “我认为我们必须开发新的技术来解决这个问题…我所知道的解决这类问题的唯一方法就是不断迭代，尽早学习。”

而OpenAI的一位工程师Richard Ngo更发表了一项大胆的预测：“到2025年之前，神经网络将拥有人类水平的状态意识（situational awareness），即神经网络知道自己是神经网络，并知道自己的行为如何与世界发生交互。”

来源：中国基金报