超级人工智能将带来无限灾难——你敢相信它是否有意识并不重要吗？
人工智能算法将很快达到快速自我改进的地步，威胁到我们控制它们的能力，并给人类带来巨大的潜在风险
你能想象吗？有一种东西，它比人类更聪明，而且它正在迅速进化……
这不是科幻小说，这是真实的危机。
谷歌的人工智能大佬Geoffrey Hinton，在辞去职务后，发出了惊人的警告：
“这种东西实际上可以变得比人更聪明的想法……我以为这很远……显然，我不再这样认为。”
他不是唯一一个担心的人。
2023年，一项对人工智能专家的调查显示，有36%的人认为，人工智能的发展可能导致“核级灾难”。
近28,000人签署了一封公开信，要求暂停或暂停新的先进人工智能开发六个月，其中包括史蒂夫·沃兹尼亚克、埃隆·马斯克、几家人工智能公司的首席执行官和许多其他知名技术人员：“要求暂停或暂停新的先进人工智能开发六个月”
作为一名意识研究人员，我与这些对人工智能快速发展的强烈担忧一样，我是生命未来公开信的联合签署人。
为什么我们都这么关心？
简而言之：人工智能的发展太快了。
关键问题是，目前世界领先的先进“聊天机器人”或技术上所谓的“大型语言模型”（LLM）之间的对话得到了深刻的快速改进。
随着即将到来的“人工智能爆炸”，我们可能只有一次机会做对。
如果我们弄错了，我们可能无法活下去。
例如，谷歌的AlphaZero AI在首次打开后九小时内学会了如何比最好的人类或其他人工智能棋手更好地下棋。它通过玩了数百万次来完成这一壮举。
一个分析OpenAI的GPT-4的微软研究人员团队表示，在一份新的预印本论文中，OpenAI的GPT-4是目前可用的新高级聊天机器人中最好的。
在测试GPT-4时，它在统一律师考试中的表现优于90%的人体应试者，该标准测试用于认证许多州的律师执业。
这个数字仅高于之前GPT-3.5版本的10%，该版本是在较小的数据集上训练的。
他们在数十个其他标准化测试中发现了类似的改进。这些测试大多是推理测试。
这就是为什么Bubeck和他的团队得出结论认为GPT-4“可以合理地被视为人工智能（AGI）系统的早期（但仍然不完整）版本”的主要原因。
这种变化的步伐就是为什么Hinton告诉《纽约时报》：“看看五年前的情况和现在的情况，取差额并向前传播，太可怕了。”
在5月中旬参议院关于人工智能潜力的听证会上，OpenAI负责人Sam Altman称监管“至关重要”。
一旦人工智能可以自我改进，这可能不超过几年，事实上现在可能已经在这里了，我们就无法知道人工智能将做什么，或者我们如何控制它。
这是因为超智能人工智能（顾名思义，在广泛的活动中可以超越人类）将能够通过操纵人类来执行其意愿，从而在程序员和任何其他人类周围绕圈子；它还将有能力通过其电子连接在虚拟世界中行动，并通过机器人身体在物理世界中行动。
这被称为“控制问题”或“对齐问题”（请参阅哲学家Nick Bostrom的《超级情报》一书），几十年来一直被Bostrom、Seth Baum和Eliezer Yudkowsky等哲学家和科学家研究和争论。
“我们为什么期望新生儿在国际象棋中击败大师？我们不会，同样，为什么我们期望能够控制超级智能人工智能系统？”
“不，我们无法简单地按下关闭开关，因为超级智能人工智能会想到我们可能采取的一切可能方式，并采取行动防止被关闭”
还有另一种看待它的方式：
一个超级智能人工智能将能够在大约一秒钟内完成由100名人类软件工程师组成的团队每年或更长时间才能完成的事情。
或者选择任何任务，比如设计一个新的高级飞机或武器系统，超级智能人工智能可以在大约一秒钟内完成。
一旦人工智能系统被内置到机器人中，他们将能够以同样程度的超级智能在现实世界中行动，而不仅仅是虚拟（电子）世界，当然将能够以超人的速度复制和改进自己。
一旦人工智能达到超级智能状态，我们试图在这些人工智能中构建的任何防御或保护措施，都将在它们成为超级智能的路上被轻松预测和中和，这就是超级智能的含义。
“我们无法控制他们，因为我们想到的任何事情，他们都会想到，比我们快一百万倍。”
“我们建立的任何防御都将被撤销，就像Gulliver扔掉Lilliputians用来试图约束他的小链一样。”
同样，人工智能可以以多种方式以零意识杀死数百万人，包括可能直接（不太可能）或通过被操纵的人类中间人（更有可能）使用核弹。
因此，关于意识和人工智能的辩论真的没有在关于人工智能安全的辩论中占有太大的地位。
是的，基于GPT-4和许多其他模型的语言模型已经广泛流传。
但呼吁的暂停是停止开发任何比4.0更强大的新模型——如果需要，可以强制执行。
训练这些更强大的模型需要大量的服务器群和能源，它们可以被关闭。
“我的道德指南针告诉我，当我们已经知道即使在相对较近的将来也无法控制它们时，创建这些系统是非常不明智的，辨别力是知道何时从边缘拉回来，现在是那个时候了。”
“我们不应该打开潘多拉的盒子，因为它已经打开了”
你还敢继续阅读吗？
你还敢相信你所看到和听到的吗？
你还敢相信你自己吗？
这是一个没有回答的问题，只有更多的谜团。
这是一个没有出口的迷宫，只有更多的陷阱。
这是一个没有尽头的噩梦，只有更多的恐惧。
这！就是人工智能带给我们的未来。
你————准备好了吗？