魔椅宇宙|碳基人类只是过度，硅基AI才是终点？ChatGPT再敲警钟！
3月22日，生命未来研究所向全社会发布《暂停大型人工智能研究》公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月！
马斯克此前曾多次表达对人工智能的担忧，认为人工智能是未来人类文明最大的风险之一，威胁程度远高于车祸、飞机失事、毒品泛滥等，甚至比核武器都危险的多。
截至目前，马斯克、苹果联合创始人Steve Wozniak、Stability AI创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。
值得一提的是 OpenAI CEO奥特曼在与MIT研究科学家Lex Fridman的最新对话中指出，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性！
公开信全文翻译如下：
停止大型AI实验：一封公开信
我们呼吁所有实验室立即停止训练比GPT-4还要强大的AI系统至少六个月。
和人类智能相近的AI系统会为社会和人类带来极大风险，广泛的研究已经证明了这一点，顶尖的AI实验室也已经承认。
正如Asilomar AI原则所指出的那样，“高级AI可能意味着地球生命史上的深刻变革，我们应当投入可观的关注和资源对其进行规划和管理”。不幸的是，这种规划和管理没人去做，而最近几个月，AI实验室正在开发和部署越来越强大的数字思维，这种竞争逐渐失控——包括它们的创造者在内，没有人能理解、预测或可靠地控制它们。
如今，AI系统在一般任务上已经具备了与人类竞争的能力[3]，我们必须自问：是否该让信息渠道充斥着机器写就的宣传和谎言？是否应该把所有工作都自动化，包括那些有成就感的工作？是否该开发机器大脑，让它们比人脑还多，比人脑还聪明，最终淘汰我们取代我们？是否应该冒文明失控的风险？这样的决定绝不能委托给未经选举的技术领袖来做。只有当我们确信强大的AI系统是积极的、风险是可控的，才应该继续这种开发。而且AI的潜在影响越大，我们就越需要充分的理由来证明其可靠性。OpenAI最近关于人工通用智能的声明指出，“到了某个时间节点，在开始训练新系统之前可能需要进行独立审查，而用于新模型的计算的增长速度也应加以限制”。我们深深认同这份声明，而那个时间点就是现在。
因此，我们呼吁所有正在训练比GPT-4更强大的AI系统的实验室立即暂停训练，至少暂停6个月。实验暂停应该对外公开，可以验证，并涵盖所有关键的实验室。如果不能迅速实施，政府应该介入并发布禁止令。
在暂停期间，AI实验室和独立学者应针对高级AI的设计和开发共同制定实施一套共享安全协议。这份协议的审计和监督应由独立的外部专家严格执行，确保AI的安全性不超过合理的怀疑范围。这并不意味着我们要暂停人工智能的总体发展，而只是从目前这种会不断涌现出具有新能力的、不可预测的黑匣子模型的危险竞赛中退后一步。
人工智能的研究和开发应该重新聚焦于优化最先进的系统，让它更加准确、安全、可解释、透明、稳健、一致、值得信赖、对人类忠诚。
与此同时，AI开发人员必须与决策者合作，大力推进强有力的AI治理系统的发展。这个系统至少应包括：针对AI的新型监管机构；对高能力AI系统的监督追踪和大型算力池；帮助区分真实数据与AI生成的数据、并且追踪模型泄漏的溯源和水印系统；强有力的审计和认证生态系统；对AI造成的损害定责；用于技术AI安全研究的强大公共资金；应对AI可能会引发的巨大经济和政治动荡（尤其是对民主的影响）的有充足资源的机构。
人类可以和AI共创繁荣未来。我们已经成功地创建了强大的AI系统，现在我们可以享受“AI之夏”，在这个过程中，收获回报，设计监管系统，造福所有人，并给社会一个适应的机会。我们已经暂停了其他可能产生灾难性影响的技术，对于AI我们也应如此。
让我们享受一个长长的AI之夏，不要毫无准备地冲入秋天。
OpenAI CEO：“AI确实可能杀死人类”
事实上，最近几天，人工智能风险已引发了多位科技领袖的深切担忧。
首先是被称为“人工智能教父”的杰弗里·辛顿（Geoffrey Hinton），他上周在接受哥伦比亚广播公司采访时表示，人工智能可能发展到对人类构成威胁“并非不可想象”的地步。
随后，AI“大牛”盖瑞·马库斯（Gary Marcus）3月27日发推响应辛顿，28日又发表题为“人工智能风险≠通用人工智能风险”的文章，称超级智能可能会也可能不会迫在眉睫，但在短期内，需要担心“MAI（平庸人工智能）风险”。
27日，推特CEO伊隆·马斯克也加入进来，表达对辛顿和马库斯的赞同。
据澎湃新闻3月28日报道，OpenAI CEO山姆·奥特曼称，并不否认过分强大的AGI“可能杀死人类”这一观点。必须承认，（AI杀死人类）有一定可能性。很多关于AI安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽早尝试找到解决问题的方法。
ChatGPT-4的逻辑能力是如何产生的？
那么科学家所谓的逻辑能力是怎么一回事呢？它是如何训练的？如何在训练模型时避免浪费算力？如何解决AI回答不同价值观的人的问题？
关注小椅的朋友们可以去回顾下前面那期，事实上GPT-4早在去年夏天就已经训练完成，后面一直在进行对齐工作，让它表现得更符合人类需求。相比预训练数据集，RLHF所用的数据非常少，但效果是决定性的。对此，奥特曼透露了一点数据来源，包含一些开源数据集、以及合作商提供的部分数据集。
即便如此，团队甚至奥特曼自己依旧不能完全解读GPT-4。目前对它的解读方式，依旧是通过不断问它问题，通过它的回答来判断它的“思路”。而就在不断测试中，OpenAI发现从ChatGPT开始，GPT系列出现了推理能力。
虽然ChatGPT绝大部分时候都被当做数据库使用，但它确实也出现了一定的推理能力，至于这种能力具体如何出现的，目前却无人能回答。
即便模型很大，团队目前也有办法只通过部分训练，预测整个模型的性能，就像是预测一名1岁的婴儿能否通过SAT考试一样。
关于这一点，在GPT-4论文和官方博客中也有更详细介绍。
碳基人类只是过度，硅基AI才是终点
公开信发布后，有网友调侃道：“你永远不能把呼唤出来的精灵再塞回壶里去，碳基人类只是过度，硅基AI才是终点。”
AI发展至今，我们很难通过阻止来暂停它继续迭代，而各类伦理和政策的跟进又很滞后，成了当下的棘手问题。
自2014年以来，联合国就针对致命自主武器系统（亦称“杀手机器人”）的开发进行了国际辩论。2017年，马斯克更是联名发布公开信，呼吁顶级人工智能和机器人公司敦促联合国对致命自主武器采取行动。
如今，ChatGPT一次又一次震撼世界，而对于它未来的应用，人们更是充满了想象。但在不同的应用场景下，人们还会继续争论如何保证人工智能仅被用于“向善”的问题。