超级智能到底是什么？
GPT 总结：OpenAI 强调了超级智能的巨大潜力和相关风险，超级智能是从更传统的通用人工智能 (AGI) 概念演变而来的。该公司认为，这种能力极其强大的技术可能会在当前十年内出现，要么解决重大的全球问题，要么导致人类丧失权力或灭绝。OpenAI 的战略包括创建一个具有人类水平能力的自动对齐研究人员，并利用大量计算资源迭代地训练和对齐超级智能。这个过程被称为超级智能对齐，需要人工智能对齐技术的创新、广泛的验证和对抗性压力测试。OpenAI 正在投入大量资源和研究来应对这一挑战，并鼓励杰出的研究人员和工程师共同努力。然而，术语从通用人工智能到超级智能的转变是否会对围绕人工智能风险和收益的持续争论产生深远影响还有待观察。
OpenAI强调了超级智能的潜力，它可能是有史以来最有影响力的技术，能够解决重大的全球问题。然而，它也承认与超级智能相关的巨大风险，包括人类的剥夺甚至灭绝。
尽管超级智能看似遥远，但 OpenAI 相信它可能会在这十年内出现。管理这些风险需要新的治理机构，并应对使超级智能与人类意图保持一致的挑战。有趣的是，OpenAI 使用的是这个术语，而不是更传统的通用人工智能 (AGI)。他们的理由如下：
在这里，我们关注超级智能而不是通用人工智能，以强调更高的能力水平。我们对未来几年技术的发展速度有很大的不确定性，因此我们选择瞄准更困难的目标来调整一个更强大的系统。当前的人工智能对齐技术，例如根据人类反馈进行强化学习，不足以控制潜在的超级智能人工智能。人类无法可靠地监督比我们聪明得多的系统，现有技术也无法扩展到超级智能。OpenAI 强调需要科学和技术突破来克服这些挑战。
OpenAI 的方法涉及构建一个具有大致人类水平能力的自动对齐研究人员。大量的计算资源将被用来扩展他们的努力并迭代地调整超级智能。关键步骤包括开发可扩展的训练方法、验证生成的模型以及对对齐管道进行压力测试。从 OpenAI 公告的标题来看，这个概念被称为超级智能对齐。
为了解决评估对人类具有挑战性的任务的困难，可以采用人工智能系统进行可扩展的监督。将监督推广到无监督任务以及检测有问题的行为和内部结构对于验证一致性至关重要。对抗性测试，包括训练未对齐的模型，将有助于确认对齐技术的有效性。
OpenAI 预计，随着对该问题的了解越来越多，其研究重点将会发生变化，并且他们计划在未来分享他们的路线图。他们组建了一支由顶尖机器学习研究人员和工程师组成的团队，致力于解决超级智能对齐问题。OpenAI 将在未来四年内将 20% 的安全计算投入到这项工作中。
虽然不能保证成功，但 OpenAI 仍然乐观地认为，集中一致的努力可以解决这个问题。他们的目标是提供证据和论据，让机器学习和安全界相信问题已经解决，并且他们正在积极与跨学科专家合作，考虑更广泛的人类和社会问题。
OpenAI 鼓励杰出的研究人员和工程师，即使是那些以前没有从事过对齐工作的人，也加入到他们的努力中。他们认为超级智能对齐是最重要的未解决的技术问题之一，并认为这是一个易于处理的机器学习问题，具有重大贡献的潜力。
关于人工智能、通用人工智能以及从实用到人类毁灭等复杂的相互关联问题的激烈争论似乎正在形成新的裂痕。现在，词汇已经发生了一些变化，但尚不清楚这是科学还是语义。