OpenAI 将花费4年和20%算力研发超级矫正系统来监控ai
7月5日Openai正式宣布成立一个新的研究团队 ——Superalignment 团队，由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。值得注意的是，这个团队的主要任务是构建一个与人类水平相当的、负责模型矫正的「AI 研究员」。也就是说，OpenAI 要用 AI 来监督 AI。
OpenAI CEO Sam Altman 和 OpenAI 联合创始人 Ilya Sutskever
Openai 认为：人工智能技术正在飞速发展，影响全人类的超级智能（Superintelligence）看似遥远，但极有可能在十年内到来。超级智能将是人类发明的最具影响力的技术，可以帮助我们解决世界上许多最重要的问题。但超级智能的巨大力量也可能非常危险，并可能导致人类丧失权力，甚至导致人类灭绝。
管控这些风险需要建立新的管控机构，并解决 AI 模型的矫正问题。一个显著的问题是：超级智能可能比人类更聪明，如何能让如此强大的 AI 系统遵循人类的意愿？
目前，Openai还没有一个解决方案来引导或控制潜在的超级人工智能，并防止其失控。Openai当前矫正人工智能的技术，例如根据人类反馈进行强化学习，依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统,其他假设在未来也可能被打破，比如部署期间有利的泛化属性，或者我们的模型在训练期间无法成功检测和破坏监督。因此目前的矫正技术无法扩展到超级智能，需要重新研发。
Openai的目标是建立一个大致达到人类水平的自动矫正研究人员。然后，可以使用大量计算来扩展工作，并迭代地调整超级智能。
1）开发一个可扩展的训练方法：
利用人工智能系统来协助评估其他人工智能系统，并将 AI 模型的监督能力泛化到人类无法监督的任务上。
2）验证系统：
为了验证系统的一致性，开发过程中会自动搜索有问题的行为（稳健性）和有问题的内部结构（可解释性）。
3）对整个对齐管道进行压力测试：
最后，使用未对齐的模型来测试整个流程，确保所提方法可以检测到最严重的未对齐类型（对抗性测试）。