OpenAI当地时间周四宣布,公司正在组建一个新团队,以降低与AI相关的“灾难性风险”,将对AI可能引发的重大问题进行跟踪、评估、预测和保护。
OpenAI称,“我们深信前沿AI模型的能力将超过目前最先进的现有模型,并可能造福全人类,但它们也带来了越来越严重的风险。”该团队将努力减轻核威胁、生物、化学和放射性威胁等一系列AI可能引发的重大风险,以及AI“自我复制”等行为带来的潜在风险。
OpenAI表示,公司需要确保拥有高能力AI系统安全所需的理解、基础设施。该团队将由原麻省理工学院可部署机器学习中心主任Aleksander Madry领导,并将制定、维护一项“风险知情开发政策”,用以概述公司在评估和监控AI大模型所做的工作。(IT之家)