来源:网易新闻
媒体报道,AI领头羊OpenAI正在解散其“AGI(通用人工智能)筹备”团队,团队主管将离职,希望在外部继续该领域的研究。
OpenAI的AGI筹备团队负责建议公司如何处理越来越强大的AI技术,以及当今世界是否准备好管理这些技术。CNBC报道,OpenAI的AGI筹备团队负责人Miles Brundage在周三通过Substack发布的帖子中宣布了这一消息,并表示他将离职。
Brundage表示,他离职的主要原因是机会成本变得太高,他认为在外部进行研究会更具影响力,并且他希望减少偏见。他还表示,OpenAI及世界在AGI筹备方面“尚未准备好”。而Brundage计划创建自己的非营利组织,或者加入现有的组织,专注于AI政策研究和倡导。他补充说,
根据帖子内容,原AGI准备团队的成员将被重新分配到其他团队。
OpenAI发言人向媒体表示:
今年5月,OpenAI决定解散其刚刚成立一年的“超级对齐”团队(Superalignment team),该团队专注于AI的长期风险。
正值公司改组、高层动荡之际
AGI准备团队的解散消息也正值OpenAI董事会可能计划将公司重组为营利性企业之际。上个月,包括该公司首席技术官Mira Murati、研究主管Bob McGrew和研究副总裁Barret Zoph在内的三位高管宣布同日离职。
今年10月初,OpenAI完成了一轮估值1570亿美元的融资,其中包括从多家投资公司和大科技公司筹集的66亿美元。公司还获得了一笔40亿美元的循环信贷额度,使其总流动资金超过100亿美元。公司预计今年的收入将达到37亿美元,但亏损约为50亿美元。
今年9月,OpenAI宣布,该公司在5月份成立的“安全与安保委员会”(Safety and Security Committee)将成为一个独立的董事会监督委员会。该委员会最近结束了为期90天的审查,评估了OpenAI的流程和保障措施,并向董事会提出了建议,这些建议还在公司博客中公开发布。
AI安全问题的处理遭质疑
目前,有关OpenAI安全问题以及相关争议的关注度越来越高。今年夏天,OpenAI、谷歌、微软、Meta等公司在生成式AI领域激烈竞争,目前预计这一市场在未来十年内将产生超过1万亿美元的收入。
今年7月,OpenAI将其顶级安全高管之一Aleksander Madry调整岗位,让他专注于AI推理的工作。Madry曾是OpenAI的“AI风险预防小组”筹备团队负责人,该团队的任务是“跟踪、评估、预测并帮助防范与前沿AI模型相关的灾难性风险”。
而在6月,一名民主党联邦参议员致信OpenAI首席执行官Sam Altman发送信函,询问OpenAI如何应对新出现的安全问题。信中提到:
微软于7月放弃了其在OpenAI董事会的观察席位,并对媒体表示,由于对OpenAI的董事会构成感到满意,微软决定退位。此前,OpenAI董事会经历了一次重组,这次变动导致Altman短暂被罢免,同时也威胁到了微软对OpenAI的大量投资。
但在今年6月,一群现任和前任OpenAI员工发布了一封公开信,表达了对人工智能行业快速发展的担忧,特别是在缺乏有效监督和没有“吹哨人”保护机制的情况下。信中写道:
而在信件发布几天后,一位知情人士向媒体证实,美国联邦贸易委员会(FTC)和司法部正准备对OpenAI、微软和英伟达展开反垄断调查,重点关注这些公司的行为。
内部人士批评:过于追求产品 对AI风险披露不足
这些员工在6月的信件中还写道,AI公司拥有大量非公开的信息,了解其技术的能力、已采取的安全措施的程度,以及这些技术在不同层面带来的潜在风险。
OpenAI于去年成立的“超级对齐”团队,专注于“科学和技术突破,以引导和控制比人类更智能的AI系统”。该团队在5月份被解散,领导人Ilya Sutskever和Jan Leike宣布离职。Leike在X上发帖称,OpenAI的“安全文化和流程,已经让位于光鲜的产品”。
Altman当时在X上表示,看到Leike离开感到难过,并承认OpenAI还有很多工作要做。不久之后,OpenAI联合创始人Greg Brockman在X上发表了一份声明,强调公司已经“提高了对AGI风险和机遇的认识,以便世界能够更好地为此做好准备”。