当前位置:首页|资讯|OpenAI|腾讯|AI大模型

OpenAI成立安全保障委员会评估AI安全,并着手训练全新AI大模型

作者:腾讯科技发布时间:2024-05-28

OpenAI成立安全保障委员会评估AI安全,并着手训练全新AI大模型

腾讯科技讯 5月28日消息,据国外媒体报道,美国当地时间周一,人工智能初创公司OpenAI董事会在官网发文,宣布成立安全与保障委员会,以评估其人工智能模型的安全性和保障措施,这是在该公司负责该领域的高管辞职并且该公司有效解散了他的内部团队几周后进行的治理变革。
以下为OpenAI董事会官网全文:
今天,OpenAI董事会成立了安全与保障委员会,由董事会主席布雷特·泰勒(Bret Taylor)、董事会成员亚当·德安吉洛(Adam D’angelo)、妮可·塞利格曼(Nicole Seligman)以及首席执行官山姆·奥特曼(Sam Altman)负责领导。该委员会将负责就OpenAI项目和运营的关键安全和安保决策向全体董事会提出建议。
我们最近开始训练下一代前沿模型,预计最终的系统将把我们带到AGI道路上的下一个能力水平。虽然我们很自豪能够构建和发布在性能和安全性方面都处于行业领先地位的模型,但我们欢迎在这个重要时刻进行激烈的辩论。
安全与保障委员会的第一项任务将是在未来90天内,提交首份对OpenAI工作流程和保障措施的评估报告。在90天结束时,委员会将与全体董事会成员分享其建议。在全体董事会审查之后,OpenAI将以符合安全和保障的方式公开分享所采纳建议的最新情况。
OpenAI技术和政策专家亚历山大·马德里(Aleksander Madry,准备主管)、翁丽莲(Lilian Weng,安全系统主管)、约翰·舒尔曼(John Schulman,对齐科学主管)、马特·奈特(Matt Knight,安全主管)以及雅库布·帕乔基(Jakub Pachocki,首席科学家)也将加入委员会。
此外,OpenAI将保留其他安全和技术方面的专家,并与他们协商,以支持这项工作。
安全团队解散引发担忧
OpenAI在人工智能领域的迅猛进展,引发了公众对其如何妥善管理该技术潜在风险的忧虑。不久之前,OpenAI负责人工智能安全业务的高管相继离职,紧接着,该公司解散了其内部安全团队。
去年秋天,随着联合创始人兼首席科学家伊利亚·苏茨凯弗(Ilya Sutskever)与首席执行官山姆·奥特曼(Sam Altman)在产品开发速度与风险控制方面的分歧公开化,奥特曼在董事会内部发生变动后短暂离职,这无疑加剧了公众的担忧。
本月,随着苏茨凯弗及其重要副手、“超级对齐”团队负责人简·雷克(Jan Leike)的离职,这些担忧再次浮出水面。雷克和他的团队负责管理OpenAI的超级对齐项目,专注于防范超级人工智能带来的长期威胁。辞职后的雷克坦言,他的部门在OpenAI内部计算资源的分配上遭遇了困境。其他即将离职的员工也表达了对公司类似问题的批评。
在苏茨凯弗离职后,OpenAI决定解散其团队。该公司周二发表声明,表示这一特定工作将在研究部门的领导下,由联合创始人约翰·舒尔曼(John Schulman)负责继续推进。舒尔曼的新职责是担任OpenAI对齐科学负责人。
在此之前,前OpenAI董事会成员海伦·托纳(Helen Toner)和塔莎·麦考利(Tasha McCauley),对OpenAI的治理体系进行了强烈的批评。
托纳和麦考利在首席执行官山姆·奥特曼(Sam Altman)去年重新担任该职位后选择离开了OpenAI董事会。在文章中,她们对奥特曼的领导能力提出了质疑,并警示说,伊利亚·苏茨凯弗(Ilya Sutskever)和其他专注于安全问题的团队成员的离职“为OpenAI的自我监管尝试蒙上了一层阴影”。
这家初创公司在处理员工离职问题上也遭遇了挑战。上周,OpenAI撤销了一项针对前员工的政策,该政策规定:如果前员工公开批评公司,将被剥夺股权。一位发言人表示,OpenAI已经了解到前员工的批评,并预计会有更多声音出现,同时强调该公司正在积极解决这些问题。
启动旗舰新模型训练
OpenAI也正式宣布,他们已经开始训练一款全新的旗舰级人工智能模型,这一模型将超越并接替目前驱动其在线聊天机器人ChatGPT的GPT-4技术。
OpenAI在官方博文中表示,他们在追求构建AGI(通用人工智能)的过程中,期望这一新模型能够带来“前所未有的能力水平”。AGI是一种能够执行人类大脑所能执行的所有任务的机器。这款新模型将作为人工智能产品的核心动力,涵盖聊天机器人、类似苹果Siri的数字助理、搜索引擎以及图像生成器等领域。
OpenAI的目标是确保人工智能技术的快速发展能够超越竞争对手,同时缓解公众对于技术潜在风险的担忧。这些担忧包括技术的危险性、助长虚假信息的传播、取代工作岗位,甚至对人类生存的威胁。尽管专家们在AGI实现的具体时间表上持有不同观点,但包括OpenAI、谷歌、Meta和微软在内的科技巨头在过去十多年里已显著提升了人工智能技术的实力,几乎每两到三年就会出现一次突破性的进展。
OpenAI的GPT-4于2023年3月发布,赋予了聊天机器人和其他软件应用程序回答问题、撰写电子邮件、生成论文和分析数据的能力。而本月发布的GPT-4的更新版本,虽尚未广泛应用,但其功能已进一步扩展,不仅能够生成图像,还能以高度逼真的语音回应问题和指令。
在OpenAI展示GPT-4o的更新版本后不久,好莱坞女星斯嘉丽·约翰逊(Scarlett Johansson)便表示,该语音助手的声音与她的声音“极为相似”。她透露,自己拒绝了OpenAI首席执行官山姆·奥特曼(Sam Altman)使用该声音的请求,并已聘请律师要求OpenAI停止此类行为。对此,OpenAI坚称该声音并非约翰逊的。
GPT-4o等先进的人工智能技术依赖于分析海量数据来学习各种技能,包括声音、照片、视频、书籍和新闻报道等。然而,这也引发了版权争议。去年12月,曾有国外媒体起诉OpenAI和微软,状告它们侵犯与其人工智能相关的新闻内容版权。
人工智能模型的数字化“训练”过程可能耗时数月乃至数年。训练完成后,人工智能公司还需投入数月时间进行技术测试与微调,以确保其安全、可靠地面向公众推出。(编译/金鹿)

Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1