当前位置:首页|资讯|OpenAI|人工智能

核心安全团队解散后,OpenAI公布10大安全措施

作者:全天候科技发布时间:2024-05-22

核心安全团队解散后,OpenAI公布10大安全措施

如何安全地发展人工智能?
5月21日周二,为期两天的“AI首尔峰会”以在线视频的方式开幕。本次会议主题主要围绕如何安全地发展AI。世界各地的领导人、科技公司的高管以及国际组织的代表,在会上共同讨论了AI的风险和潜在的好处。
在韩国总统尹锡悦和英国首相苏纳克的共同主持下,16家世界领先的AI公司,包括Meta、OpenAI、谷歌、亚马逊、微软等均做出了自愿承诺,保证在开发最前沿的AI技术时注重安全,确保AI系统不会失控并危害人类。如果发现某些极端风险无法控制,他们甚至会选择停止相关AI模型的开发。
同时,AI公司们还提出需要制定一些规则和政策框架,来评估和控制AI可能带来的风险。不仅是公司,一些国家的集团(比如G7、欧盟等)也表示支持这个想法,他们同意要把AI的安全和创新放在重要位置。
与会者还强调,虽然公司可以自愿承诺要安全使用AI,但也需要有政府出台相关的法律来确保这些承诺能落到实处。被称为“人工智能教父”的计算机科学家Yoshua Bengio称,自愿承诺必须伴随法律监管。目前,全球各地的政府都在努力制定AI相关的法规,例如,联合国已经通过了关于AI系统安全使用的第一项决议,而欧盟的AI法案预计今年晚些时候将生效。
对此,网友们纷纷点赞称:“这真是个好消息!很高兴看到欧盟为协调人工智能法规而采取的进步措施。这确实有助于为人工智能道德和安全制定高标准。期待看到该法案的积极影响显现!”
虽然AI技术的迅速发展虽然可以造福人类,但同时来带了一些问题,如大批量失业、误导人们、传播错误信息等。牛津大学在X上发帖表示:“全球的AI界正在努力推动AI技术的能力越来越强大,但安全和伦理问题往往是事后才考虑的。科学家们在向世界领导人发出呼吁,要求对AI带来的风险采取行动。他们警告说,自从AI安全峰会以来,在处理这些风险方面的进展还不够。”
在核心安全团队解散风波后,OpenAI披露公司安全措施最新情况,消除网友对公司安全问题的担忧
例如,在此前OpenAI解散了AI风险团队事件中,该团队负责人Jan Leike离职后吐真言,指责OpenAI在过去几年里将华而不实的产品凌驾于安全之上,并呼吁OpenAl必须成为一家以安全为先的通用人工智能公司。Jan的发言引起了网友的广泛担忧,网友担心OpenAI是否能确保AI技术安全可靠地发展。
5月21日,在核心安全团队解散风波后,OpenAI在“AI首尔峰会”上公开分享了公司正在实施的10大安全措施:
模型测试与评估:在发布新的AI模型前,OpenAI会进行严格的安全测试,包括内部和外部的评估。如果发现风险超过了他们可接受的“中等”水平,他们会先进行改进,直到风险降低到可以接受的程度。他们还会请外部的专家来帮助评估风险。
持续的安全与对齐研究:随着时间的推移,他们的模型在安全性上有了显著改进,这包括减少错误信息的产生和在不利条件下减少有害内容的输出。公司还在投资实用的安全系统和研究,来进一步提高模型的安全性。
监控滥用行为:随着越来越强大的语言模型的部署,公司使用了各种工具来监控安全风险和滥用行为。他们与合作伙伴(如微软)共同揭露了技术被滥用的情况,以帮助其他人更好地防范类似风险。
系统性的安全措施:公司在模型的每个生命周期阶段实施安全措施,从训练前到部署。他们在数据安全、模型行为控制和监控基础设施方面进行投资。
保护儿童:保护儿童是他们工作的重点。公司在其产品中内置了强大的安全措施,以减少对儿童的潜在危害。
选举完整性:公司与政府和其他利益相关者合作,以防止AI生成内容的滥用,确保内容透明度,并改善公众获取准确投票信息的途径。
影响评估和政策分析投资:公司的影响评估工作对研究、行业规范和政策具有广泛的影响。他们也出版了关于如何管理与语言模型相关的风险的先驱性研究。
安全与访问控制措施:公司重视保护客户、知识产权和数据安全。他们控制对AI模型的访问,并投资于网络安全,如内外部渗透测试和悬赏寻找漏洞的计划。
与政府合作:公司与全球各地的政府合作,共同制定有效且可适应的AI安全政策。
安全决策和董事会监督:公司有一个称为“准备框架”的系统,这个框架AI安全决策提供了指导。公司还有一个跨功能的安全顾问小组,这个小组由来自公司不同部门的成员组成。他们的任务是审查AI模型的性能报告,评估这些模型是否安全,以及在模型正式发布前提出改进建议。尽管有安全顾问小组提供建议和信息,但最终决定权在公司的高层领导手中。在这整个过程中,公司的董事会也会进行监督。
最后,OpenAI还计划在未来继续改进这些做法。
对此,网友在X上纷纷对OpenAI表示感谢:
“很好,感谢更新!安全第一,人工智能第二。”
“继续致力于安全。非常感谢!”

Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1