OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

内蒙古呼和浩特：借“风光”之力全力逐“绿”

新华社呼和浩特12月30日电（记者达日罕）寒冬里，光伏板上的灰尘会影响发电效率。在光伏清洁巡检机器人的辅助下，光伏面板清洁频次从原本每季度一次增加到每周一次，较大幅度提升光伏面板的发电效率。

新华社 2024-12-30

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

搜狐创始人、董事局主席兼首席执行官、物理学博士张朝阳将以“生活在量子力学的世界里”为题，从微观视角解析我们存在的世界，和大家共同迎接2025年的到来。届时，搜狐视频“关注流”账号@张朝阳将全程直播。

搜狐科技 2024-12-30

买新年“追光”装备来京东3C数码年货节享以旧换新至高补贴1500元

在跨年仪式感和氛围感成为“刚需”的当下，京东3C数码以年轻用户群体的多元化需求为出发点，在12月31日23点，由京东采销携手《心动的信号》嘉宾情侣杨汝晴、侯卓成，以及国家地理合作摄影师陈帆，在祖国最东边的黑龙江省抚远市开启诚意十足内容丰富的“追光”直播，与屏幕前的用户一同见证2025年的第一次日出。

iMobile爱科技 2024-12-30

韩现有波音737-800将被全面检查，美方介入调查，这款机型还能坐吗？资深机长发声

机上乘客和机组人员除了2名乘务员获救，其余179人全部遇难。据新华社报道，当地时间12月29日，美国国家运输安全委员会表示，由美国波音公司和美国航空机构专家组成的团队正前往韩国协助调查坠毁事件。

红星新闻 2024-12-30

证券之星 2024-12-30

工信部：到2027年打造不少于20个“5G+工业互联网”融合应用试点城市

12月30日，工信部印发《打造“5G+工业互联网”512工程升级版实施方案》的通知，到2027年，“5G+工业互联网”广泛融入实体经济重点行业领域，网络设施、技术产品、融合应用、产业生态、公共服务5方面能力全面提升，建设1万个5G工厂，打造不少于20个“5G+工业互联网”融合应用试点城市。

央广网 2024-12-30

年度记忆·沸腾的海洋②｜珊瑚白化危机：海底的“褪色警告”

近年来，全球变暖引发的海洋升温，加上一系列其他原因，导致珊瑚礁正以惊人的速度“褪色”——科学界称之为“珊瑚白化”。美国国家海洋和大气管理局（NOAA）与“国际珊瑚礁倡议”组织在今年5月的联合声明中指出，目前全球正经历有记录以来第四次全球珊瑚白化事件。

澎湃新闻 2024-12-30

能源行业加速产业升级数智融合将成储能产业新引擎

为了深入推进能源革命，加快规划建设新型能源体系，“2024中国能源研究会年会”近日在北京召开。此次会议以“数智融合推动储能产业高质量发展”为主题，吸引了有关政府主管部门、电网公司及发电集团等单位到场研讨。随着储能产业的蓬勃发展，带来了设备利用率低、安全风险增大、运维成本高等问题。

证券时报 2024-12-30

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

内蒙古呼和浩特：借“风光”之力全力逐“绿”

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

买新年“追光”装备来京东3C数码年货节享以旧换新至高补贴1500元

韩现有波音737-800将被全面检查，美方介入调查，这款机型还能坐吗？资深机长发声

2023年度全国科普统计数据发布全国科普专兼职人员超215万人

德必承办首届硬科技科创家大会，聚焦硬科技助力产业发展新机遇

海格通信最新公告：公司在珠海航展推出“九天”重型无人机

工信部：到2027年打造不少于20个“5G+工业互联网”融合应用试点城市

年度记忆·沸腾的海洋②｜珊瑚白化危机：海底的“褪色警告”

能源行业加速产业升级数智融合将成储能产业新引擎

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响