OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

李国庆谈极越事件：极越CEO忒缺德但要给百度、吉利点赞

快科技12月25日消息，当当网创始人李国庆发视频谈极越事件。李国庆称，极越汽车的CEO和创始团队太缺德了，你公司资不抵债了，弄下70亿资金窟窿，再弄下欠供应商之前，你把员工的N+1辞退金和解

2024-12-26

抢到赚翻了！蛇年纪念钞溢价到1000元一套

2025年蛇年贺岁纪念币和纪念钞炒疯了！今天，话题#蛇年纪念钞溢价到1000元一套#等上热搜。报道称，在二手平台上，蛇年纪念币已经溢价到400元一套，高出原价一倍；而纪念钞更是溢价到1000元一套

2024-12-26

李想：理想汽车100%会做人形机器人但不是现在

快科技12月25日消息，今日晚间，理想汽车举办了“2024理想AI Talk”直播。直播中，主持人问道，理想汽车会做机器人吗？对此，李想表示，从概率的话是100%，但节奏不是现在，L4自动

若风 2024-12-25

德国女子56刀杀害撞脸女网红当替身诈死与男友私奔

近日，一起匪夷所思的案件终于迎来了审判，一名25岁女子谋杀了与其长相相似的女网红并伪造自己死亡，她和同伙被德国一家法院判处终身监禁。并因其手段极端残忍，15年后仍不得假释。据法庭上指

2024-12-26

AGI的终极形态！李想：对“硅基家人”成真无比相信

快科技12月25日消息，在2024理想AI Talk上，李想分享了自己对AGI（通用人工智能）的独到见解。李想认为，如果把人工智能AGI实现到最终阶段，可以分为三个阶段：第一阶段：增强能力。即如同L

随心 2024-12-25

1月新机阵容揭晓：小米、华为、iQOO等轮番上阵！

快科技12月25日消息，2024年即将落幕，但手机圈的大戏将在2025年1月份就开始拉开序幕。据博主数码闲聊站爆料， REDMI Turbo 4、iQOO Z9 Turbo长续航版、真我14 Pro+、华为畅享80（待定）多款新

2024-12-26

李想：2030年可能做一辆AI超级跑车

快科技12月25日消息，李想在今天的直播中提到了自己买法拉利的话题，他表示体验是很重要的，只有通过体验，来看它到底是怎么做的，经过自己的体验，它才能变成自己的认知和能力。他还表示：&l

建嘉 2024-12-25

黄子韬称送粉丝10台车：一天涨粉500万评论区全是小米SU7

快科技12月25日消息，日前，艺人黄子韬在抖音直播中立下Flag称：如果粉丝量达到1500万，他就抽粉丝送出10台国产车。此前直播视频中，黄子韬称，网友们全都是敢送就敢要的，有网友在评论区都把

2024-12-26

老外评年度十佳性感游戏角色：《剑星》伊芙仅第七

哥伦比亚游戏媒体GamerFocus近日发布了2024年“最性感电子游戏十佳角色”评选结果，一起来看一下：10. 《暗喻幻想》霍肯伯格9. 《波斯王子：失落的王冠》萨尔贡8. 《Sorry

2024-12-26

李想透露自研自动驾驶原因：被供应商欺负惨了

快科技12月25日消息，今日晚间，理想汽车举办“2024理想AI Talk”直播。主持人问道，“听说你们当时被供应商欺负得很惨。”对此，李想回答称，理想的员工经常发出去一个

若风 2024-12-25

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

李国庆谈极越事件：极越CEO忒缺德但要给百度、吉利点赞

抢到赚翻了！蛇年纪念钞溢价到1000元一套

李想：理想汽车100%会做人形机器人但不是现在

德国女子56刀杀害撞脸女网红当替身诈死与男友私奔

AGI的终极形态！李想：对“硅基家人”成真无比相信

1月新机阵容揭晓：小米、华为、iQOO等轮番上阵！

李想：2030年可能做一辆AI超级跑车

黄子韬称送粉丝10台车：一天涨粉500万评论区全是小米SU7

老外评年度十佳性感游戏角色：《剑星》伊芙仅第七

李想透露自研自动驾驶原因：被供应商欺负惨了

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响