OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

中国手游格局生变：米哈游收入跌出三甲、氪金套路失效了吗

手游世界中，曾经“腾网哈”三足鼎立的格局正悄然改变。在近日Sensor Tower平台发布的11月中国手游发行商收入排名榜单中，米哈游跌出了前三阵营，前三分别为腾讯、网易、世纪华通旗

2024-12-27

安徽第一家苹果零售店！Apple Store合肥店马上开业

快科技12月27日消息，苹果官网显示，安徽第一家苹果零售店——Apple Store合肥万象城将于1月18日上午10点盛大开幕。截至目前，苹果零售店分布在上海、天津、河南郑州、浙江宁波、浙

振亭 2024-12-27

理想全新车机界面曝光：全屏展示智驾轨迹科幻感十足

快科技12月27日消息，近日，一位博主展示了理想汽车最新的智能驾驶轨迹展示界面，揭示了其车机系统实现端到端驾驶状态的能力。视频该系统通过端到端模型生成轨迹，并基于多种概率选择最可能

王略 2024-12-27

蔚来版“Model Y杀手”：乐道L60上市100天累交超20000台

快科技12月27日消息，乐道品牌公布首款车型乐道L60最新数据，其已达成上市100天累计交付超20000台的阶段目标。作为全新的品牌，乐道在产品正式上市后第三个完整交付月即完成产能爬坡，交付速

落木 2024-12-27

周鸿祎批PPT无用：华丽掩盖了空洞！黄仁勋、马斯克都不用

快科技12月27日消息，360集团董事长周鸿祎昨日发布视频，谈到了自己为何特别反感只会“管理”的管理层，其表示：“我特别反感只打嘴炮或者不干活的管理层，管理层只会动嘴，扮

落木 2024-12-27

年底换机购机攻略：还得是年轻人专属华为“nova 13香”

不知不觉2024年马上就要结束了，不少人想趁年底换个新手机，但可能会纠结要选哪款，建议有需求的朋友可以考虑一下华为nova 13系列。这款手机在10月25日正式首销，目前仅在京东就已收获5万

黑白 2024-12-27

誓把价格打下来！中国内存将占全球15％：三大厂难过

快科技12月27日消息，最近，中国自主DDR5 DRAM内存芯片投产并商用落地的消息，在业内引发震动。慧荣科技总经理苟嘉章坦言，中国产DRAM的市场份额有望快速升至15％，对全球DRAM市场是一个极大的变

上方文Q 2024-12-27

网易云音乐年度报告发布！来看你一年听了多少歌

快科技12月27日消息，还有5天就要迎来2025年了，在2024年的尾声，网易云音乐今天正式发布2024年度听歌报告，回顾了用户过去一年听歌“足迹”。大家可以在网易云音乐App搜索“年

拾柒 2024-12-27

马斯克自曝转用礼来减肥药：副作用更少

世界首富埃隆·马斯克周三在社交媒体平台X上透露，他正在使用礼来公司的Mounjaro来减肥。马斯克在X上发布了一张他打扮成圣诞老人的照片，照片中他站在一棵圣诞树旁，并配文“Ozemp

2024-12-27

AI的尽头是能源！奥特曼的核能公司Oklo签署重大合作协议

快科技12月27日消息，山姆·阿尔特曼（Sam Altman）的核能公司Oklo宣布了一项重大合作进展，Oklo在12月18日与美国数据中心巨头Switch签署了初步的非约束性协议，标志着清洁能源领域的一次

鹿角 2024-12-27

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

中国手游格局生变：米哈游收入跌出三甲、氪金套路失效了吗

安徽第一家苹果零售店！Apple Store合肥店马上开业

理想全新车机界面曝光：全屏展示智驾轨迹科幻感十足

蔚来版“Model Y杀手”：乐道L60上市100天累交超20000台

周鸿祎批PPT无用：华丽掩盖了空洞！黄仁勋、马斯克都不用

年底换机购机攻略：还得是年轻人专属华为“nova 13香”

誓把价格打下来！中国内存将占全球15％：三大厂难过

网易云音乐年度报告发布！来看你一年听了多少歌

马斯克自曝转用礼来减肥药：副作用更少

AI的尽头是能源！奥特曼的核能公司Oklo签署重大合作协议

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响