OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

紫光展锐发布旗舰穿戴芯片W337：首创双核CPU+3D GPU

快科技12月28日消息，近日，紫光展锐正式推出基于RTOS系统的旗舰产品W337，这是一款功能丰富的低功耗智能穿戴芯片。展锐W337拥有超高的集成度，集成了双核CPU、GPU、ISP、Display、Video、Aud

2024-12-28

“实地”感受月球！嫦娥五号月球样品今日向公众开放

快科技12月28日消息，2020年12月，嫦娥五号成功从月球带回月壤样品，我国成为世界上第三个成功带回月球样品的国家，实现了我国及人类探月史上里程碑式的跨越。最重要的是，现在公众也能近距离

2024-12-28

双旦购机就选华为nova 13系列：性价比之选“nova 13香”

临近元旦，节日氛围愈加浓厚，许多人开始准备选购一台新手机，奖赏自己过去一年的努力与付出。如果你的预算是3000-4000元价位，对影像、设计有较高要求，那么华为nova 13系列应该就是你的目标

2024-12-28

欧美怕吗！我国自研600公斤发动机点火：无人机打击更牛

快科技12月28日消息，据国内媒体报道称，中国航发自主研制的600公斤推力级高端涡扇发动机在天府轻动成功点火。报道中提到，中国航发本次集中发布的三个系列产品分别是高端长寿命涡扇发动机系列

2024-12-28

支持禁油车吗！专家：油车污染空气严重中国城市靠电动车

12月28日消息，国际欧亚科学院院士，住房和城乡建设部原副部长仇保兴近日公开表示，中国密集城市电动车是优选。城市之间的竞争能够引发技术的合理性和投资的效益，防止错误路线的锁定。&ldq

2024-12-28

男子22万买车投保29万故意开进湖里：网友直呼蠢到家了！

快科技12月28日消息，据国内媒体报道称，近日一男子将自己22万买的车故意开进湖里引发围观，这到底是什么神操作？报道中提到，唐某报案称其驾车在长沙某钓鱼基地因操作不慎冲入水中致车辆报废

2024-12-28

完胜保时捷卡宴：极氪7X成功登顶“中国最具挑战大雪道”

快科技12月28日消息，电动化的迅猛发展，带来了真正意义上的科技平权，让20多万的车也能获得超越百万级的享受。近日，极氪使用一台7X成功登顶了“中国最具挑战雪道”——

2024-12-28

首颗已点亮长城汽车成立芯片公司：紫荆半导体落户南京

快科技12月28日消息，近日，南京江北新区与长城汽车股份有限公司战略合作签约活动举行，长城汽车培育的RISC-V车规芯片设计公司紫荆半导体落户新区。南京紫荆半导体有限公司（简称“紫荆半

2024-12-28

小米汽车正式亮相一周年：交付量破13万提前完成全年目标

快科技12月28日消息，去年的今天，小米SU7正式亮相。如今一周年过去，小米汽车官宣：SU7全年交付量已超13万，提前完成全年所有目标。值得注意的是，小米SU7在今年4月3日才开始交付，实际上这

2024-12-28

荣耀股改已完成：将适时启动IPO流程

快科技12月28日消息，根据荣耀官网公告，荣耀终端有限公司已于2024年12月28日依法整体变更为股份有限公司，公司名称变更为“荣耀终端股份有限公司”。这代表着荣耀的股改已经完成，

2024-12-28

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

紫光展锐发布旗舰穿戴芯片W337：首创双核CPU+3D GPU

“实地”感受月球！嫦娥五号月球样品今日向公众开放

双旦购机就选华为nova 13系列：性价比之选“nova 13香”

欧美怕吗！我国自研600公斤发动机点火：无人机打击更牛

支持禁油车吗！专家：油车污染空气严重中国城市靠电动车

男子22万买车投保29万故意开进湖里：网友直呼蠢到家了！

完胜保时捷卡宴：极氪7X成功登顶“中国最具挑战大雪道”

首颗已点亮长城汽车成立芯片公司：紫荆半导体落户南京

小米汽车正式亮相一周年：交付量破13万提前完成全年目标

荣耀股改已完成：将适时启动IPO流程

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响