OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

Mottle 2024-12-27

银行盯上“县城贵妇”

放低身段，缝隙寻光。

柒财经 2024-12-27

万元羽绒服卖不动，波司登换个赛道跑｜商业Friday

国内企业纷纷向安踏学习，希望复制下一个始祖鸟。

贺哲馨 2024-12-27

抖音中长视频，已经是next level了

中长视频的内容生态已经建立了。

刺猬公社 2024-12-27

中国“最简陋机场”全新登场，曾因候机大棚走红，还被调侃“一把U型锁就能关上大门、像县城汽车站”

299个模块“拼出”航站楼

36氪的朋友们 2024-12-27

2024剧集盘点，爆款为何越做越难？

对流量和大IP祛魅。

文娱先声 2024-12-27

比亚迪巴西劳工被“解救”，都是“巴西人搞得鬼”？

给汽车出海上了一课

剁椒Spicy 2024-12-27

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

一句话，我让 AI 帮我做了个 P 图网站！

B站推荐模型数据流的一致性架构

灵感上线，云开发实现抽奖转盘是多么简单的一件事

JavaScript String

银行盯上“县城贵妇”

万元羽绒服卖不动，波司登换个赛道跑｜商业Friday

抖音中长视频，已经是next level了

中国“最简陋机场”全新登场，曾因候机大棚走红，还被调侃“一把U型锁就能关上大门、像县城汽车站”

2024剧集盘点，爆款为何越做越难？

比亚迪巴西劳工被“解救”，都是“巴西人搞得鬼”？

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响