OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

华为要线上卖车了鸿蒙智行官宣入驻天猫京东！

快科技12月31日消息，今天鸿蒙智行官方宣布入驻天猫、京东两大电商平台，对应的官方旗舰店也在今天正式开业。店铺内上架了包含近期刚上市的享界S9、问界新M7、智界R7等热门车型，但目前官旗仅

黑白 2024-12-31

抖音李亮：字节70亿刀购买英伟达芯片不实张一鸣从未参与

快科技12月31日消息，针对今日媒体报道的字节跳动70亿美元购买英伟达芯片的消息，抖音集团副总裁李亮回应称，相关报道多处不实且数字不准确。另外，他还表示，字节的算力采购和数据中心的建设

朝晖 2024-12-31

一汽大众2024年终交卷：全年销量1659107辆少卖了25万辆

快科技12月31日消息，一汽大众官方今日发布了2024全年终端销量数据，累计完成终端销售整车1,659,107辆（含奥迪进口车）。其中，大众品牌全年交付整车928,018万辆，奥迪品牌终端销售整车611,

若风 2024-12-31

胖东来：明日起自有品牌部分商品调整为同城线上限购销售

快科技12月31日消息，据媒体报道，今日，胖东来发布通知称，胖东来超市自有品牌部分商品调整为同城线上限购销售，凭会员账号每周每个单品按照限购数量购买一次。通知称，为了让顾客有序的购物

秋白 2024-12-31

理想2024年第50万台新车正式交付！

快科技12月31日消息，理想汽车刚刚宣布，其2024年度第50万台新车已经正式交付。成为首个年交付量达到50万台的新势力品牌，同时也是首个实现这一成就的中国豪华品牌。在最新公布的新势力

王略 2024-12-31

明星大咖云集：央视跨年晚会节目单公布

12月31日消息，据媒体报道，《启航2025——中央广播电视总台跨年晚会》节目单正式出炉，这档晚会将于晚上8点正式播出。据悉，《启航2025》跨年晚会突出思想性和艺术性的融合，以&ld

振亭 2024-12-31

仪表出现“小乌龟”：多名宝骏悦也车主反映称遭遇刹车失灵

快科技12月31日消息，没想到在2024年的最后一天，不少宝骏悦也车主发帖称自己遭遇“刹车失灵”。从车主分享的内容看，事发时车辆仪表盘出现了黄色“小乌龟”（快科技注：

落木 2024-12-31

2000+公里沿长江高铁最后一段终于开工！全程时速350公里

国铁集团官方宣布，12月31日，赶在2024年的最后一天，沪渝蓉沿江高铁宜昌至涪陵段（沿江高铁宜涪段）正式开工建设！沿江高铁宜涪段起自在建的沪渝蓉沿江高铁武汉至宜昌段宜昌北站，经湖北省宜

上方文Q 2024-12-31

全国最大载客量碳纤维船舶交付：节省燃油、维护费用低

快科技12月31日消息，据报道，由中国船舶集团广州船舶工业有限公司承接、广东省港航集团旗下广东中威复合材料有限公司建造的碳纤维高速客船“新明珠3号”交付，该船是目前全国载客量最

鹿角 2024-12-31

《GTA6》B站预告对比油管：细节明显更清晰

近日，国内视频平台哔哩哔哩突然引发了大量海外玩家的关注，其背后的原因是由于一位海外推主发现《GTA6》首支预告在B站的版本要比外国人常用的YouTube版本清晰不少，其中展现的细节也更加丰富。

2024-12-31

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

华为要线上卖车了鸿蒙智行官宣入驻天猫京东！

抖音李亮：字节70亿刀购买英伟达芯片不实张一鸣从未参与

一汽大众2024年终交卷：全年销量1659107辆少卖了25万辆

胖东来：明日起自有品牌部分商品调整为同城线上限购销售

理想2024年第50万台新车正式交付！

明星大咖云集：央视跨年晚会节目单公布

仪表出现“小乌龟”：多名宝骏悦也车主反映称遭遇刹车失灵

2000+公里沿长江高铁最后一段终于开工！全程时速350公里

全国最大载客量碳纤维船舶交付：节省燃油、维护费用低

《GTA6》B站预告对比油管：细节明显更清晰

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响