OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

马斯克的“省钱大师”来了：正为美国政府效率部招兵买马

综合多家媒体报道，埃隆·马斯克的长期副手史蒂夫·戴维斯（Steve Davis）正帮助美国拟设立的“政府效率部”招聘员工。目前，戴维斯担任马斯克旗下隧道挖掘公司The Bor

2024-12-27

华为全球征集：解决这两大难题奖励200万！

快科技12月27日消息，日前，华为宣布面向全球启动2024奥林帕斯奖（OlympusMons Awards）悬红难题征集，这是华为公司第五年举办该全球赛事。华为表示，本届奥林帕斯奖将聚焦解决AI时代下数据规

拾柒 2024-12-27

华菱线缆：开发工业机器人用电线电缆并实现成果转化

华菱线缆(001208)在机构调研时表示，公司开发工业机器人用电线电缆并实现成果转化。未来，将继续推进智能机器人等领域的线缆业务推广与合作。

证券时报 2024-12-27

物欲横流！专家呼吁大家减少欲望：过度追求太痛苦...

12月27日消息，近日，复旦教授梁永安在演讲中呼吁年轻人减少欲望，强调个人欲望减法对社会做加法的重要性，引发广泛关注。当下，物质消费充斥年轻人生活，过度欲望带来经济与心理双重压力。梁

2024-12-27

理想同学上架苹果小米应用商店：交互丝滑如真人识物秒懂

快科技12月27日消息，理想同学App今日正式上架苹果App Store和小米应用商店，其他安卓应用商店预计将陆续上架。iOS版大小约91MB，安卓版大小约81MB，这是由理想汽车依托自研大模型打造的一款人

2024-12-27

郭有才说走红像“做梦一样”：爆红是一种偶然

12月27日消息，据媒体报道，因翻唱《诺言》出圈，郭有才上半年走入了流量中心。半年多过去后，郭有才在接受采访时表示，他走红像“做梦一样”，以我的实力，爆火是一种偶然。公

2024-12-27

余承东赢了！网友热议华为死忠用户标准：敢说你是花粉吗

快科技12月27日消息，你敢说你是花粉吗？如果没有满足以下标准，可能还真不算吧....近日不少网友开始在社交媒体上热议“超级华为用户标准”，如果说之前用上华为手机、平板等就算的

2024-12-27

70岁董明珠谈从格力退休：股民、员工都不想我退

快科技12月27日消息，日前，格力电器董事长董明珠与新浪财经CEO邓庆旭对话时再次谈及了“明年是否会退休”的话题。邓庆旭表示：“他们总问您退休的问题，我就想说，咱们不能不

2024-12-27

iPSE 4领衔！苹果2025上半年新品爆发：共有5款大作

快科技12月27日消息，据媒体报道，尽管iPhone通常在9月份亮相，但在2025年上半年，苹果将带来包括iPhone在内的5款重磅新品，它们分别是M4 MacBook Air、iPhone SE 4、带屏HomePod、iPad 11、App

2024-12-27

科研成果加速落地生“金”

“悟空”号全海深AUV、“哪吒”海空跨域无人航行器、水下远距离光电成像仪器……12月26日，2024中国高校科技成果交易会在南京开幕，各类炫酷科技成果竞相亮相，展现高校科技创新的累累硕果。本届“科交会”设立高校成果超市、重点成果推介、大学生创新创业、全国高校区域技术转移转化中心（江苏）等4个展示区。

央广网 2024-12-27

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

马斯克的“省钱大师”来了：正为美国政府效率部招兵买马

华为全球征集：解决这两大难题奖励200万！

华菱线缆：开发工业机器人用电线电缆并实现成果转化

物欲横流！专家呼吁大家减少欲望：过度追求太痛苦...

理想同学上架苹果小米应用商店：交互丝滑如真人识物秒懂

郭有才说走红像“做梦一样”：爆红是一种偶然

余承东赢了！网友热议华为死忠用户标准：敢说你是花粉吗

70岁董明珠谈从格力退休：股民、员工都不想我退

iPSE 4领衔！苹果2025上半年新品爆发：共有5款大作

科研成果加速落地生“金”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响