OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

新飞冰箱BCD-445WKQ8AT：高端设计，智能好用，家庭冰箱新标杆

#年货节好物集市#在家电市场中，新飞冰箱以其智能化技术和高性价比赢得了消费者的青睐。新飞冰箱BCD-445WKQ8AT不仅具备了现代冰箱的智能化特点，如远程控制和智能感应，还采用了零触控技术，自动感应人体存在并迅速开启冷却系统，保证食物的新鲜度。

小米地瓜 2024-12-27

壹号本旗下壹号方糖预告双屏变形安卓掌机，搭载高通骁龙处理器

IT之家12月27日消息，壹号本旗下品牌壹号方糖今日预告将推出一款采用“自主原创设计”的双屏变形安卓系统旗舰掌机。从壹号方糖分享的视频来看，该掌机将采用独特机械机构设计：标准模式下其手柄位列两侧，而在切换至双屏模式时左右手柄可向外旋转180°，与向前翻出的后方副屏结合为双屏形态的下半部分。

IT之家 2024-12-27

HarmonyOS NEXT 5.0.0.115版本发布体验优化细节满满

随着原生鸿蒙系统的更新与海量鸿蒙原生应用的不断加入，HarmonyOSNEXT智慧功能越来越丰富，用户体验也愈加完善。

砍柴网 2024-12-27

海信463L冰箱BCD-463WMK1DPJ：国补440元，性价比之选

在国家补贴政策的支持下，消费者可以享受到440元的补贴，使得原本的价格更加亲民，1759元即可到手，性价比极高。它采用了一级能效的双变频技术，实现了节能环保的同时，还能提供稳定的低温环境。

小米地瓜 2024-12-27

新乡县鸿翔纸业取得低温连续烘干装置专利，保持纸张水分均衡

金融界2024年12月27日消息，国家知识产权局信息显示，新乡县鸿翔纸业有限公司取得一项名为“一种用于纸张的低温连续烘干装置”的专利，授权公告号CN222205867U，申请日期为2024年5月。

金融界 2024-12-27

IT之家 2024-12-27

昆明红星荣和纸业取得纸板制浆低浓度除渣器专利，通过设置可调节安装机构可根据需求调节垂直高度

金融界2024年12月27日消息，国家知识产权局信息显示，昆明红星荣和纸业有限公司取得一项名为“一种纸板制浆低浓度除渣器”的专利，授权公告号CN222205864U，申请日期为2023年12月。

金融界 2024-12-27

曝小米15 Ultra即将亮相搭配超大杯骁龙8 Gen2芯

小米15系列新旗舰小米15和小米15Pro于10月底正式发售，受到了广大消费者的关注。最新消息显示，超大杯的小米15Ultra将于明年初推出。根据之前的爆料，小米15Ultra将配备一块全等深四曲面OLED屏幕，分辨率达到2K级别，支持120Hz刷新率，并集成多种护眼技术。

中关村在线 2024-12-27

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

新飞冰箱BCD-445WKQ8AT：高端设计，智能好用，家庭冰箱新标杆

壹号本旗下壹号方糖预告双屏变形安卓掌机，搭载高通骁龙处理器

HarmonyOS NEXT 5.0.0.115版本发布体验优化细节满满

海信463L冰箱BCD-463WMK1DPJ：国补440元，性价比之选

新乡县鸿翔纸业取得低温连续烘干装置专利，保持纸张水分均衡

华为FreeClip耳机最新版本更新：新增多项实用功能！

外媒称小米将发布新款骁龙4手机 Redmi 14C 5G

超级小爱现已陆续推送，小米14系列、REDMI K70至尊版等将可体验

昆明红星荣和纸业取得纸板制浆低浓度除渣器专利，通过设置可调节安装机构可根据需求调节垂直高度

曝小米15 Ultra即将亮相搭配超大杯骁龙8 Gen2芯

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响