OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

作者：机器之心发布时间：2023-11-20

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然...【查看原文】

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

选自Lil’Log作者：LilianWeng机器之心编译编辑：PandaLLM能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。虽然大多数商用和开源LLM都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。OpenAI的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。

OpenAI

机器之心Pro 2023-11-20

OpenAI 信任与安全负责人 Dave Willner 宣布离职

IT之家 7 月 22 日消息，OpenAI 信任与安全负责人戴夫・威尔纳（Dave Willner）昨天在其 LinkedIn 发布动态，宣布已经离开 OpenAI 公司。威尔纳在 OpenAI

OpenAI

IT之家 2023-07-22

机器学习中的对抗性攻击：威胁与防御

“机器学习中的对抗性攻击”是一个备受关注的话题，因为它可能会对人工智能系统的安全性和可靠性造成威胁。本文将介绍机器学习中的对抗性攻击及其威胁，并探讨一些防御方法。

人工智能机器学习

xuyuelin88117 2023-03-21

OpenAI前安全负责人雷克将跳槽Anthropic

简·雷克（Jan Leike）是OpenAI安全团队的前联合负责人，专注于长期风险。雷克周二在社交媒体宣布，他将加入OpenAI的竞争对手Anthropic。来源：金融界AI电报

OpenAI 金融

金融界 2024-05-29

前OpenAI安全负责人加入竞争对手Anthropic

鞭牛士报道，5月29日消息，据外电报道，刚刚从OpenAI安全团队（专注于长期风险）离职的前联席主管JanLeike宣布将加入OpenAI人工智能竞争对手Anthropic。5月14日，OpenAI联合创始人…

OpenAI 人工智能

鞭牛士 2024-05-29

近期资讯

增幅稳居第一1-11月悦达起亚国内外累计销售超22.4万台

王略 2024-12-27

萤火虫三眼灯引争议网友爆改款前脸！你觉得哪款更好看

快科技12月27日消息，在蔚来2024 NIO Day上，蔚来发布第三品牌首款车型萤火虫。萤火虫前脸采用了“三重奏”的理念，虽然“三眼灯”的设计极其个性，但仍受到不少网友争议

若风 2024-12-27

老外盘点2024年20款必玩单机：《黑神话》《寂静岭2》领衔

今日，gamingbolt盘点了2024年必玩的20款最佳单机游戏。官方表示，尽管不像去年那么种类繁多，但2024在各种游戏类型方面仍有不少一流的作品，值得玩家花上数百小时去体验。TOP20如下：1、

2024-12-27

埃及两男子从海底偷数百件文物被捕网友：考古队省心了

快科技12月27日消息，据报道，埃及最近逮捕两名男子，他们从海底盗取古代文物448件，其中包括硬币、雕像、斧头、青铜杯、长矛和雕像头部等。这批文物源自约900年前希腊罗马古代时期，不仅承载

鹿角 2024-12-27

RTX 5090公版太奢华了！16+6+7相供电、14层PCB

快科技12月27日消息，RTX 5090显卡的PCB电路板、GPU核心先后曝光，现在又得到了更多细节，尤其是供电、功耗等。首先，RTX 5090公版将会配备16+6+7相供电电路，一共多达29相，PCB电路板也将有多

上方文Q 2024-12-27

Edge浏览器一功能立功：一年节省7万亿MB流量

适逢年底，各种年度盘点纷至沓来，微软Edge浏览器也列举了一组相当辉煌的数据。首先是安全方面，按照微软的统计，2024年，Edge浏览器基于内置的安全功能，帮助用户阻止了超过14亿次网络钓鱼、

上方文Q 2024-12-27

台积电拿下高通骁龙8 Elite 2订单！三星瞄准骁龙8 Elite 3

快科技12月27日消息，据媒体报道，台积电近日成功夺得高通下一代处理器“骁龙8 Elite 2”的代工订单，将采用其先进的3纳米制程技术“N3P”进行量产。三星电子原本有意争取

黑白 2024-12-27

秒变游戏电脑！小米平板6S Pro内测3A游戏虚拟机

快科技12月27日消息，根据小米公告，澎湃OS内的AI百宝箱开始内测“3A游戏虚拟机”功能。官方介绍，这是专门为小米平板量身定制的游戏工具，帮助大家在平板端体验电脑游戏。目前可

建嘉 2024-12-27

湖北原产秋慕思田冷水晚籼米大促：10斤到手26.9元

荆楚粮油秋慕思田冷水晚籼米5kg平时要卖39.9元，今日下单可领13元优惠券，到手价26.9元。产品规格：来自湖北当阳市，鱼米之乡黄金地带，米粒色泽清透、颗粒饱满、软糯可口。购买提醒：天猫荆

明晖 2024-12-27

张雪峰公司开年会“撒”现金：图书4个月线上卖了5000万

快科技12月27日消息，据媒体报道，近日，张雪峰公司“峰学蔚来”举办年会活动。活动现场，张雪峰现场摇奖，开启了多轮抽现金红包活动。此前，张雪峰在视频中透露过，称他们公司年会

秋白 2024-12-27

OpenAI 安全系统负责人长文梳理：大模型的对抗攻击与防御

推荐体验

相关资讯

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

OpenAI 信任与安全负责人 Dave Willner 宣布离职

机器学习中的对抗性攻击：威胁与防御

OpenAI前安全负责人雷克将跳槽Anthropic

前OpenAI安全负责人加入竞争对手Anthropic

近期资讯

增幅稳居第一1-11月悦达起亚国内外累计销售超22.4万台

萤火虫三眼灯引争议网友爆改款前脸！你觉得哪款更好看

老外盘点2024年20款必玩单机：《黑神话》《寂静岭2》领衔

埃及两男子从海底偷数百件文物被捕网友：考古队省心了

RTX 5090公版太奢华了！16+6+7相供电、14层PCB

Edge浏览器一功能立功：一年节省7万亿MB流量

台积电拿下高通骁龙8 Elite 2订单！三星瞄准骁龙8 Elite 3

秒变游戏电脑！小米平板6S Pro内测3A游戏虚拟机

湖北原产秋慕思田冷水晚籼米大促：10斤到手26.9元

张雪峰公司开年会“撒”现金：图书4个月线上卖了5000万

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响