NIPS'24开源 | DarkSAM：欺骗分割一切模型！使其不进行分割！

0. 论文信息

标题：DarkSAM: Fooling Segment Anything Model to Segment Nothing

作者：Ziqi Zhou, Yufei Song, Minghui Li, Shengshan Hu, Xianlong Wang, Leo Yu Zhang, Dezhong Yao, Hai Jin

原文链接：https://arxiv.org/abs/2409.17874

代码链接：https://github.com/cgcl-codes/darksam

1. 引言

随着深度学习的进步，大型语言模型如GPT、LaMDA和PaLM取得了巨大成功，但大型视觉模型的发展却相对滞后。最近，Segment Anything Model（SAM）作为一种基础视觉模型被提出，展现了在处理复杂分割任务方面的卓越泛化能力。与传统输出像素级标签的分割模型不同，SAM通过直接生成无标签的对象分割掩码，引入了一种新颖的基于提示的图像分割范式。得益于其强大的零样本能力，SAM已迅速部署于各种下游场景，如医学图像、视频和3D点云等。

然而，深度神经网络（DNNs）被证明易受对抗性样本的影响，SAM也不例外。标准的对抗性攻击是针对分类任务设计的，通过图像级别的扰动来操纵全局图像特征，从而导致误分类。现有的攻击可分为针对单个样本的对抗性扰动和通用对抗性扰动（UAP）。前者针对特定输入进行定制，而后者则寻求一个适用于广泛输入的单一扰动，从而增加了其复杂性和难度。作为一种开创性的基于提示的分割模型，SAM依赖于输入图像和提示来生成无标签掩码，这使得仅针对图像且依赖标签的现有对抗性攻击变得无效。

最近的研究开始探索SAM对单个样本对抗性扰动的鲁棒性。Attack-SAM采用经典的FGSM和PGD方法来移除或操纵给定图像和提示对的预测掩码。另一项研究也调查了SAM对各种对抗性攻击和损坏图像的鲁棒性。然而，更贴近现实场景、更具挑战性的通用对抗性攻击仍远未得到充分研究。SAM输入中额外且变化的提示，加上其输出中缺乏用于攻击优化的标签信息，使得攻击SAM变得极具挑战性，从而引发了一个有趣的问题：

是否可以通过单个UAP欺骗Segment Anything模型使其不分割任何内容？

本文在SAM和UAP之间架起了一座桥梁。与关注全局特征的分类模型不同，基于提示的分割模型更侧重于图像中的局部关键对象（如提示指示的对象）。因此，我们的直觉是破坏图像中的关键对象特征，从而误导SAM错误地分割输入图像。为此，DarkSAM致力于从空间域和频率域两个方面解耦图像的关键对象特征，并利用UAP进行破坏。1）在空间域中，我们首先通过布尔掩码将SAM的输出分为前景（即正掩码值）和背景（即负掩码值），然后分别破坏图像前景和背景的特征，以扰乱SAM的决策。2）在频率域中，受SAM对图像纹理的偏好超过形状这一因素的启发，我们采用频率滤波器将图像分解为高频分量（HFC）和低频分量（LFC）。通过增加对抗性示例和良性示例在HFC上的不相似性，同时保持它们在LHC上的一致性，我们进一步提高了UAP的有效性和可转移性。在针对SAM及其两个变体模型HQ-SAM和PerSAM的四个分割基准数据集上的实验结果表明，DarkSAM实现了高攻击成功率和可转移性。

2. 摘要

分割一切模型(SAM)因其对未知数据和任务的突出概括而受到广泛关注。尽管前景看好，但SAM的脆弱性，尤其是对普遍敌对扰动(UAP)的脆弱性还没有被彻底研究。本文提出了第一个针对SAM的免提示通用攻击框架DarkSAM，包括基于语义解耦的空间攻击和基于纹理失真的频率攻击。我们首先将SAM的输出分为前台和后台。然后，我们设计一个阴影目标策略，获取图像的语义蓝图作为攻击目标。DarkSAM致力于通过从空间和频率域的图像中提取和破坏关键的对象特征来欺骗SAM。在空间域中，我们破坏图像中前景和背景的语义来迷惑SAM。在频域中，我们通过扭曲图像的高频分量(即纹理信息)来进一步增强攻击效果。因此，使用单个UAP，DarkSAM使SAM无法在不同的提示下分割不同图像中的对象。在四个数据集上对SAM及其两个变种模型的实验结果表明了DarkSAM强大的攻击能力和可移植性。

3. 效果展示

我们提出了DarkSAM，这是第一个真正无提示的、针对基于提示的图像分割模型（即SAM及其变体）的通用对抗性攻击，旨在通过单个UAP使这些模型在各种输入图像上丧失分割能力，无论提示如何（见图1）。

4. 主要贡献

我们的主要贡献总结如下：

• 我们提出了DarkSAM，这是针对SAM的第一个真正的通用对抗性攻击。我们使用单个扰动来阻止SAM在任何形式的提示下对一系列图像进行对象分割，这进一步揭示了其脆弱性。

• 我们设计了一个全新的无提示混合空间-频率通用攻击框架，针对基于提示的图像分割模型生成UAP，使其不进行任何分割，该框架包括基于语义解耦的空间攻击和基于纹理扭曲的频率攻击。推荐课程：国内首个面向具身智能方向的理论与实战课程。

• 我们在针对SAM及其两个变体模型的四个数据集上进行了广泛的实验。定性和定量结果均表明，DarkSAM实现了高攻击成功率和可转移性。

5. 方法

与传统深度学习范式仅输入单张图像并输出独热编码标签或像素级标签不同，SAM（假设的某种图像分割模型，原文未明确指定）需要同时输入图像和提示，并输出无标签的掩码，指示关键对象的形状信息。因此，针对SAM的真正通用对抗性攻击应实现单一扰动，使得任何图像与不同提示的组合都无法进行有效分割。然而，此任务面临以下挑战：

挑战一：来自不同图像和提示的攻击目标双重模糊性。

先前的通用对抗性扰动（UAP）工作仅需在目标图像上进行优化，而引入提示可能导致无效攻击，因为同一图像对不同提示会产生不同的分割结果。例如，图2左上角的图像显示了一个罐子和一把勺子。对于同一张图像，输入不同的提示会导致SAM输出不同的掩码（见图2(b)）。总之，目标图像和提示的多样变化增加了攻击目标的不确定性。对于不同的图像，现有的UAP解决方案（如UAPGD）可提供参考，但主要挑战在于未知提示带来的攻击目标不确定性。为此，我们提出了一种影子目标策略，通过增加攻击过程中的提示数量来增强UAP的跨提示迁移性。具体来说，对于给定的输入图像，我们随机选择k个提示（如点或框）来创建提示辅助集。通过合并这些提示在SAM中输出的掩码，我们形成图像的语义蓝图，作为我们的攻击目标，如图2(c)所示。这个语义蓝图有效地包含了原始图像的主要语义内容，显著减少了与未知提示相关的不确定性。

挑战二：由于语义解耦不足导致的次优攻击效果。

由于提示引导的分割模型输出的掩码既不是独热编码也不是像素级标签，传统依赖于标签偏差进行优化指导的攻击方法变得无效。另一种方法是直接修改输出，如调整对抗样本的掩码以偏离其原始掩码，但这可能只带来有限的攻击成功率。然而，分割模型对像素级细节的固有敏感性极大地限制了这些攻击的效力，突显了它们在适用性方面的显著局限性。

鉴于提示引导的分割模型侧重于局部、关键对象特征而非全局图像特征，我们受到启发，从空间域和频率域两个角度全面解耦图像的关键语义特征，旨在通过操纵这些特征来欺骗SAM。我们首先将图像中的主要对象（即分割的目标，通常是纹理丰富的区域）定义为前景，其余部分定义为背景。由于SAM输出的掩码用正值表示前景，用负值表示背景，我们使用布尔掩码分别提取这些前景和背景掩码。随后，我们优化UAP，将对抗样本的前景切换为负值，背景切换为正值，从而在空间域中破坏图像的语义。

同时，受最近研究的启发，该研究表明SAM对图像的纹理而非形状存在偏见，我们研究了在频率域中改变对抗样本的高频分量（即纹理信息），同时约束低频分量（即形状信息），以进一步增强我们攻击的有效性和迁移性。通过在空间域和频率域中分别解耦和破坏关键特征，我们为UAP的生成提供了有价值的优化方向，从而促进了对SAM的有效攻击。

我们提出了DarkSAM，一种新颖的无需提示的混合空间-频率通用对抗性攻击方法，针对提示引导的图像分割模型（即SAM及其变体）。DarkSAM的流程如图3所示，包括基于语义解耦的空间攻击和基于纹理扭曲的频率攻击。我们首先随机生成k个不同的提示来形成辅助提示集Pa，获取目标图像的语义蓝图作为攻击目标。通过分别在空间域中操纵对抗样本的前景和背景的语义内容，以及在频率域中增加对抗样本与良性样本高频分量（HFC）之间的距离，同时约束它们低频分量（LFC）的差异，我们增强了UAP的攻击性能和迁移性。

6. 实验结果

7. 总结 & 未来工作

在本文中，我们提出了DarkSAM，这是首个真正通用的针对SAM（语义分割模型）的对抗性攻击方法。通过单一的扰动，DarkSAM使SAM无法对具有不同提示的各种图像中的对象进行分割，从而暴露了其脆弱性。为了应对攻击目标中的双重模糊性挑战，我们提出了一种阴影目标策略，以获得语义蓝图作为攻击目标。随后，我们设计了一种新颖的无需提示的混合空间-频率通用攻击框架，该框架包括基于语义解耦的空间攻击和基于纹理扭曲的频率攻击。通过破坏图像在空间域和频率域中的关键对象特征，它成功解决了次优攻击效果的问题，从而欺骗了SAM。我们在四个数据集（针对SAM、HQ-SAM和PerSAM）上进行了广泛的实验，从定性和定量两个角度证明了DarkSAM强大的攻击能力和强攻击迁移性。就局限性而言，DarkSAM可能不适用于传统分割模型，因为其输出不是无标签的掩码。这一特性可能会限制其在需要标记掩码以实现精确分割的场景中的应用。DarkSAM生成的对抗性示例可能会误导基于SAM的分割平台，带来重大的安全风险，特别是在医疗图像分析等敏感领域。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

3D视觉工坊可提供顶会论文的课题如下：