兰德：对抗攻击如何影响美国防部军事人工智能系统
以下文章来源于学术plus，作者plus观察者
2022年12月12日，美国兰德发布《对抗攻击如何影响美国防部军事人工智能系统》（Operational Feasibility of Adversarial Attacks Against Artificial Intelligence）研究报告，分析了人工智能对抗攻击对美国防部人工智能系统作战的影响。
报告分析了光电系统、合成孔径雷达、信号情报等三个军事人工智能系统实例中的人工智能对抗攻击，以及对美国防部人工智能系统和作战的影响，并给出了应对建议。
兰德：对抗攻击如何影响美国防部军事人工智能系统
本文主要内容
随着人工智能和机器学习技术的发展，世界主要国家纷纷向人工智能系统投资以支持军事系统应用。
目标是利用人工智能系统为作战提供更加快速和更好的决策。但学术研究发现人工智能系统可以被精心设计的对抗样本欺骗以产生错误的结果。
从学术研究结果来看，大多数美国国防部的人工智能系统也会受到对抗攻击的影响。为此，兰德从光电系统、合成孔径雷达、信号情报三个实例出发分析了对抗攻击对美国防部人工智能系统和作战的影响。
01 针对军事人工智能系统的攻击实践
1.1 人工智能光电系统的攻击
为进一步确定人工智能对抗攻击对美国防部人工智能系统作战的影响，兰德分析了针对人工智能光电系统的攻击，并进行了一系列实验，利用无人机和物理打印的对抗样本来评估部署对抗攻击的相关作战问题。
基于人工智能的光电系统的威胁，即是使用物理对抗补丁诱使人工智能系统错误地识别对象。对抗补丁是精心设计用于欺骗机器学习模型的。在现实场景中，有许多针对成功欺骗基于摄像头识别系统的对抗补丁案例。
1.1.1 针对图像分类算法的攻击
相关学术研究表明机器学习分类模型易受到对抗攻击的影响，但对抗攻击的成功率与攻击者对分类模型的了解、对手选择的攻击技术、以及目标模型所选择的防护措施有关。
攻击过程需要以下几个步骤：
（1）对手需要了解目标模型，比如神经网络、目标函数；
（2）对手需要计算目标函数输入给定图像的梯度；
（3）对手根据计算的梯度来操纵图像以最大化目标函数。
研究人员使用CIFAR-10图像识别数据集进行了测试。首先，使用简单的卷积神经网络（CNN）来执行分类任务和FGSM（Fast Gradient Sign Method，快速梯度签名方法）来执行对抗攻击。在不同知识环境下攻击简单模型和数据集，确定了不同程度白盒攻击和黑盒攻击的效率。结果如下图所示：
图1 对抗攻击效果示例
刚开始，CNN模型在CIFAR-10数据集上的分类准确率为73%。然后研究人员设置了5种不同类型的攻击场景，不同场景下攻击者对目标模型的参数、训练数据集和架构的了解是不同的。
白盒攻击：攻击者完全了解目标模型，包括网络架构和每个网络的参数值。攻击者可以将模型的准确率降低65个百分点，即将对抗样本图像的检测准确率下降到8%。
不完全知识：攻击者可以访问目标模型的训练数据，了解模型架构。攻击者可以开发目标模型的代理模型，攻击可以成功将代理模型迁移到目标模型，使模型的准确率下降63个百分点。
部分知识：攻击者可访问目标模型的训练数据，但不清楚目标模型的架构。比如，目标模型使用64隐层的CNN，而攻击者的代理模型只使用32隐层。通过该攻击，攻击者可成功将目标模型准确率下降57个百分点。
最小知识：攻击者知道目标模型架构，但不知道模型的训练数据。攻击者可以生成其自己的数据集并使用相同架构来训练。这样，攻击者可成功降低目标模型准确率58个百分点。
黑客攻击：攻击者不了解目标模型架构，也没有目标模型的训练数据。攻击者可生成自己的数据集，并使用猜测的模型架构进行训练。攻击者可以降低模型准确率55个百分点。
1.1.2 针对目标检测算法的攻击：现实世界的攻击效力
除了考虑确保情报收集对攻击效果的影响外，研究人员还评估了现实世界条件对攻击效果的影响。为此，研究人员进行了一系列实验，包括利用对抗样本攻击对航空（无人机）图像目标识别系统进行攻击测试。
主要目标是识别在作战场景下发起此类攻击的现实挑战。这是因为上空拍照在目标大小、摄像头角度、光照条件等方面都有不同。在实验中，研究人员使用无人机在不同高度、有对抗补丁和没有对抗补丁的情况下进行了拍照，如下图所示：
图2 不同高度、有对抗补丁、无对抗补丁无人机拍照图像
在威胁场景中，研究人员假定攻击者了解目标模型的全部知识。此外，确保攻击在现实场景是物理可打印的。在现实世界测试之前，研究人员进行了数字图像版本的测试，攻击可以将目标识别准确率降低到0。
图3 对抗补丁对不同定位算法的攻击效果
1.2 针对合成孔径雷达中人工智能算法的攻击
SAR（Synthetic Aperture Radar，合成孔径雷达）是一种依赖雷达信号的成像技术。SAR在夜间和穿透植被、雪天、冰雪和沙漠环境下成像具有优势。但SAR图像中含有大量视觉点，没有光电图像清楚，因此需要分析人员的介入。下图是不同军事交通工具的SAR图像：
图4 SAR交通工具图像数据
目标识别方法在公开SAR数据集上取得了非常好的效果。2018年，CNN方法在MSTAR数据集上实现了超过99%的准确率。目前，也有研究对MSTRAR CNN模型成功实现了对抗攻击，但截至目前，所有攻击都是针对数字图像的攻击。
1.2.1 攻击合成孔径雷达人工智能系统
要实现针对SAR的物理对抗攻击与实现针对光电系统的对抗攻击有本质的不同。首先，在光电系统中，可以通过打印或绘制图像的方式实现修改。但实现SAR修改需要攻击者具有影响SAR接收器的能力，可以通过反射SAR的脉冲或使用发射器传播脉冲的方式来实现。雷达反射器具有价格便宜、易部署等特点，且可以在不同方向部署多个雷达反射器，在多个角度反射SAR信号。因此，本文以雷达反射器为例进行研究。
1.2.2 雷达反射器
研究人员测试了雷达反射器对SAR目标检测的影响。使用MSTAR数据集作为背景，使用RetinaNet架构，训练目标识别模型来定位车辆，并确定是MSRAR车辆的哪种类型。使用平均精度均值(mAP)来度量算法做出正确预测的能力。分析结果如下：
训练模型在测试集上实现了57%的mAP；
在测试集车辆中加入雷达反射器后模型mAP为32%；
随机加入雷达反射器后的模型mAP为57%。
结论：实验结果与雷达反射器的位置有关，随机放置雷达反射器效果不明显。
图5 有无雷达反射器合成孔径雷达目标识别对比
1.3 信号情报人工智能攻击
信号情报（SIGINT）可以分为电子情报和通信情报。其中电子情报包括电子信号的收集和分析，通信情报包括通信的收集和分析。当前，对抗攻击研究主要集中在计算机视觉模型，即输入是图像或视频。针对音频数据的研究较少，比如研究如何修改进入自动语音识别系统和其他处理音频数据的模型语音信号。
这类系统可以扫描音频、识别说话者、从上百个输入流中识别说话人并生成文本。在信号情报中，敌手操作传输音频的能力会影响作战场景下情报获取的数量和质量。为验证对抗攻击对语音识别和其他基于音频模型的效果，研究人员考虑了各种攻击者可能部署的攻击。
1.3.1 攻击说话人识别系统
假定攻击者无法预防目标（防护者）收集其内容。在此场景下，攻击者在传输之前修改信号，然后目标收集修改的信号传输。目标可以使用基于声音的分类系统，理解收集信号的内容。攻击者需要绕过目标的自动检测系统，包括说话人识别和声音-文本转化。
Carlini-Wagner（CW）攻击是音频领域比较成熟的对抗攻击，其白盒攻击可以实现100%的攻击成功率。在测试中，研究人员使用CW攻击模型，主要原因是缺乏开源的预训练模型。
1.3.2 对抗攻击vs传统信号修改
针对说话人识别的操作攻击成功率如下图所示：
图6 对抗攻击方法准确率
VGG（Visual Geometry Group，视觉几何组）可以从声音片段中识别出说话人的平均准确率为82%，CW攻击可将识别性能降低到70%。相比之下，传统的静态或slow（慢速）攻击可将识别准确率下降到56%和32%。相比之下，静默攻击（silent attack）的效果最差，只将识别性能下降到75%。
1.4 小结
人工智能军事系统的案例研究表明， 现有对抗攻击方法在现实中攻击军事人工智能系统的可能性比较低。在现实场景中，发起对抗攻击需要很多先验知识以及不太可能的攻击向量，因此对抗攻击很难设计和部署。比如，受图像大小的影响，对抗补丁在现实中对光电系统的影响也非常有限。而从理论上讲，对抗攻击理论上可以攻击合成孔径雷达图像，但现实中却缺乏攻击合成孔径雷达传感器的实用方法。
02 应对建议
当前针对人工智能军事系统的对抗攻击设计和部署均比较难，但仍可能会对军事人工智能系统带来巨大的潜在安全威胁。为应对人工智能军事系统的潜在威胁，国防部应该通过以下措施应对潜在的对抗攻击：
一是拒绝对抗信息。通过考虑敌手如何影响其人工智能模型来评估对抗攻击对人工智能的风险；同时还应评估模型知识的泄露对攻击效率的影响，并预估与对手攻击活动相关的成本。
二是追踪对抗攻击进展。追踪学术界对抗攻击研究进展，并考虑其对现实场景人工智能的攻击。确定对抗攻击技术如何影响美国和敌对国的作战概念。
三是开发鲁棒系统。开发鲁棒的人工智能模型、预处理技术、适当的数据融合系统以增加敌对国对美国发起对抗攻击的成本。
四是提供人工智能响应支持。建立人工智能系统的支持团队以快速检测、识别和响应对抗威胁。
03 评述
许多国家都斥巨资投入军事人工智能系统，学术研究表明 对抗攻击会对人工智能系统带来巨大威胁。欺骗、诱饵、伪装是战争中常用的技术，而对抗攻击具有实现此类技术的潜力。 兰德分析表明受攻击向量、攻击方法等的限制，当前军事人工智能系统受对抗攻击的威胁较小。
为应对对抗攻击的潜在风险，兰德提出评估风险、追踪研究进展、开发鲁棒模型、提供支持等措施。随着人工智能技术的不断发展，人工智能军事应用范围将进一步扩大，为此，需要持续关注和评估人工智能军事应用的潜在风险，确保人工智能军事系统的安全性和可靠性。
转载声明
本文来自网络公开资料或已通过原创公众号开通白名单授权转载，版权归原作者所有。文章内容并不代表本平台的观点和对其真实性负责，转载的目的在于传递信息及用于网络分享，如涉版权问题，请速与我们联系，我们将第一时间删除。
关注公众号了解更多
会员申请 请在公众号内回复“个人会员”或“单位会员
欢迎关注中国指挥与控制学会媒体矩阵
CICC官方网站
CICC官方微信公众号
《指挥与控制学报》官网
国际无人系统大会官网
中国指挥控制大会官网
全国兵棋推演大赛
全国空中智能博弈大赛
搜狐号
一点号