如何降低军事决策中的人工智能风险？
简介
2023年3月，美国智库安全和新兴技术局（CSET）发布《聚焦军事决策优势降低人工智能风险》报告，分析了机器学习（ML）在实现决策优势中的应用前景以及人工智能（AI）在美军现代化中的应用情况，指出了构建机器学习系统稳健性面临的困境，剖析了大国竞争中导致人工智能风险的原因，探讨了人工智能系统对未来冲突升级的影响。最后，报告提出了在开发和部署机器学习系统过程中减轻风险的可行措施。本文编译了报告核心观点。
1
机器学习在军事决策中的应用前景
过去十年，机器学习的持续进步让人工智能的军事应用更接近现实。机器学习在近期和中期对支撑实现决策优势具有可行性，原因有三：一是这些应用在技术上是可行的，即使部分应用未达到实际部署所需的成熟度；二是机器学习系统面对的政策、法律、道德或伦理阻力远小于致命自主武器系统，因此，军方的开发和部署意愿更强；三是国防界从战略角度普遍认为机器学习是获取决策优势的必需能力。
2
人工智能在美国军事战略及现代化中的应用
美军通过联合人工智能中心（JAIC）指导人工智能系统融入整个军队的决策和作战。2021年联合人工智能中心的国防部人工智能项目与合同高达685个。与决策优势相关的项目虽然只占一小部分，但却属于国防部现代化工作的优先事项，主要涵盖以下工作：
- 情报、监视与侦察：基于人工智能收集多域数据并融合为通用作战图是美国防部联合全域指挥控制（JADC2）愿景的核心。典型项目包括美陆军的战术情报瞄准接入节点（TITAN）和空军先进战斗管理系统（ABMS）。
- 决策支持：联合全域指挥控制将利用人工智能和机器学习来加快指挥官的决策周期。2021年3月，北方司令部测试了基于人工智能的“决策辅助”工具，旨在实现域感知、信息优势和跨司令部指挥协作。
- 电子战：美国防部2020年《指挥控制与通信现代化战略》要求应用人工智能实现“敏捷电磁频谱作战”，以支持指挥控制与通信。美军已经在整合加速电磁频谱信号分析的能力。
网络战：目前利用机器学习对抗网络攻击的典型项目包括美国防高级研究计划局（DARPA）的“利用自主性对抗网络对手系统”（HACCS）项目和国防部的IKE项目。
3
机器学习的风险和稳健性
机器学习的风险分为两大类：一是由于训练过程中的缺陷或部署环境中的条件变化而导致机器学习系统失效；二是由于恶意行为者故意干扰而导致机器学习系统失效。
随着对风险意识的不断增强，军事人工智能战略越来越强调机器学习在承受风险时的稳健性（Robustness），即机器学习在触发故障的条件下能够正确和可靠地执行操作的能力。
报告认为，在可预见的未来，构建机器学习系统稳健性的前景并不乐观，主要依据包括：一是目前的各类研究与应用中，防守方持续处于劣势，原因包括对防御措施评估不足，机器学习系统易受欺骗的问题短期内无法解决等；二是测试和评估机器学习系统以查找漏洞十分困难；三是由于机器学习依赖于数据的相关性而非对因果关系的理解，修复机器学习漏洞通常会产生其他问题。例如为了解决漏洞，开发人员必须重新训练系统，不仅成本高昂而且对解决其他漏洞的用处不大。如果仅针对某种攻击增强系统的稳健性，会使其在面临其他类型的攻击时更加脆弱。
4
人工智能系统对冲突升级的影响
只要人类依然处于战争的主导地位，冲突升级就是政治、战略和心理这些非技术因素相互作用的结果。冲突升级可以分为意外升级、无意升级和故意升级。
（一）意外升级
意外升级是指一方的行动产生了不可预见、意想不到的影响，促使另一方做出更强烈的反应。
针对机器学习系统的攻击行动可能会产生不可预测的影响，造成冲突的意外升级。由于机器学习系统对输入数据的细微变化十分敏感性，攻击者无法预料攻击行动将对系统产生的具体影响，本来只是试图降低系统的性能，却可能会彻底摧毁系统。此外，系统没有针对目标环境进行充分的训练，或者系统以与操作员意图相反的方式实现目标，都有可能导致意外升级。
（二）无意升级
无意升级是指一方的无意识行动引发了对方预料之外的升级反应。
不安全的、未经充分训练的机器学习系统，或应用于错误类型问题的机器学习系统可能会向决策中注入错误信息，导致冲突的无意升级。此外，基于和平时期历史数据训练的系统，其假设和预期可能会因战略格局的突然变化而被颠覆，进而误判对手行动或意图。
（三）故意升级
故意升级是指一方认为，针对另一方的行动，将冲突升级是合理或必要的，尽管这种认识不一定基于完全理性或充分的考量之上。
由于担心对手针对己方的机器学习系统先行发起攻击，决策者可能会采取过激行动，导致冲突的故意升级。主要有两种常见情况：一是针对机器学习系统的网络入侵可能迫使决策者采取过激行动。由于对手试图探测机器学习系统的意图难以解释，无法判断对手是否获得了能够摧毁系统的足够信息，决策者有可能采取过激行动来升级冲突；二是如果机器学习系统被破坏，并且没有快速补救的可行方案，决策者可能选择发动攻击，导致冲突升级。
5
风险降低措施
报告提出了三步走的解决方案来降低人工智能应用的风险，以获得决策优势：
首先，为用于决策优势的机器学习系统定义一套针对任务的属性、标准和要求。开发人员应该与终端用户及决策者合作，为关键应用领域的机器学习系统定义必要的特征，包括纳入系统的指标；可验证的稳健性；在部署期间检测分布偏移、异常数据或对抗性干扰的措施，从而增强机器学习系统的可靠性、可预测性和可用性。
其次，设计决策过程以限制机器学习故障可能引发的后果，即限定机器学习能力在何处以及如何集成到决策和作战中：一是避免在某些高风险的决策环境中使用机器学习能力，如核指挥控制自动化；二是减少对基于推理类型的机器学习评估的依赖；三是使用基于不同数据源的多个模型来提供冗余；四是限制机器学习系统可能采取的行动或输出的范围。
最后，让高层决策者成为熟悉人工智能系统的用户。一是尽早让决策者参与机器学习系统的开发以及“测试与评估、验证与确认”（TEVV）流程，以避免由于工程师、开发人员、数据科学家和最终用户之间缺乏沟通而导致的问题；二是训练决策者解释和判断机器学习输出的可靠性，以避免偏向自动化输出而导致的失误。
本文来源：防务快讯
关注公众号了解更多
会员申请 请在公众号内回复“个人会员”或“单位会员
欢迎关注中国指挥与控制学会媒体矩阵
CICC官方网站
CICC官方微信公众号
《指挥与控制学报》官网
国际无人系统大会官网
中国指挥控制大会官网
全国兵棋推演大赛
全国空中智能博弈大赛
搜狐号
一点号