军事决策中的人工智能：支持人类，而非取代人类

开发技术解决方案以帮助军队决策的愿望并不新鲜。但最近，看到军队在决策过程中，包括在使用武力的决策中，采用了形式日益复杂的人工智能决策支持系统（AI DSS）。这一发展的新颖之处在于，这些AI DSS 的运作过程挑战了人类在军事决策过程中的判断能力。这种对人类判断力的潜在侵蚀带来了一些法律、人道主义和伦理方面的挑战和风险，特别是在对人的生命、尊严和社区有重大影响的军事决策方面。有鉴于此，必须认真地讨论如何使用这些系统及其对受武装冲突影响的人们的影响。

本文推出了一个关于军事决策中的人工智能（AI）的新系列。作为讨论的开端，概述了使用AI DSS 在使用武力的法律决定中维护人类判断力所面临的一些挑战、风险和潜力。还提出了一些有关在这些决策过程中设计和使用人工智能直接支持系统的措施和限制，这些措施和限制可以为当前和未来有关军事人工智能治理的辩论提供参考，以确保遵守国际人道主义法（IHL），并支持减轻受这些决策影响的人受到伤害的风险。

创造能够辅助人类决策的技术解决方案并不是最近才有的。然而，随着 DSS 的发展，特别是通过整合强大的人工智能技术（如机器学习），目睹了各种技术先进的军事强国如何开始在广泛的任务和许多不同的指挥级别中追求和利用这种军事能力：从军事战略建议到有关人员部署或武器运输的后勤决策。

最近，以机器学习（ML）为基础、支持使用武力决策的 DSS 正成为人工智能在军事领域日益突出的应用。这些计算机化工具提供复杂的评估和细微的输出（即分析、建议和预测），以帮助人类做出复杂的决策，如攻击谁或攻击什么以及攻击的地点、时间和方式。利用预先确定的特征和自学模式，这些类型的AI DSS 可以在没有人工干预的情况下突出某些数据点，并对特征进行优先排序和选择。因此，它们很可能对使用武力的决定产生重大影响，包括做出此类决定的过程和可能产生的后果。

AI DSS 经常被军方作为加快和增强决策周期的关键使能技术，被吹捧为能带来重要的军事利益。

然而，必须认真考虑这些AI DSS 如何运行、人类如何与其输出互动以及它们适合执行哪些任务，因为采用这些技术的人力成本将在很大程度上受到这些因素的影响。重要的是，AI DSS 无法改进不符合国际人道主义法的目标选择方法和政策。在此类框架内实施人工智能数据和分析系统可能只会加剧非法或有害的影响，更快、更广泛地复制和部署这些影响。

在国际人道主义法中维护人的判断力

根据国际人道主义法，武装冲突各方--归根结底是人--有责任遵守国际人道主义法，并必须对违反行为负责。因此，人类必须在法律判定中做出判断，如攻击是否合法。当然，这并不意味着负责规划、决定或执行攻击的人不能使用技术支持或计算机化分析，如AI DSS，为其使用武力的决定提供信息。例如，就像今天常见的那样，军方可能会考虑利用AI DSS 的输出来支持对个人和目标的识别、武器选择或附带损害的估计。结果是：在法律规定的决策中--比如是否可以合法地瞄准某个目标或人员--这些系统的输出可以为人类的判断提供信息，但绝不能取代人类的判断。

军事决策中的AI DSS：遵守国际人道主义法的风险还是潜力？

在武装冲突中使用武力的军事决策中纳入人工智能，为非AI DSS 的现有挑战增添了新的层面。

事实上，由于各种原因，应用AI DSS（特别是基于 ML 的 DSS）可能会对人类决策产生负面影响。有证据表明，使用这些系统会增加发生不可预见错误的可能性，并延续和传播有问题的偏见，特别是针对特定年龄、性别或种族的个人或群体或残疾人的偏见。当许多AI DSS 在单个流程中建立并促进军事决策时，单个AI DSS 的错误会在整个规划和决策流程中复杂化或连锁化。

由于人类越来越难以理解系统如何以及为何会产生某种分析、建议或预测，因此使用基于 ML 的 DSS 也使人类用户更难以识别错误的输出。人类过度依赖AI DSS 输出（所谓的自动化偏差）的倾向放大了这一趋势，在高压情况下尤为突出--例如关于使用武力的军事决策--在这种情况下，决策者只有有限的时间来评估、交叉检查或质疑AI DSS 输出。军事行动的节奏越来越快，使用AI DSS 加快决策速度的动力也助长了这一问题。这在现实世界中的影响可能是，有人根据人工智能决策支持系统的输出结果来计划、决定或发起攻击，而不是实际评估攻击的合法性--实质上充当了人类橡皮图章的角色。

此外，人工智能决策支持系统的技术特点使其并不适用于所有任务和环境。当人工智能被赋予可转化为数学问题的明确目标时，如决定部署何种类型的武器或在何处部署部队和武器，人工智能就会表现出色。然而，国际人道主义法所要求的背景和定性评估不太可能为人工智能决策支持系统提供明确的目标，因为它们极其复杂，无法转化为数学公式或数值。要确保人工智能决策支持系统使用的充分性和实用性，另一个不可或缺的因素是要有高质量和有代表性的训练数据。然而，武装冲突的特点是不确定性和不稳定性，再加上对手试图相互欺骗，所有这些都使得具有代表性和可转移性的数据难以获取。

因此，使用AI DSS 有可能会妨碍武装冲突中使用武力的军事决策所涉及的人类判断，从而引发新的人道主义、法律和伦理问题。这就是为什么为了确保AI DSS支持而不是阻碍军事决策--并协助确保遵守国际人道主义法，冲突各方必须仔细评估其是否适合具体任务和背景。

一项关键措施是将AI DSS纳入对包含AI DSS工具的武器系统的法律审查中，或者在此类工具是武器系统设计或预期使用方式的一部分的情况下。更广泛地说，各国应考虑对构成在武装冲突中使用武力的军事决定的一部分的所有人工智能--裁军和安全系统进行法律审查，至少作为一项政策或良好做法。在这样做的时候，军方必须考虑到AI DSS的技术特点、与之互动的人类用户的倾向，以及军事决策者在加快决策过程速度方面日益增长的压力。

与此同时，谨慎和负责任地使用AI DSS可促进更快、更全面的信息分析，从而以加强国际人道主义法合规性和最大限度减少平民风险的方式支持决策。例如，使用人工智能数据和分析软件可协助从网上公开来源资料库中收集和综合有关平民和民用物体存在情况的信息，或通过推荐最能避免或至少最大限度减少附带平民伤害的攻击手段和方法来支持武器设计。任何此类工具的效率都取决于能否获得高质量的数据。然而，目前尚不清楚各国军队是否在建立和维护所需数据集方面进行了充分投资，特别是在基于 ML 的 DSS 方面。

但是，除了AI DSS作为目标选择决策周期的一部分支持减轻对平民伤害的潜力之外，军方还应考虑优先投资开发和使用AI DSS，专门用于加强对平民的保护--目前这在很大程度上是一个空白。这可能包括AI DSS支持专业工程师为军事单位提供建议，不仅要绘制基础设施的位置图，还要绘制其连接图，并识别表明保护状态的独特标志和信号，以减少攻击可能对平民及其生计造成的潜在影响。归根结底，这些措施对于加强遵守国际人道主义法的义务至关重要，即不断注意保护平民，并在攻击中采取一切可行的预防措施。

今后的方向

鉴于上述风险和挑战，可能有必要对在军事决策中使用 AI DSS 采取进一步的措施和限制，特别是在可能对人员造成伤害或死亡或对物体造成损害的情况下，以及更普遍的在决策受国际人道主义法管辖的情况下。

最近发表的报告（一份专家咨询报告和一份红十字国际委员会委托的顾问报告）提出了其中的一些措施和限制。值得注意的是，在武装冲突中使用武力的军事决策中维护人类的判断力，可能需要采取新的方法来应对人类与 AI DSS 之间互动所产生的现有挑战，以及与使用 AI DSS 有关的技术要求。有些方法可能有助于解决现有的技术挑战（如可预测性、可理解性和偏差），而另一些方法可能有助于提高人类决策者批判性地参与和使用 AI DSS 输出的能力（如减轻自动化偏差）。

例如，AI DSS 的设计和使用需要允许人类用户理解和质疑系统的输出。要做到这一点，可以让人类用户根据另一来源的数据对 AI DSS 的输出结果进行交叉核对，并确保用户保留足够的时间和空间批判性地参与系统输出，以维护人类在敌对行动决策中的判断和深思熟虑。可能还需要某些限制，例如将 AI DSS 的使用限制在某些明确界定的任务和/或某些情况下。

此外，鉴于军方对在 DSS 中集成 ML 的兴趣与日俱增，在使用这些系统执行指令性任务（如建议行动方案）或进行预测（如预测某些个人或团体的行动所带来的风险）时，需要特别谨慎。根据 AI DSS 输出的训练数据，在使用武力的军事决策中使用此类建议或预测的合法性可能会受到质疑。

AI DSS 的某些用途也可能被完全排除。一个明显的例子是，绝不能将此类工具纳入核武器指挥和控制系统。由于具有持续学习功能的 AI DSS 特别难以预测，限制其使用可能也是必要的。

希望这些建议和考虑能够为国际和国家层面关于武装冲突中人工智能军事应用的国际法和政策的应用和可能的进一步发展的辩论提供参考。

近年来，多方利益相关者关于人工智能军事应用国际治理的讨论有了显著发展，特别是在军事领域负责任的人工智能（REAIM）峰会上（首届会议于 2023 年 2 月在海牙举行，第二届会议即将于 2024 年 9 月在首尔举行）。尽管如此，从十年前开始，《特定常规武器公约》致命性自主武器系统政府专家组和最近的联合国大会（第 78/241 号决议）就已触及人工智能和 ML 在武器系统中的应用。一些国家和军队最近制定了人工智能原则和政策，以规范军事应用，包括美国的《关于负责任地在军事上使用人工智能和自主权的政治宣言》、中国的《全球人工智能治理倡议》、法国国防部的《人工智能支持国防报告》、英国的《国防人工智能战略》、日本防卫省的《促进使用人工智能的基本政策》以及北约的《人工智能战略》。

所有这些以及未来的任何努力都应有助于确保 AI DSS（包括基于 ML 的 DSS）在军事决策中始终是帮助和支持人类的手段，而不是阻碍或取代人类的手段。在对受武装冲突影响者的生命和尊严构成风险的决策中保留人类的判断力，对于维护道德价值观和确保尊重适用法律（包括国际人道主义法）至关重要。

本文来源：专知智能防务

关注公众号了解更多

会员申请 请在公众号内回复“个人会员”或“单位会员

欢迎关注中国指挥与控制学会媒体矩阵

CICC官方抖音

CICC头条号

CICC微博号

CICC官方网站

CICC官方微信公众号

《指挥与控制学报》官网

国际无人系统大会官网

中国指挥控制大会官网

全国兵棋推演大赛

全国空中智能博弈大赛

搜狐号

一点号