摘要：美军在前沿技术方面保持着领先地位，这与其对前沿技术的重视分不开。2023年8月，美国陆军战争学院发布报告《信任人工智能：将人工智能融入陆军专业知识》（Trusting AI: Integrating Artificial Intelligence into the Army’s Professional Expertise Knowledge）。报告认为，要将人工智能应用于军队，发挥最大潜力，各级军事人员必须通过培训加强自身人工智能素养，建立对人工智能的信任，才能更好地实现人机协作，并规避人工智能可能带来的信息偏差等风险。本文依据上述报告，分别对整合人工智能和数据技术所面临的挑战、信任人工智能的阻碍，以及如何通过模糊逻辑判断人为干预的程度进行重点阐述。

关键词：人机协作，可信人工智能，风险规避，输入攻击，中毒攻击

一、引言

出于军事目的整合人工智能（AI）技术是一项特殊的挑战。在以往的军备竞赛中，如第二次世界大战期间的原子弹技术竞赛，专业知识集中掌握在美国国防部内部。但在人工智能军备竞赛方面，专业知识主要集中于工业界和学术界。人工智能技术的有效利用不能仅限于少数专家。打造一支优良的空军部队，不需要每个人都懂得如何驾驶飞机。然而，如果军队要想充分发挥人工智能技术的潜力，几乎所有各级军事人员都需要具备一定程度的人工智能和数据素养。因此，未来战备的一个关键组成部分是军队的人工智能素养。

在这样的背景下，人工智能素养不仅仅意味着简单了解如何设计、制造和使用人工智能和数据驱动系统。数据、算法和它们所支持的系统会以复杂的方式交互，即便是人们以往再熟悉不过的流程（如目标锁定）也会变得异常复杂和陌生。更困难的是，掌握新技术需要充分了解该技术的运作原理，以及其应用将如何影响军队、政府、社会及国际合作伙伴的组织、道德和政治关切。

二、整合人工智能和数据技术所面临的挑战

通常而言，与利用人工智能相关的问题，特别是在致命性目标锁定过程中的问题，是由于在利用机器的速度优势和维持有意义的人类控制之间进行权衡而产生的。从某种意义上来说，人类一旦放弃了控制，也就放弃了责任。放弃责任就会削弱责任意识，继而产生不信任机器和机器操作人员的理由。

因此，核心问题是，指挥官、参谋人员和操作人员凭什么信任人工智能技术和它们所支持的系统？这里所说的“信任”牵涉多个条件。首先，军方当然期望该系统卓有成效，也就是说，能够产生预期的效果，即便不及纯粹的人工系统，也至少能产生预期的效果。此外，根据联合国裁军研究所（United Nations Institute for Disarmament Research）的一份报告，人工智能所支持的系统必须具备可预测性和可理解性。前者要求系统必须持续实现其预定目标，而后者要求机器出于可理解的理由行事。在专业运用方面，仅仅是专业人士信任人工智能是远远不够的。客户必须进一步相信专业人士会为了客户利益，以反映客户价值观和恪守伦理道德的方式使用人工智能。

鉴于专业人士必须确保这些条件得到满足，上述问题可重新定义为专业知识问题，其中包括对使用该技术的人员进行教育、培训和认证，以及设立专业机构来确保技术行之有效且合乎道德。了解获取该技术对行业组织文化及其他利益相关者的影响对于满足信任条件也至关重要。

本文基于“李奇微计划”（Project Ridgway），研究了军方如何才能满足这些条件。美国第十八空降师旨在通过该计划整合当前可用的人工智能、数据和图像以推动人工智能的广泛运用。“李奇微计划”是一项自下而上的计划，空降师直接与私营企业合作，利用商业上可用的数据和算法来支持纵深作战中的目标锁定。本文认为，在专业军事环境下信任人工智能驱动的系统需要做到：一，了解人工智能的应用背景；二，了解信任人工智能有何用处；三，了解如何与人工智能驱动的系统交互，包括了解系统如何接收输入和提供输出。满足这些条件有助于人工智能使用者审核和确保数据的真实性，这对于信任至关重要。

三、开发可信人工智能

考虑到对机器的依赖，人类必须扪心自问，信任人工智能驱动的系统有何用处。从实践和道德的角度来看，致命性的目标锁定需要平衡击败敌方、避免非作战人员伤亡和保护部队这三者之间的关系，为此需要解答风险方面的问题。简而言之，致命行动会使己方作战人员和非作战人员面临风险，避免非作战人员伤亡会使作战人员或行动面临风险，而保护部队又会使行动或非作战人员面临风险。降低任一关键事项的风险都会使另外两个关键事项面临风险，而使用人工智能能够同时降低三者面临的风险。通过使射击更快、更精准，人工智能能够在有效降低己方风险和连带伤害的同时，提高击败敌方的概率。

在纯人工的流程中，信任取决于了解士兵的能力及其携带的武器，确保士兵了解并遵守武装冲突法，并能够在他们违背武装冲突法时追究他们的责任。而在人工智能驱动的流程中，信任取决于了解如何管理和监控数据、评估和优化算法表现，以及确保系统不受外部操纵。人工智能的实质是算法在特定环境下对数据进行运算的过程。对这一过程的信任至少部分取决于对其各组成部分的信任。为确保信任，数据必须可审，且算法必须在其运行环境内得到充分理解。

四、信任人工智能的阻碍

信任人工智能的阻碍包括不确定如何保证对数据进行了正确的整理，对数据和算法进行训练和再训练，使其准确无误，以及保护系统免受欺骗攻击或其他非必要操纵。

• 数据挑战

就人工智能而言，数据、算法和外部干扰等多种因素都会对信任产生影响。算法的好坏往往取决于它们受训所依据的数据。通过训练，算法学会将感兴趣的项目与其他所有项目区分开来。收集准确、完整、一致和及时的数据集供系统训练极为困难，而且对发生目标锁定的环境极其敏感。不断更新数据集是一项必须持续进行的重要工作。挑战在于，要知道何时收集到优化系统性能所需的所有数据是非常困难的。因此，当输入的数据与系统训练所依据的数据大相径庭时，系统就会出错。

• 性能问题

性能问题的表现形式通常为分类错误、假阳性和假阴性。例如，当人工智能分类器的输入数据与训练数据不相似时，预测错误就更容易出现。当分类器仅使用夏季拍摄的目标图像进行训练，然后再向其呈现冬季拍摄的目标部分隐藏的图像时，预测错误就有可能出现。如果分类器仅使用在沙漠中行驶的坦克图像进行训练，当要求其对部分被雪覆盖的坦克图像进行分类时，分类器也很可能会出错。为了应对这种错误，必须不断搜索和收集更新、信息更丰富的数据实例（尤其是与算法运行环境相关的数据实例），并根据需要对分类器进行再训练和更新。通常情况下，对分类器进行再训练和更新意味着在系统运行时收集新数据，然后确定哪些样本有助于提高人工智能模型的性能。

人工智能能快速过滤数据并迅速识别相关模式。因此，在目标锁定方面，可以训练人工智能来探测某些目标，然后用它来近乎实时地处理传感器的数据流。图2描述了人工智能在“发现、定位、追踪、瞄准、交战和评估”（F2T2EA）的动态目标锁定循环下的一种应用方式，鉴于当前行动和动态目标固有的时间限制，人工智能可在此循环中发挥关键作用。如图所示，人工智能可用于持续扫描传感器馈送，并在探测到新目标时发出警报，协助目标分析员完成“发现、定位和追踪”步骤。相较于人类，人工智能可以更快速地完成这些步骤，且能够不间断进行，而不会在战斗压力下感到疲乏或判断失误。

简而言之，鉴于当前的技术水平和收集全面数据集的难度，分类器有可能会出错。人工智能就好比一个“暗盒”，由于算法复杂性或人工智能输出对网络连接强度的依赖，人工智能得出输出结果的方式并非总能为人类所辨认。尽管如此，指挥官和操作人员应了解人工智能的局限性，并观察人工智能系统在相似条件下的表现，从而使指挥官和操作人员能够根据风险计算，决定在目标锁定行动中向人工智能给予多少控制权。

其他问题包括敌方通过毒化数据集或变更自身资产特征来处心积虑破坏人工智能系统。例如，中毒攻击能够在机器学习模型训练阶段通过更改模型训练数据来破坏机器学习模型。对抗性中毒攻击能够训练目标识别模型，使其完全忽略某一类目标，从而使高价值目标隐藏在众目睽睽之下。为了实施输入攻击，敌方会将干扰信息注入模型的输入数据中，从而使其产生错误的输出。

在一个例子中，张贴在停车标识上的一小块胶带导致自动驾驶汽车将该标识误认为是每小时60英里的限速标识。无独有偶，敌人也能对坦克进行视觉改造，使机器学习模型将坦克识别为卡车。况且，这样做并不困难。人眼无法观察到的微小像素变化就曾导致分类算法将熊猫图像误判为猴子。输入攻击和中毒攻击都会破坏人工智能模型的感知效果，从而降低其可信度。更重要的是，人工智能系统用户应该预料到系统会不断受到攻击，这就要求用户想方设法找到检测此类攻击影响的方法。

数据集的敏感性、算法的复杂性和存在未被发现的破坏的可能性会导致问责漏洞。问责取决于意图和行动。然而，尽管参与人工智能系统运行的指挥官、参谋人员和操作人员出于良好的意图行事，尽管系统按照规范运行，诸如违反武装冲突法的错误仍有可能发生。指挥官和参谋人员或许对某一系统了如指掌，但由于存在自动化偏差（特别是面对向来可靠的系统时），导致错误发生的可能性增加。

人工智能的性能不仅仅关乎速度。实际上，当人类与机器进行交互时，即便是在作战过程中，机器也能提供更好的输出效果。因此，认为开发和利用人工智能需要在速度和有意义的人类控制之间进行权衡的想法是错误的两难选择。那么人类该在何时与系统进行交互并提供控制，同时又能优化系统性能呢？

• 开发性能高效、可靠的系统

信任和风险是开发性能高效、可靠的系统的核心问题。指挥官需要一种可靠的方式来了解何时可以信任人工智能，以及何时能够在减少监督以提高速度（但代价是风险增加）的情况下执行目标锁定过程的某些阶段。本文所述的系统依赖于神经网络，该网络能够就每个目标类别提供一定的置信度。指挥官可以在目标锁定过程中利用这些神经网络，就所需的人类监督程度作出明智的决定，特别是当置信度与其他信息（如指挥官在任务背景下的风险承受度）相结合的情况下。

指挥官的风险承受度有助于决定如何处理已被人工智能分类过的目标。人工智能运作可接受的风险水平是由指挥官决定的。因此，如果根据指挥官的最佳判断，在条件允许的情况下，指挥官应被赋予承担更大风险的灵活性和选择权。

例如，在反叛乱任务中或在人口密集的城市环境中提供火力支援时，指挥官很可能会规避风险。但如果在开阔地形上进行高强度战斗，或在己方部队遭到敌方压制而进行最后的保护性射击时，指挥官的风险承受度可能更高。为方便掌握风险承受度，可以向指挥官提供一个类变阻器装置。指挥官可以利用该装置调节自身风险承受度，并将其直接传送给系统。多个人工智能模型还可以同时运行，这一运行方式称为“多模型并联”（Ensemble），可用于提高推导结果的可信度和发现错误。

五、控制系统内的决策逻辑

类变阻器装置将通过一个模糊逻辑控制器与系统交互，该控制器将考量指挥官的风险承受度和机器的确定性，来确定人类控制的最佳设置。模糊逻辑有助于平衡机器置信度和指挥官的风险承受度。模糊逻辑的目的是避免硬编码单值阀值，即指定某些值属于某些类别（如34为中，32为低）。更准确地说，模糊逻辑的运行理念是在低、中、高输入类别之间进行编程转换。

对输入类别之间的转换进行编程，使模糊逻辑在评判输入数据并将其量化为语言集合时，对不确定性的容忍度更高。处于中度集合与低度集合或高度集合重叠区域的输入数据可被视为隶属于多个集合，且在不同集合中都拥有一定的隶属度，如在高度集合中占80%，而在中度集合中占20%。就好比，人们可以对冰箱的恒温控制器进行编程，从而提醒人们进行干预以降低温度。

鉴于存在两个变量（风险和隶属度）和三种设置（低、中、高），逻辑上存在一个由九种推荐设置组成的规则库，供人类用于监督。该规则库将通过一系列“如果/那么”（if/then）语句编入控制器内存中，并遵循以下逻辑：“如果人工智能的分类置信度和指挥官的风险承受度都很低，那么人为干预度最高。如果人工智能的分类置信度和指挥官的风险承受度都很高，那么人为干预度最低。”假设有两个输入数据，且每个输入数据有三种类别（低、中、高），则通过机器生成的置信度和指挥官的风险承受度表示的二维规则库，一共可以推导出九条规则。

六、基于模糊逻辑控制器的风险概况和自适应协作

上述规则库在实践中意味着什么呢？若控制器作出最高程度人为干预的决定，就意味着目标锁定过程将由人类推动，即每个步骤都由人类主导。然而，人类主导并不意味着排除人工智能在这些步骤中提供协助。换句话说，人工智能可以改善每个步骤的执行，但人类必须在目标移动之前明确验证输出结果。另一个极端是最低程度的人为干预，即每个步骤（最终的验证和授权流程除外，在该流程中，火力组领导将在下达开火命令前审查目标信息并提供建议）都由人工智能自动执行。相较于最低程度的监督流程，中等程度的监督流程更加细致，差异在于后者人工智能算法的分类置信度和集成阶段的风险评估都必须达到严格设定的阀值。如果其中一项没有达到阀值，那么人必须介入检查人工智能算法输出的结果。

七、结论

开发和部署新型军事技术是军事专业人员职责的一部分。事实上，军事史就是关于技术创新和士兵学习如何使用新式系统的故事。关于整合人工智能的许多方面早已屡见不鲜。人工智能技术有助于改进各种军事武器、系统和应用，这使得它在众多技术中独树一帜。随着人工智能技术应用范围的扩大，战争将变得更加智能化。在不久的将来，作战指挥官需要了解如何与人工智能进行交互，以便对己方部队和非作战人员面临的风险作出最准确的判断。指挥官还需要了解如何确保参谋人员和操作人员有效地管理和训练数据。最后，指挥官和参谋人员将积累丰富的私营企业互动经验。因为在人工智能和数据技术及其操作方面，越来越多的私营企业将参与其中。