美国安全与新兴技术中心发布：《确保人工智能时代关键基础设施的安全》

2024年10月美国安全与新兴技术中心（CSET）发布《确保人工智能时代关键基础设施的安全》报告，报告认为在关键基础设施（CI）中整合人工智能系统，既存在益处又存在风险，风险可能通过两种方式产生：一是人工智能漏洞或故障，二是恶意使用人工智能系统攻击关键基础设施部门。报告为管理关键基础设施中人工智能的使用风险提供了技术缓解措施和政策建议。元战略编译报告主要内容，以期为读者提供参考。

一、与人工智能相关的风险、机遇和障碍

人工智能在关键基础设施中的当前和潜在用例广泛，许多人表示有兴趣在各自部门采用人工智能技术。然而，大家也担心采用人工智能会带来广泛而未知的风险，包括来自外部恶意行为者的风险，以及内部部署人工智能系统的风险。工商部门在采用人工智能时还面临着各种障碍。 本部分将讨论以下三个主题：风险、机遇和采用障碍。

（一）风险

人工智能风险有两方面，既包括恶意使用人工智能系统，也包括人工智能系统的漏洞或故障。本小节将讨论这两类风险， 首先讨论对恶意使用风险的担忧。这些担忧包括人工智能如何帮助恶意行为者发现新的攻击载体、对复杂的关键基础设施网络进行侦察，以及如何使网络攻击更难被发现或防御。人工智能驱动的工具降低了恶意行为者的准入门槛，为他们提供了一种新的（而且可能是低成本的）方式来综合大量信息，以进行网络和实体安全攻击。在这种情况下，对人工智能的大多数担忧集中在其或可促成目前可能无法实现的攻击，或增加未来攻击的严重性。

目前，在某些情况下，生成式人工智能能力正在增加对关键基础设施提供商的威胁。这些威胁包括通过大语言模型实现的增强型鱼叉式网络钓鱼。此外，随着人工智能开发人员努力提高生成模型的能力，使模型能够使用外部软件工具并与其他数字系统交互，能够将一般人类指令转化为可执行子任务的数字“代理”可能很快就会被用于网络攻击。

其他风险类别与采用人工智能有关，如数据泄漏的可能性、更大的网络安全攻击面和更高的系统复杂性。数据泄漏是一个重大问题，既涉及关键基础设施操作员的数据被外部存储（如由人工智能供应商存储）的可能性，也涉及员工使用人工智能（如通过提示外部大语言模型）导致敏感信息意外泄漏的可能性。

最后，人工智能系统的复杂性给测试和评估带来了挑战，特别是考虑到有些系统无法完全解释（即无法追溯导致输入和输出之间关系的过程）。由于在人工智能与关键基础设施的交汇点上普遍缺乏专业知识，这加剧了与复杂性相关的风险，无论是在关键基础设施社区内部还是人工智能提供商方面都是如此。

（二）机遇

尽管与会者承认使用人工智能存在风险，但他们普遍认为，在关键基础设施中使用人工智能技术有很多好处。人工智能技术已在多个部门用于异常检测、操作感知和预测分析等任务。这些都是相对成熟的用例，依赖于较早的、成熟的人工智能和机器学习形式（如分类系统），而不是较新的生成式人工智能工具。人工智能在关键基础设施领域的其他应用机会包括问题分流或优先级排序（如第一响应人员）、促进网络安全或欺诈背景下的信息共享、预测、威胁猎取、安全运营中心（SOC）运营以及OT系统的预测性维护。

（三）应用障碍

然而，即使在考虑了风险与机遇的权衡之后，关键基础设施运营商面临着各种障碍，这些障碍可能会阻止人们采用人工智能系统，即使该系统可能完全有益。

对人工智能相关风险的犹豫不决导致了一些应用障碍，如数据隐私和潜在的网络安全攻击面扩大。一些运营商对在OT或面向客户的应用中应用人工智能尤其犹豫不决。人工智能系统的可信度（或缺乏可信度）也是犹豫不决的原因之一。

其他障碍是由于关键基础设施运营商所面临的独特限制造成的。例如，有些系统必须持续可用，这是关键基础设施面临的独特挑战。能源、水和通信等具有重要依赖性的部门的运营商，其系统离线时间有限。

第三类障碍涉及合规性、责任和监管要求。关键基础设施运营商担心在人工智能模型中使用用户数据所带来的风险，以及需要遵守不同州或不同国家的零散监管要求。例如，IT或通信等行业的跨国公司受制于多个司法管辖区的法律，需要遵守欧盟《通用数据保护条例》（GDPR）等法规，而这些法规可能不适用于更多本地关键基础设施运营商。

最后，几乎所有行业的一个重要准入障碍是需要具备人工智能相关技能的工人。通过雇佣新员工或提高现有员工的技能来缓解劳动力短缺问题，是真正应用人工智能的先决条件。

二、人工智能时代与关键基础设施相关

的四个议题

（一）部门之间和部门内部的差距

在美国，关键基础设施涵盖许多不同的组织和任务，从全国性银行到地区性电力公司，再到可能只为数千居民提供服务的地方供水公司，不一而足。关键基础设施提供商之间存在巨大的资源差距，这种差距大致按照大型组织和小型提供商来划分。这种差距可能存在于部门之间，如资源相对较好的金融服务部门与资源较差的水务部门之间，也可能存在于部门内部，如大银行与地区性贷款机构之间。

提供商之间的这些资源差异会从以下几个方面影响网络安全和人工智能在工商业中的应用前景。如财政资源、人才、数据、论坛和声音。

（二）人工智能与网络安全界限不清

区分与人工智能和网络安全有关的问题以及两者之间的重叠是各部门共同面临的挑战。一般而言，这一挑战反映了人工智能安全与人工智能安保之间的潜在模糊性--这两门学术学科是分开发展的，但都是进行健全的人工智能风险管理所必需的。这种模糊性出现在三种情况下：风险、事件和劳动力。

（三）人工智能风险管理面临的挑战

随着人工智能应用在信息和通信技术中越来越普遍，各部门和组织必须管理随之而来的风险。许多组织需要将人工智能风险管理纳入现有流程。然而，与此同时，在当前的企业结构中，人工智能风险的所有权可能是模糊的。人们将其称为人工智能“烫手山芋”，在C-suite（企业的高层管理团队）中被不断抛来抛去。

如今，人工智能风险管理并不完全归属于任何单一的企业领导职位，如首席信息安全官、首席技术官、首席信息官或首席数据官。人工智能的各个方面及其相关风险往往跨越这些不同角色的职责。虽然将人工智能风险管理纳入企业整体战略的必要性是显而易见的，但由谁在企业内部负责人工智能风险却不是那么简单。

虽然关键基础设施行业内外的组织都在努力解决如何管理人工智能带来的风险问题，但这些挑战在关键基础设施行业可能尤为严峻。许多关键基础设施提供商都有一种“合规文化”，这是因为他们面临着高度监管，而且他们管理的是基本服务，如提供清洁水或维持照明。因此，监管要求和由此产生的组织政策往往是以二元对立的方式编写的--组织要么满足特定要求，要么不满足。然而，同样的方法并不适用于人工智能。人工智能模型的输出本质上是概率性的：系统会或不会产生某种结果，概率为n。这与以合规为导向的制度下的政策和要求相悖，后者规定系统会（100%的可能性）或不会（0%的可能性）完全确定地做某事。因此，人工智能风险管理需要一种“风险意识文化”，在这种文化中，重点是降低伤害的可能性，而不是满足清单上的要求。风险管理文化上的这些差异可能会影响许多关键基础设施部门安全可靠地采用人工智能。

（四）缺乏统一性的指导和监管

对数据保护和网络安全监管环境不完善的担忧，以及对人工智能类似管理制度的潜在担忧，是关键基础设施提供商采用人工智能系统的另一大障碍。由于在隐私或网络安全方面缺乏总体性的联邦法规，各州制定了各种关键基础设施提供商必须遵守的拼凑要求。此外，一些关键基础设施提供商的业务遍及全球，也受到国际法规的影响，特别是欧盟的GDPR和最近的《人工智能法案》。这些不同法规之间缺乏统一性，给寻求实施人工智能系统的组织带来了合规风险，尤其是那些可能面向客户或对消费者数据进行培训的系统。

三、建议

以下建议旨在为管理人工智能在关键基础设施中的未来使用提供一系列政策选择。 这些建议按不同治理层面的利益相关者分为以下4个方面：

（一）以下建议适用于关键基础设施和人工智能生态系统中的所有利益相关者：

1. 参与信息共享。共享最佳实践、威胁信息和事故对于维护关键基础设施中使用的人工智能系统的安全和安保至关重要。虽然共享人工智能安全信息和人工智能安保信息的具体渠道尚不明确，但这两个领域的信息共享都是至关重要的。

2. 培养人才队伍。雇用和培养人工智能人才是在关键基础设施系统中有效采用人工智能的重要前提。

（二）对相关政府行为者的建议包括：

1. 统一与计算机信息相关的法规。

2. 与部门合作伙伴合作，为每个部门量身定制并实施指导。

3. 支持测试和评估人工智能系统的相关基础设施。

4. 扩大生态系统监测工作。

（三）对传播和信息部门的建议包括：

1.制定最佳做法。在特定部门内围绕人工智能的实施和使用建立和共享最佳实践，对于人工智能安全和安保指南的可操作性至关重要。传播和信息部门应促进制定和协调这些量身定制的最佳做法，确保大小提供商都能为这一进程提供投入。

2.扩大和支持互助。为帮助解决部门之间和部门内部的差距，研讨会与会者建议扩大非正式和正式的互助手段。这些举措有助于各组织共享资源、人才和知识，努力提高整个部门的安全性和复原力。

（四）对关键基础设施提供商和人工智能开发者的建议包括：

1.关键基础设施运营商

首先应将人工智能风险管理纳入企业风险管理。要正确应对人工智能风险，就必须将其完全纳入现有的企业风险管理实践中。 其次指定明确的人工智能风险管理所有权。虽然对企业结构中谁应拥有人工智能风险的观点不一，但将人工智能风险纳入企业风险管理显然取决于对所有权的明确定义。由于与人工智能风险相关的问题跨越了标准企业领导职位的许多职责，一种选择是设立一个新的首席人工智能官职位。如果企业不愿意设立新的职位，可能需要考虑利用现有的内部论坛或创建一个新的论坛，将相关的组织领导者聚集在一起，共同评估人工智能风险。不过，对于许多规模较小的提供商或希望在非常狭窄的范围内部署人工智能的组织而言，将人工智能风险的所有权分配给现有的官员或特定的董事会成员（对于本地提供商而言）可能更为可取。 最后，在采用较新的人工智能技术之前，尤其是在敏感或关键任务方面，应保持谨慎并了解相关信息。从积极的方面来看，旧的机器学习技术在网络安全方面非常有益，尤其是异常和威胁检测。不过，对于生成式人工智能等较新的人工智能技术，各部门在应用时建议采取谨慎和有分寸的方法。

2.人工智能开发人员

人工智能开发人员几乎每天都在开发新的人工智能生成功能。这些产品有可能帮助CI提供商操作其系统和特定行业的用例。然而，许多CI运营商并不具备人工智能专业知识，无法做出明智的风险管理决策。为协助CI运营商，人工智能开发人员应参与透明度最佳实践。通过开发人工智能可解释性和可说明性的方法来提高信任度。