兰德公司发布：《4大技术的治理经验可为人工智能治理提供重要借鉴》

2024年8月，美国兰德公司发布了《4大技术的治理经验可为人工智能治理提供重要借鉴》报告，报告通过分析核技术、互联网、加密产品和基因工程这4项技术的治理经验，评估它们与人工智能治理的相似性和差异性，并找出这些技术的治理经验可能对人工智能治理带来的启示。元战略编译报告主要内容，以期为读者探讨人工智能的治理路径提供参考。

一、前言

人工智能的能力日益增强，引发了如何最大限度地发挥其优势，同时最大限度地降低其可能带来的风险的问题。 早期的治理模式在多大程度上适用于人工智能，将取决于人工智能的未来发展。如果人工智能具有造成广泛伤害的严重风险，需要大量资源来获取和使用，并且拥有可以监控的有形资产，那么这种人工智能可能适合广泛的国际治理结构，类似于为核技术建立的治理结构。风险极小的人工智能可能适合采用与为互联网创建的一样的治理模式。可获取但可能带来巨大风险的人工智能可能适合采用与基因工程类似的治理模式，但利益相关者应谨慎采用与加密产品类似的治理模式。 因此，政策制定者应关注人工智能的发展，在追求共同的治理规范并关注技术和环境变化的同时，运用他们所能吸取的其他技术的治理经验和教训。

二、4大技术的治理经验与人工智能

治理的相关性

核技术具有极高的安全风险，还具有独特的高资源要求，并且需要可以控制的有形资产。 互联网的安全风险可能是4种技术中最低的。加密产品独树一帜，因为它内在地融合了安全风险与经济风险的相互博弈。例如，在力求将安全风险降至最低的过程中，可能会不经意间加剧经济风险。尽管 加密产品依赖于有形资产（如计算硬件），但其实质上是“软性”资产的集合，包括技术知识、算法及软件等，这些元素难以被直接掌控与管理。 基因工程存在高度安全风险，但关于如何应对这些风险的共识却在瓦解。

（一）核技术

核技术与人工智能有三方面的相似之处：

1. 人工智能和核技术都是双重用途技术。这两种技术既有和平时期的用途，也有军事用途。

2. 两种技术都有极高的技术和专业知识门槛。

3. 一些人认为这两种技术都会给人类带来全球性的灾难性风险，甚至是生存风险。

以下是两者的一些区别：

1. 核技术的治理集中在军事应用上。虽然人工智能的军事应用早已成为话题的一部分，但迄今为止，人工智能在和平时期的商业用途主导了话题并推动了该技术的发展。

2. 核武器的最终产品是有形资产或可追踪事件，包括裂变材料、核试验和运载系统。人工智能开发的最终产品是数字资产，包括模型权重、代码和用户界面。

尽管核技术开始接受多边管理，但决定权依然在国家手中。治理是由共识驱动的，特别是安全利益应成为决策的驱动力，即使在努力传播和平时期的应用技术时也是如此。 尽管个别国家的政策受到政治和国内规范的影响，但私人参与治理的机会很少。

在核技术管理的讨论中，灾难性风险比人工智能方面的类似讨论更为具体。人们描述了一些现实的、定义明确的场景，在这些场景中，交战国可能会使用成百上千件核武器，从而导致相互毁灭，并引发全球核冬天，威胁整个人类文明。 目前，描述人工智能可能带来灾难性风险的情景缺乏与核武器情景相同的细节、严谨性和对决策的明确适用性。核技术与人工智能所带来的风险不同，公众对这两种风险的看法也不可能相似。

防扩散工作的最终重点是管理有形资产，而非科学知识和技术专长等无形资产。防止核武器专业技术扩散到其他国家的努力是必要的，但并不完美。当核机密保护失败时，这种失败是不可逆转的。 此外，即使不涉及盗窃和间谍活动，核技术专门的研发工作也能取得相同的结果。尽管美国不遗余力地防止核武器受限数据的传播，但防扩散工作的重点还是放在可以监测和控制的实物上，即前文提到过的裂变材料、核试验和运载系统。 如果在人工智能治理方面找不到类似的有形资产，那么核技术治理模式对人工智能的适用性将受到限制。

（二）互联网

互联网与人工智能有两方面的相似之处：

1. 这两种技术都可以被描述为信息和通信技术。虽然这两种技术都可能受到监管和控制的实物资产的影响，但两者的最终产品都是无形资产。

2. 两种技术主要是为非军事用途开发的，其管理（尚未）由公共实体主导。

互联网与人工智能之间有一个关键的区别：在互联网诞生之初，人类安全和国家安全并没有明显的风险。互联网的早期开发者几乎从一开始就关注广泛的隐私和信息安全问题，而互联网最初的目的是实现强健、有保障的通信。然而，直到很久以后，人们才开始关注安全和安保问题，例如网络物理系统与关键基础设施之间的互动问题。互联网的使用给人类安全和美国国家安全带来的风险在互联网诞生之初基本上是不可预见的，而人工智能从一开始就伴随着对人类安全和国家安全风险的概念化。

一些人建议，人工智能治理应采用与互联网治理相同的规范，甚至可能是相同的策略。虽然70多位学者签署的《关于人工智能安全性和开放性的联合声明》（Joint Statement on AI Safety and Openness）没有具体提及互联网，但它声称“为了减轻人工智能系统当前和未来的危害，我们需要拥抱开放、透明和广泛的访问”。联合声明认为，开放和透明是实现安全、保障和问责目标的最佳途径。 然而，那些建议采用这种治理方式的人可能需要澄清，这种治理方式如何能够解决人工智能治理所涉及的重大风险问题。如果没有这样的考虑，可能无法就人工智能发展的某些领域达成共识，形成互联网治理的规范也可能不适合不认同这些规范的竞争对手发展人工智能。 事实上，国家间竞争（如人工智能“竞赛”）可能是人工智能发展风险的最大驱动力。人工智能互联网治理模式的支持者需要明确如何应对这种风险。

（三）加密产品

加密产品与人工智能有两方面的相似之处：

1. 这两种技术的最终产品都是非实物资产，尽管这两种技术都在很大程度上以计算硬件为媒介。

2. 这两种技术都具有商业和军事双重用途，美国政府对这两种技术都有合理的国家安全关切。

这两种技术还有以下显著区别：

1. 加密产品的开发始于公共部门的国家安全用途，后来才逐渐显现出商业用途。

2. 加密产品传播的国家安全风险在规模上可能小于人工智能的风险。

鉴于以上这些异同，加密产品的治理可以说明两个适用于人工智能治理的主题。首先，就一项技术治理的规范达成共识对于治理的成功至关重要。加密技术治理最初的成功，可以切实归功于在不同利益相关者之间就规范达成共识的努力。但随着时间的推移，这种共识并没有得到维持，其失败也导致了治理的失败。 其次，政府发现很难治理与加密产品相关的非实物资产。出口管制最终未能有效阻止有关加密算法及其使用软件的知识传播。

加密产品的治理经验为人工智能治理提供了警示。决策者应该警惕任何严重依赖于控制软件或模型权重等非物理资产分配的治理机制。更重要的是，决策者还应警惕那些会造成国家安全与经济安全相互对立的政策困境的治理策略。相反，正如密码学治理的例子所示，美国的经济实力和竞争力应被视为国家安全的一部分。 因此，人工智能治理战略必须设法避免安全与经济利益之间的冲突，并与私营部门利益相关者就规范达成共识。

（四）基因工程

基因工程与人工智能有三方面的相似之处：

1. 对于这两项技术，私营部门都是开发的主导力量，但都需要国家和国际机构帮助制定指导原则。

2. 研究人员和技术开发人员往往自己指出这些技术的风险，包括与安全、伦理和国际竞争有关的风险。

3. 人类种系编辑和人工智能的商业环境有几个共同特点，包括大量的研发资金、对巨大利益的预期以及国际社会对研究的参与和兴趣。

基因工程和人工智能有以下显著区别：

1. 与人工智能不同，DNA重组技术和人类种系编辑不是双重用途技术。

2. 基因工程几乎总是涉及物理实体的管理，如细胞培养物或人体受试者。涉及这些物理实体的工作（特别是对人类子对象的临床试验）都有严格的法律法规，对工作进行有效的指导、监督和控制。

3. 基因工程研究人员对该技术可能带来的重大风险达成了广泛共识，即使在如何应对这些风险方面研究人员仍存在分歧。在人工智能领域，目前还没有类似的共识。

基因工程治理的经验表明，在对必须应对的风险缺乏共识的情况下，暂停人工智能的开发和研究不太可能成功。事实上，已经有人提出过这样的暂停令，但很快就被人们忽视了。如果出现严重风险，并且就应对风险达成共识(例如,如果发生了一起事件，使公众清楚地意识到人工智能带来的灾难性风险)，结果可能会有所不同。 然而，即使如此，这种暂停是否有用、能否成功，可能取决于是否存在值得信赖的组织，这些组织能够就共同规范在利益相关者之间达成共识,并将这些规范转化为应对风险的准则和政策。

三、将4大技术的治理经验应用于

人工智能治理

人工智能的哪些因素可能会影响其未来的治理需求？ 本文考虑了以下三种情境：

情境1：人工智能对人类构成广泛伤害的严重风险，需要获取和使用大量资源，并涉及可监测和控制的有形资产。

如果人工智能技术的获取和使用需要大量资源，具有双重用途，构成广泛的危害风险，并涉及可监测或控制的有形资产，那么核技术治理的要素可能对人工智能治理有用。在这种情况下，人工智能的双重用途性质非常重要，即政府对影响军事优势和人类安全的技术应用非常感兴趣，特别是与商业应用的经济利益相比。就避免某些安全风险的必要性达成共识，可能是促使所有利益相关者，甚至是竞争对手制定共同治理机制的最重要动机。 然而,目前尚不清楚人们是否一致认为人工智能的风险已经达到了非常高的水平。研究人工智能风险的专家们已经考虑到了人工智能失控或人工智能与现有技术（如核技术或合成生物学）的结合所带来的灾难性或生存性风险的可能性。 如果要将这些风险作为就人工智能治理规范达成共识的重点，可能需要进一步澄清这些风险。

人工智能的投机性或模糊性风险不太可能像核技术那样在治理方面形成强有力的共识。前沿人工智能模型在治理方面可能与核技术有更多相似之处，包括双重军事和非军事应用。 如果是这样，而且各方都同意有必要降低某些风险，那么成立类似于国际原子能机构的组织可能会促进负责任地开发人工智能并分享其带来的好处。这样的倡议应旨在向其他国家保证，它们可以从该技术中获得广泛的利益，而无需建立可能会增加全球风险的自己的人工智能研发基础设施。

情境2：人工智能发展带来的风险极小。

如果人工智能的发展对政府利益和人类安全造成的风险极小，那么互联网治理可能是人工智能治理的一个有益类比。在这种情况下，人工智能的使用可能仍然存在利弊权衡，但它们并不涉及人类安全或国家安全，而且人工智能的双重用途特性在治理方面的意义也较小。 在这些情况下，政府可能会寻找机会，资助或促进具有广泛潜在利益但缺乏商业支持的人工智能方法，例如，通过资助高风险、高回报的努力，或在商业投资下滑期间维持研发）。在某些情况下，政府可能需要保护公众利益，例如探讨与用户隐私或决策中的系统性偏见有关的问题。 理想的情况是，政府将管理权下放给私营部门，特别是下放给围绕共同的发展规范和基于共识的标准建立起来的社区和组织。这种授权取决于私营部门能否像互联网治理中的类似机构一样,形成能够通过协商一致进行治理的广泛社区。

情境3：人工智能在发展过程中几乎没有竞争障碍，但对政府和人类福祉构成重大风险。

在这种情况下，加密产品的治理经验提供了警示。政府可能会找到一些有形资产作为控制点，就像他们对互联网的一些有形资产所做的那样。 然而，如果危险的人工智能模型最终可以利用通用而非专用计算硬件轻松创建，那么对相关有形资产的有效控制可能无法实现。在这种情况下，激进的控制措施可能会适得其反，导致国家安全与经济安全之间冲突。在这种情况下，基因工程的治理模式可能更有用。 治理的重点可能是建立或加强公私合作伙伴关系，以便对某些类型的人工智能开发或使用进行调解治理。美国国家标准与技术研究院、美国国家科学基金会和国家科学院等组织得到了私营部门和学术界的充分信任，它们很可能建立负责任的人工智能发展规范和准则并使之成为正规化的实用工具。支持人工智能治理的国际组织也可以效仿世界卫生组织。然而， 这种模式的风险在于就某些人工智能活动达成共识可能仍然难以实现，特别是在涉及伦理或哲学问题以及安全问题的时候。

免责声明：本文转自元战略。 文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

转自丨元战略

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

微信：iite_er