美国安全与新兴技术中心发布：《有效治理人工智能的原则》

2024年7月，美国安全与新兴技术中心发布文章《有效治理人工智能的原则》（Enabling Principles for AI Governance）。文章认为，如何治理人工智能是立法者和决策者应该首先考虑的问题。为了有效治理人工智能，监管者必须：（1）通过追踪事件和收集数据，了解人工智能的风险和危害领域；（2）提升自身对人工智能的理解，并增强公众对人工智能益处和风险的认识；（3）通过制定能够随着人工智能发展而更新的政策，保持适应性和灵活性。元战略编译文章主要内容，为探讨人工智能治理提供参考。

一、简介

如何管理人工智能毫无疑问是美国立法者和政策制定者最关心的问题。像ChatGPT/GPT-4o、Claude、Gemini和Microsoft Copilot这样的高性能大语言模型（LLMs）的发展，展示了人工智能可能对社会产生的变革性影响，其中既有机遇也有风险。与此同时，其他国家也正在采取自己的人工智能治理措施。公众对人工智能潜在影响的分析和推测大致上是这样的：一端是乌托邦式的，即人工智能对社会大有裨益；另一端是反乌托邦式的，即人工智能存在可能导致人类灭亡的风险，以及许多介于两者之间的微妙立场。

2023年，大语言模型引起了公众的关注，并引发了对人工智能风险的担忧，但如今，其他模型和应用（如预测模型、自然语言处理工具和自主导航系统），也可能带来无数的危害和好处。面临的挑战包括：基于不良或倾斜输入数据的歧视性模型输出、人工智能军事武器系统的风险以及人工智能自主系统的事故。

鉴于人工智能的多方面潜力，灵活的人工智能治理方法是最有可能取得成功的途径。各种人工智能系统的发展轨迹、风险和危害各不相同，因此采用“一刀切”的监管方法是不切实际的。监管机构应通过应对当今颇有挑战的繁重工作来积蓄力量。即使早期的监管工作需要定期修订，但循环往复的重复和反馈，这对于管理更先进的、风险尚未明确的未来系统至关重要。

美国总统拜登于2023年10月发布的《关于安全、可靠、可信地开发和使用人工智能的行政命令》，以及两党提出的人工智能监管框架，为美国建立人工智能综合治理方法提供了起点。这些都是美国司法部、联邦贸易委员会以及美国平等就业机会委员会等联邦机构现有声明和政策的基础。

为了让未来的人工智能治理工作取得最大成效，文章为美国政策制定者提出了三个遵循原则。文章将在二、三、四部分展开说明这三个原则。

二、了解人工智能的风险和危害程度

随着人工智能应用的发展，有必要提供支持性数据，以更好地了解各种公共和社会风险，以及潜在危害的类型和程度。美国监管机构应优先收集有关人工智能事件的信息，为政策制定提供信息，并采取必要的纠正措施，同时保留技术的益处，而非扼杀创新。理想情况下，一种有效的、多管齐下的人工智能治理方法应将事件报告、评估科学和情报收集结合起来。

（一）事件报告

通过事件报告获取有关人工智能危害的数据。人工智能系统在部署前应经过严格测试，包括每次更新，但它们在与测试条件不同的环境中可能失效，并可能以系统开发人员无法预见的方式运行。恶意行为者也可能利用人工智能造成蓄意伤害，例如利用生成式人工智能创建深度伪造图像或视频来实施欺诈。在进行风险或危害概念化时，立法者可将危害风险分为四类：（1）已证明的危害；（2）涉及已部署人工智能系统中已知风险的可能危害；（3）潜在危害，即研究可能会揭示已部署系统中的新弱点；（4）投机性危害，包括生存风险。这四个基于风险的分类为不同的危害提供了结构，监管机构可在人工智能治理中使用。

事件收集需要从人工智能系统造成伤害的事故和事件中收集数据，依赖于强制性、自愿性和公民报告的风险和伤害。公共事件报告系统不会涵盖军事或情报人工智能事件，可能会有一个单独的渠道来报告敏感的人工智能事件，在受保护的安全区域内。强制性和自愿性报告可能需要由联邦机构监督，这些机构具有明确的监管角色，与人工智能开发商保持距离，比如联邦航空管理局或证券交易委员会。公民报告可以作为政府投诉报告系统的一部分来收集，也可以由美国保险人实验室、经济合作与发展组织等非政府组织，甚至是新闻媒体收集，供公众使用。最初，事件报告可以优先考虑产生切实伤害和改变政治意愿的事件，包括死亡、重大财产损失或儿童安全。美国安全与新兴技术中心的研究已经探索了这些风险收集方法的利弊。

通过事件报告获取的信息将有助于实现几个目标。

首先，它有助于提高公众对现实世界中存在的人工智能风险和危害的认识。有了对当今最紧迫的人工智能挑战的更清晰的见解，监管机构和立法者可以更好地制定法律，解决涉及公共利益的责任问题。

其次，随着人工智能事件的模式在不同行业的发展，监管机构或可根据某些危害的普遍性来优先考虑某些人工智能治理行动。例如，监管机构可能会对某些人工智能系统提出基于风险的要求，以便在对模型进行迭代改进时进行重新测试和重新认证，类似于美国食品和药物管理局对起搏器等高风险医疗设备进行持续评估的方式。事件收集将为监管机构提供更细颗粒度的数据，以更好地识别新的或更严重的危害，并迅速制定强有力的应对措施。

再次，建立事件报告系统是一个具体的官僚步骤，可以促使政府采取更多行动来解决人工智能的危害。这需要确定在美国政府内部，负责收集强制性和自愿性报告事件的机构将如何设立或归属，以及不同报告要求的标准。此外，还需要制定行动计划和实施程序，并建立预算编制和资源分配的决策程序。建立该机构的过程将产生动力，并建立肌肉记忆，以便在解决更棘手的人工智能治理问题时继续使用。

最后，事件报告有助于美国在全球人工智能治理方面建立领导地位。建立一个强大的示范性事件监测和报告中心可以促进与其他国家的合作、交流和最佳实践分享。国际合作的孵化可以使美国更加了解并准备好应对可能在世界其他地区更为普遍的人工智能危害，有助于与其他国家建立建立普遍基础，以监测和宣传共同的人工智能风险。

（二）评估科学

投资于评估和测量方法，加强我们对尖端人工智能系统的了解。衡量人工智能系统特性的科学，特别是可适用于多种不同下游任务的基础模型的能力，目前正处于早期发展阶段。需要进行投资，以推进如何评估人工智能模型和系统的基础研究，并开发人工智能开发者和监管者可以使用的标准化方法和工具包。政策制定者能否为人工智能建立适当的治理机制，取决于他们能否了解人工智能系统能做什么、不能做什么，以及这些系统在稳健性、公平性和安全性等可信赖属性方面的表现。在美国国家标准与技术研究院内成立美国人工智能安全研究所是朝着这个方向迈出的充满希望的一步，尽管它目前可能缺乏足够的资源来完成2023年人工智能行政命令和其他政策指导所规定的任务。

（三）情报收集

建立强大的扫描能力，监测国内和国际上新出现的人工智能发展。在收集事件的同时，保持信息意识和避免技术意外（意外发现竞争对手已开发出先进能力）将使美国立法者和监管者在应对风险和潜在危害时具有适应性。

例如，一个开源的技术监测中心将对美国起到重要作用。它可以帮助美国情报界和其他联邦机构建立核心能力，跟踪商业界、学术界和政府在各个人工智能领域的进展。这不仅能让情报界充分了解情况，还能加强开源信息与机密信息来源的整合，从而改进整个情报收集和解读过程——尤其以美国以外地区为重点。对于情报界的机构来说，这种监测可能会侧重于增强军事系统的特定技术；情报界以外的机构可能会把天眼扫描的重点放在可能对美国的经济竞争力和社会福祉产生重大影响的人工智能应用上。对新兴能力进行天眼扫描有助于确保监管机构做好应对国外新挑战的准备。美国强大的天眼扫描能力可以提高决策者对人工智能各领域和应用的最新威胁的反应能力。

三、让人类做好利用人工智能的准备

人工智能归根结底是一种工具，与其他工具一样，熟悉其优势和局限性对于有效使用人工智能至关重要。如果没有受过充分教育和培训的人类用户，社会将难以安全可靠地发挥人工智能的潜力。本部分针对如何做好人力方面的准备以应对新出现的人工智能政策挑战，向监管者和政策制定者提出几点建议。

提高政策制定者的人工智能素养。政策制定者的人工智能素养是有效理解和管理人工智能风险的关键。至少，政策制定者应基本了解不同类型的人工智能模型。他们还应掌握人工智能目前在某些任务中的优势和局限性，认识到人工智能模型的输出，并认识到偏见或数据问题等因素带来的技术和社会风险。政策制定者应敏锐地意识到，人工智能系统可能不完美，容易出现意想不到的故障，有时甚至是奇怪的故障，而且通常透明度或可解释性有限。

培养公众的人工智能素养。尽早培养公众的人工智能素养并使其贯穿整个成年期，可以帮助公民理解人工智能给社会带来的机遇、风险和危害。例如，人工智能扫盲可以帮助已经开始应用智能系统的各个领域（从工业制造到医疗保健和金融）的工作人员更好地理解帮助他们完成工作的系统的局限性。知道什么时候应该依赖人工智能系统的输出，什么时候应该持怀疑态度，特别是在决策环境中，这一点非常重要。让其他领域的工作人员了解提升技能计划和认证的可能性，可以在计算机和信息科学等能力领域创造超越人工智能前沿的就业机会。人工智能扫盲将是工人和消费者参与未来经济的关键。提升人工智能素养还能帮助公众合理使用大语言模型等系统的产出，以提高生产力，并把握可能存在的剽窃或侵犯版权风险。美国可以向芬兰等试图实施自己的公共人工智能扫盲计划的国家学习，借鉴其在努力为公民提供数字技能方面的最佳做法和经验教训。

更广泛地说，提醒公众注意人工智能生成的虚假信息的风险，包括可能操纵公众舆论的文本、图像、视频和其他多媒体，可以帮助公民对来自人工内容的风险保持警惕。这可以成为抵御恶意行为者利用人工智能危害社会的第一道防线。人工智能开发者也应警惕并了解将其模型集成到不同产品中可能造成的危害风险。

四、保持适应性和敏捷性

最后，鉴于人工智能研究、开发、部署和采用的动态性质，政策制定者必须能够将新知识纳入治理工作。留出空间，随着技术的变化而迭代和更新政策，并将学习机制融入政策制定中，可以使人工智能治理更加灵活和有效。

考虑现有流程和权限在哪些方面已经可以帮助管理人工智能，如果某些实施差距得到解决的话。人工智能可能需要一些新型法规和新颖的政策解决方案，但并非所有的人工智能法规都需要从零开始。利用现有法规可为立法者带来速度和熟悉度方面的好处，还能利用联邦机构之间先前划定的权限（相比之下，现有机构和新成立的人工智能治理机构之间的权限重叠问题则需要通过诉讼解决）。政策制定者需要区分人工智能系统可能提出的新问题和相对熟悉的问题。在涉及侵犯版权或歧视等问题时，《联邦贸易委员会法》和《1964年民权法案》等现有保护措施可能已经涵盖了一些危害。其他人工智能应用则以我们熟悉的方式将企业活动、产品开发和商业化结合在一起，这些应用已受到联邦贸易委员会或美国食品药品管理局等机构的保护。

为实现有效的人工智能治理，政策制定者必须找出法律结构和授权方面存在的差距，以及可能缺乏实施基础设施的领域。在已经存在适用法律的情况下，必须考虑各机构在哪些方面需要新的资源来分析人工智能系统和应用，如相关专业知识、沙盒和其他评估工具。鉴于人工智能的应用范围广泛，而且往往会触及当前实践和程序中的矛盾点，因此可能有必要制定新的指南和实施法规，以确保现有法律的有效性。

在现有监管或法律框架的适用性不太明确的情况下，监管机构应考虑如何制定灵活且可根据新信息进行调整的框架。美国国家标准与技术研究院的人工智能风险管理框架（AI RMF 1.0）就是一个令人信服的例子，它是一份可根据新信息和新知识进行调整的政策文件。

对未来的人工智能能力保持开放的态度，这些能力可能会以新的、出乎意料的方式发展。人工智能的模式和应用多种多样，并非所有的技术进步都是相同的。政策制定者应该保持开放态度，认识到未来的人工智能进步可能不会依赖于促成近期进展的相同因素。

在规划人工智能治理方法时，立法者应考虑所涉及的成本和权衡。估算实施各种治理制度所需的人力和资源是选择可行战略的重要一步。例如，考虑监管捕获，当监管机构为公众利益而设立，却促进其负责监管的行业的商业或特殊利益时，就会发生监管捕获，这往往导致政策和决策有利于被监管实体而非公众。美国国会不仅应欢迎人工智能公司在立法者制定监管政策时提供意见，还应欢迎它们在监管执法中参与合作。产业界可以帮助识别人工智能发展的最新趋势，包括新出现的风险和危害，而且产业界拥有庞大的高技能人才队伍，政府可以利用他们的知识。然而，立法者应牢记，企业并非无利害关系方，它们对如何获得和巩固有利的市场地位有自己的看法。监管捕获在人工智能领域与其他行业存在类似的风险。

根据所涉及的工作范围，如果立法者寻求消除某些人工智能风险，他们可能更愿意投入昂贵的资源来制定一种高强度的、政府优先的方法，以避免监管捕获。如果风险最小化就足够了，那么避免监管捕获可能就不那么重要了。合理取舍将是未来的关键。

五、结论

人工智能治理决定着人类如何以反映其社会价值观的方式开发和使用人工智能。通过坚持文章中概述的原则：了解人工智能事件、密切关注技术进步、培养人工智能素养以及保持监管的灵活性，有利于美国引领负责任的人工智能发展。这种方法将有助于维护重要的社会价值观、促进创新并驾驭人工智能进步的动态格局。这些有利原则为制定灵活、有充分依据的政策提供了路线图，这些政策可以跟上技术进步的步伐，确保人工智能造福整个社会。下一步，领导人、政策制定者和监管者应精心制定治理监督措施，让创新在监督和问责的氛围中取得进展。

免责声明：本文转自元战略。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

转自丨元战略

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

电话：010-82635522

微信：iite_er