AIGC专题：生成式AI的崛起：评估AI安全性与风险（附下载）
今天分享的是AIGC系列深度研究报告：《AIGC专题：生成式AI的崛起：评估AI安全性与风险》。
报告共计：87页
海量/完整电子版/报告下载方式：公众号《人工智能学派》
执行摘要
这份CETaS研究报告探讨了生成性人工智能对国家安全的影响。调查结果和建议是基于对政府、学术界、工业界和民间社会的50多位专家的公开文献和研究访谈。据我们所知，这是最全面的公开可用的基于英国的国家安全影响的生成铝的研究。
Generative Al是AI的一种形式，可以根据用户的建议生成图像、音频和文本等内容。大量可能的生成性所有的用例都被一些人看作是一个革命性的个人互动和企业运营方式的机会。然而，从国家安全的角度来看，生成性人工智能增强人类生产力的形式代表了一个重大的挑战，并代表了技术不断延伸国家安全边界的方式。
由生成性人工智能带来的安全风险可以被理解为，要么增加现有的社会风险，要么构成全新的风险。在大多数情况下，生殖性人工智能会导致前者：虚假信息、欺诈和儿童性虐待材料等安全风险并不是生殖性人工智能的新创造而是在速度和规模上被技术放大，因此可能会伤害比以前更大比例的人口。以这种方式理解国家安全图景，应该能够抑制对所构成的威胁的“前所未有”性质的毫无根据的歇斯底里，同时能够更有针对性地关注可能产生新威胁的威胁领域。艾尔催化风险。
生成型铝还提供了在国家安全社区内使用的潜在机会。目前，生成式人工智能工具太不可靠，容易出错，在国家安全的最高风险环境中不值得信任。这意味着，在需要它们作出决定或需要可解释性以满足问责和监督要求的情况下，它们还不能随时使用。对于那些可能想要使用生成式人工智能来破坏英国国家安全的人来说，不准确性不是那么重要——如果大型语言模型(LLM)在生成deepfakes或编写恶意软件方面表现不佳，攻击者的失败成本仍然很低。但从防御的角度来看，类似的错误可能会导致重大的安全漏洞。用户过度信任LLM的倾向可能导致不愿挑战AI产生的输出。
国家安全和技术话语历来侧重于了解来自对手的威胁；团体或个人谁造成伤害。然而，先进技术扩散到更广泛的范围，这就要求人们转变思维方式，考虑到所有无意的或偶然的方式，产生的人工智能可能对国家安全构成威胁。这可以从“不适当的铝”的可能实例的范围中看出。
智能和安全上下文，因为它们能够利用其他数据源进行额外的验证。从理论上讲，代理团队可以用来快速处理大量的开源数据，提供初步的风险评估，并生成假设供人类分析师进一步探索。然而，直到潜在的LLMS可以提供可靠的(一致的，正确的，安全的)和准确的反应，代理将在提供不可预测的或不一致的结果的风险。在解决这些挑战的关键缓解是问责制，透明度和人工监督代理采取的行动和系统执行的推理。
为了应对上述复杂的情况，政府必须制定政策干预措施，这些政策干预措施有三个主要目标:提高对生殖性铝系统的可见度和理解；推广最佳做法;建立激励机制和加强监管。在政府和相关第三方行为者中建立信号和报告机制，以及在高风险情况下(如关键国家基础设施内的决策)划定红线，是实现这些目标的重要方面。
这份报告的写作与2023年11月英国的AI安全峰会同时进行，并同时宣布成立一个新的政府资助的AI安全研究所，对最先进的AI模型进行安全测试。未来几个月对于确定新的航空安全研究所(AlSafetyInstitute)的角色和范围，以及英国更广泛地管理新出现的航空安全风险的方法至关重要。
在国际层面，英国可以采取两项关键行动来缩小治理模式之间的现有差距促进共享评估工具和明确目标;促进国际监管专业知识和能力。在这方面，宣布成立新的AlSafetyInstitute是积极的一步，但英国必须在计算、数据和员工这三个核心领域实现飞跃，才能在这方面发挥有意义的领导作用。对值得信赖的LLM的研究本质上需要不同学科的专家，包括语言学、计算机科学、认知心理学、网络安全和政策。
最后，实现这些全球治理目标需要最低限度的外交参与，以确保快速采用铝不会取代铝安全研究。希望在铝安全方面发挥领导作用的国家必须避免让人“落后于对手，通过高风险的应用程们对安全的担忧破坏这一积极的工作。序进行竞争。
铝系统评价
在AI安全峰会的积极势头的基础上，新的AI安全研究所应立即采取措施，开发世界领先的AI评估生态系统:
优先采用多层次的社会技术方法进行系统评估，以便除了治理和应用程序外，还能仔细检查新的系统特性。
为生成式AI模型和系统卡创建一个集中的注册表，允许跨部门的决策者审查系统细节，并对他们的风险偏好和对设想用例的适用性做出明智的判断。
情报分析
如果生成人工智能是由英国国家安全社区部署在操作中，这些组织必须确保用户界面的设计，包括明确的警告输出的准确性和可靠性，从而最大限度地减少与过度信任或过度依赖的风险。
此外，应详细考虑在国家安全背景下使用LLM可能会如何影响保修和法律合规性。LLM的规模和不透明性意味着从它们中清除信息可能比现有的数据库更具挑战性——针对开发技术(如机器反学习)的研究资源可能有助于解决这一挑战。
白治代理
委托执行自主行动的基于LLM增强代理的系统应遵守一定的要求。英国国家安全社区必须确保在内部满足这些要求，并应通过行业合作伙伴和值得信赖的开源社区网络，鼓励在这些部门同样的要求：
遵从开放式全球应用系统安全计划(OWASP)等架构的设计考虑，以管理“过度自治”的风险。这些用例必须包括;“人在回路”的功能。
记录代理商采取的行动和做出的决定。代理架构不能掩盖或破坏任何潜在的方面的可解释性源自LLM。
记录基于代理的系统在最坏的情况下可以做什么。
在调试、开发和部署的每个阶段，显示与使用LLM生成的输出有关的警告和注意事项。
报告共计：87页
海量/完整电子版/报告下载方式：公众号《人工智能学派》