随着人工智能（AI）技术的蓬勃发展，特别是生成式人工智能（AIGC）的兴起，我们正站在一个由数据驱动创新的新时代门槛上。AIGC通过先进的算法，赋予机器创造内容的能力，这不仅为各行各业带来了革命性的变化，也引发了对其面临的安全合规挑战的新思考。在此背景下，安永推出了“可信AI治理”系列文章，旨在帮助企业破局人工智能的风险治理工作难点，寻找到切实可行的可信AI治理之路。

在系列的第一篇“生成式人工智能服务合规与治理”中，安永概述了AI治理的全球趋势和AI合规与治理工作的重点关注领域。本文作为系列的第二篇，将深入探讨AIGC带来的网络安全风险，并提出相应的治理策略。

AIGC安全合规三大关注重点

AIGC服务提供者在大语言模型开发到应用阶段需要相应地遵守三方面合规义务：（1）语料安全；（2）模型安全；（3）大模型备案。2024年3月发布的《生成式人工智能服务安全基本要求》（以下称《AIGC安全要求》）就AIGC开发应用的合规义务问题为AIGC服务提供者和相关主管部门的监管提供了细化参考标准。

1、语料安全

AIGC服务提供者通过购买数据库、互联网爬取等一系列方式获得海量语料。根据《AIGC安全要求》，AIGC服务提供者在使用开源语料时应确保语料来源的合法性，遵守个人信息保护的要求，对标注人员进行安全培训，包括标注任务规则、工具使用、内容质量等。

2、模型安全

AIGC系统自身存在一定的脆弱性，因此模型的内生安全成为了模型合规的首要考量因素；此外，还需要考虑模型生成内容的安全性、准确性和可靠性。AIGC服务提供者应建立常态化检测测评手段，持续跟踪潜在安全漏洞，关注针对模型漏洞的攻击，确保基础模型的安全合规。

3、大模型备案

《AIGC安全要求》服务于AIGC（大语言模型）上线备案（以下简称“大模型备案”）流程，明确了AIGC服务提供者在按照有关要求履行备案手续时应开展安全评估的具体要求。具备“舆论及社会动员属性”产品的企业，应在产品上线前最后阶段完成内测；有可对外的产品或demo时，应提交备案申请表，向网信办申明该产品符合相关的安全性要求。

AIGC给企业带来的风险

AIGC在为企业带来机遇的同时，也伴随着一系列安全风险。这些风险不仅源于技术本身的复杂性和不确定性，也与日益严格的法律法规和监管要求密切相关。

1、内生安全风险

（1）开发漏洞攻击

开发漏洞攻击会引发包括训练数据中毒、不完善的沙盒隔离、拒绝服务、供应链漏洞、模型盗窃等安全风险。

（2）交互设计缺陷

AIGC的应用过程中需要与用户进行交互，攻击者可以利用这一原生漏洞，进而篡改训练数据或盗取敏感数据等。

2、管理安全风险

（1）第三方安全能力不足

企业一旦缺少对第三方AI提供者、AI生产者、AI合作方等的管理，或第三方自身安全能力不足，发生数据泄露和滥用的可能性将急剧上升，损害企业声誉和法律地位。

（2）内部员工滥用

内部员工滥用AIGC工具会导致企业成本上升、资源浪费；也可能因误操作导致泄露数据、错误更改模型等；此外，过度依赖AI还可能使员工忽视实际情况，做出错误决策。

3、数据安全风险

（1）训练数据非法获取

AIGC前期训练自然语言模型需巨量数据，如ChatGPT就使用了大量公开网络文本。但以数据爬虫技术为基础的主动数据库构建方式具有极高的合规风险。

（2）训练数据泄露

在实际使用过程中，AI使用者可能套取到训练数据，这给企业个人隐私保护及机密数据保护等方面带来了严峻挑战。

（3）AI使用者泄漏数据

AI使用者可能将自己或企业的信息输入给AIGC，从而使这些信息存在被暴露的风险。

4、内容安全风险

（1）训练数据偏见

AI生产者可能通过操控训练数据来植入自身偏好，导致生成的文本呈现特定价值观。这有可能对AI客户的思维和行为产生潜移默化的影响，使其偏好向有利于开发者的方向发展。

（2）生成内容失准

AIGC给出的不准确内容可能误导AI客户或涉及侵犯权益、散布虚假信息等法律风险。企业内部依赖不准确内容进行业务决策也可能导致战略失误和业务损失。

（3）内容恶意利用

心怀不轨者可能利用AIGC生成虚拟内容从事非法活动，如创建暗网市场、发送钓鱼邮件或编写恶意软件。同时，利用AIGC进行犯罪的可能性也在增加，如制作虚假机器人进行诈骗。

AI安全风险应对思路

为了跟上科技和社会的快速发展，AIGC的应用和部署对企业来说势在必行。在此过程中，企业必须充分了解潜在风险，并有针对性地从技术、流程、人员等角度做出预防与应对。

1、技术安全域

（1）AI系统安全保护

► 确保AI系统设计合理、可靠、安全，易于维护

► 开展算法审核，验证算法的公正性和无偏见性

► 开展模型部署前测试，验证系统的鲁棒性、可解释性和可追溯性

（2）AI数据安全保护

► 确保AI系统使用的数据准确、完整、安全、合法

► 对训练数据进行清洗和预处理，并加强输出验证和拦截

► 实施去标识化处理，保护个人信息安全

2、流程安全域

（1）完善AI安全管理体系

► 制定AI安全管理政策，并确保其与企业战略和法规要求相一致

► 实现数据集管理、算法审核管理、训练过程管理、模型部署管理、模型变更和退役管理等AI全生命周期管理

► 明确AI监管框架，设计AI检查清单，遵从监管要求，开展必要的算法备案

（2）实现AI服务责任共担运营

► 明确AI提供者、生产者、客户及合作方等角色的责任

► 加强第三方准入管理，要求第三方AI提供者提供清晰的服务协议

► 确保AI使用者了解服务内容、责任界定及潜在风险

（3）定期开展AI风险评估

► 对目前企业采用的或者拟采用的AI进行分类分级

► 基于AI角色和企业内外部环境，进行AI风险的识别、分析与评价

► 关注安全威胁和技术趋势，及时调整安全策略和措施

3、人员安全域

（1）加强AI使用人员培训

► 宣贯AI产品使用注意事项

► 提供全员AI安全意识培训

（2）审计AI使用记录

► 验证员工使用AI时的输入内容

► 监控员工AI使用行为并定期审计

结语

本文从AIGC安全合规的关注重点出发，分析了目前AIGC为企业带来的网络安全风险，并讨论了企业应对思路。除网络安全风险外，AI还面临着其他复杂的风险。在下一篇文章中，我们将为您介绍安永和DNV联合推出的“可信AI治理等级标识”服务，该服务旨在为企业铺设了一条真正能够落地实现的可信人工智能（AI）建设之路，敬请期待本系列文章第三篇“可信AI治理之（三）人工智能治理等级标识”。

本文是为提供一般信息的用途所撰写，并非旨在成为可依赖的会计、税务、法律或其他专业意见。请向您的顾问获取具体意见。