当前，AI绘画、AI语音合成、ChatGPT等人工智能生成内容（以下简称“AIGC”） 因极高的拟真度快速获得了市场的青睐。不过在为生产带来便利的同时，AIGC也正沦为不法分子侵害网络安全和民众权益的工具。

在9月11日举行的2023年国家网络安全宣传周上海地区高峰论坛活动现场，多位网络安全的业内人士就AIGC的发展和安全治理话题发表了各自见解。

AIGC是“双刃剑”

在享受AIGC为生产和生活带来便利的同时，不少人发现由于不法分子的介入，人工智能的“科技树”开始长歪。8月10日，公安部在北京召开新闻发布会，通报全国公安机关打击整治侵犯公民个人信息违法犯罪行为的举措成效。针对“AI换脸”导致群众被欺诈的问题，公安机关发起专项会战，截至目前，已侦破相关案件79起，抓获犯罪嫌疑人515名。

对此，上海观安信息技术股份有限公司联合创始人胡绍勇认为，当前，以大模型为代表的人工智能以及其生成的AIGC一方面本身存在着很多的敏感数据和违规应用的可能性，但同时这些技术和内容也能够在一定程度上帮助提升网络安全和数据安全。

胡绍勇指出，对于传统的通用大模型，人们可以建立行业领域的小模型，在数据安全领域可以通过各种数据标签、数据类型、日志等，形成数据安全的助手。

“数据安全治理过程中，数据安全运营是非常重要的，数据安全专家或者安全助手这一类是我们现在正在落地和实践的方向。另外可以利用大模型对数据资产的识别进行进一步提升，很多安全企业在这方面已经做了一些尝试，比如在做传统网安态势以及日志解析的时候，可以将一段日志输入大模型，让其做解析。”他说。

此外，据胡绍勇介绍，由于大模型生成的内容本身和传统的结构化、非结构化的数据完全不一样，有很多是通过向量化的，而且没有具体的特征，因此对于像AIGC或者文声图的内容，人们可以采用人工智能的方式检测这个内容究竟来自于人还是机器。

就目前而言，AIGC的应用还存在诸多合规性的挑战。中国信通院华东分院院长廖运发强调，AIGC在基础设施和数据安全跟传统的一些软件、系统安全类似，但是算法安全以及应用安全是跟AIGC特点紧密相关的，尤其像算法设计、算法黑箱，应用安全包括外部攻击、深度伪造等等，这些都是AIGC大模型安全需要注意的。

为AIGC设立“数字安全”空间

今年早先时候，国内市场迎来了一波大模型的爆发，“百模大战”已拉开序幕。据统计，今年7月份全国已经有130个大模型发布，8月底网信办也公布了大模型的备案，现在国内有8个企业，包括上海的人工智能实验室、百度、商汤科技、Minimax都通过了备案，正式向公众提供服务。

2022年全球人工智能产业市场达到了3619亿美元的规模，增长速度约为20%。而国内方面2022年人工智能产业规模已经达到5080亿人民币，平均增长速度也将近达到20%。中国信通院预计，到2030年，中国人工智能产业会达到1万亿人民币的规模。

对此，不少业内人士倡导为AIGC大模型建构一个“数字安全”空间。所谓“数字安全”包含了网络安全、数据安全、相关的基础设施安全以及应用安全。数字安全是一个包容万象的更广阔的概念，特别是对于AIGC大模型来说，建立数字安全的空间对整个AIGC大模型发展是至关重要的。

廖运发强调，对于AIGC来说，“发展”与“安全”是两个重要的命题。从技术上要加快AI技术进一步的研发，特别是可信人工智能的逻辑可控等等。从产业维度上，需要加快可信人工智能的落地，形成共识。从生态维度，我们要加快标准的研究、制定，以及从监管的维度如何推动底线政策的监管。总体来看，这些监管都不是抑制AIGC大模型的产业发展，而是要统筹发展与安全。

另外，廖运发建议，从企业管理上来看，当前多数大模型的开发企业以及使用的企业，都应要求对大模型从技术上、内容上，进行深度的审核、管理、治理。另外，从技术上应要求监测人工智能算法是否有缺陷、内容是否符合要求，包括法律法规要求以及政策监管，包括涉及到一些政策支持、版权归属等等。