【文元亮见】刘杰|AIGC面临的网络安全挑战和对策
今天很荣幸受到邀请参加这个会议，跟大家共同探讨有关AIGC、网络安全、信息安全、数据安全相关的话题。
AIGC作为AI的一种上层应用，它的应用前景非常诱人。但是发展和安全需要协调，没有安全保障的发展不一定是健康的。所以我们做任何事情都要提早布局，考虑应用的时候，也要考虑安全。今天我要谈一下如何解决AIGC的安全问题，在使用的过程中如何缓解安全风险，让整个应用或者是整个未来的产业更加健康，质量更高。
一AIGC信息安全的特点
AIGC的信息系统的问题，一类是蓄意制造的。另外一个就是意外遗留的。信息安全主要研究的，也是我们今天要讲的AIGC所要关注的——“蓄意利用”的问题。
“问题的影响”有三大类，第一类是危险的失效；第二类是属于安全失效；第三类是STRIE，S代表了假冒，T代表篡改，R代表否认，I代表泄露，E代表提权。这三种危害在不同的场景下都有可能出现。
AIGC面临的信息安全问题主要有三类：一是运行的可靠性问题；二是蓄意植入病毒的安全性问题；三是容易被人蓄意攻击的漏洞问题。蓄意构造问题造成的后果严重程度将会影响对系统投入的成本，与普通系统的安全着重考虑软硬件、通信等系统设施不同，AIGC的信息安全既要考虑基础设施，还要考虑数据、算法、模型框架。现在的数据作为生产资料，关乎未来模型中决策的相关因素，因此AIGC的数据安全将会考虑到更多方面。
二AIGC应用引入的安全风险
AIGC应用引入的安全风险包括有害信息带来的风险、AIGC赋能网络攻击的风险，以及AIGC本身带来的风险。
第一个方面是有害信息传播的风险，这里分为AIGC被滥用、有害代码影响软件供应链的安全以及错误信息传播的风险。
第二个方面是AIGC可能为我们网络攻击赋能的风险。首先是AIGC成为网络攻击的工具；此外，更大的一部分攻击是自动生成智能恶意软件。一方面可以利用AIGC为我们网络安全服务，另一方面它又变成了你的对手，AIGC确实是一把双刃剑。
第三个方面是虚假信息的风险。AIGC可以加快虚假内容的制作速度，这对信息内容治理提出了挑战。另外，虚假信息到底是由人还是由AI生成的？这也影响了对信息的内容追踪难度和复杂性，造成垃圾信息泛滥，导致网络空间信息污染的。最后是如果我们的隐私泄露，也会影响人脸识别等身份鉴别机制。
三AIGC面临的网络安全威胁
（一）AIGC本身面临的风险
AIGC本身面临的安全威胁，这里面主要谈跟AIGC密切相关的，跟人工智能安全有关系的几个方面。
首先，AIGC训练数据集的质量会影响到我们模型的性能。如果数据集被破坏或异化了，那么我们整个AIGC的能力就会下降，一方面性能会下降，另外攻击者是可以利用数据集分布的不均一性，在数据边界上植入后门的，达到恶意目的。
其次，数据毒化的问题。通过在训练的数据集里面加入少量被攻击者精心构造的有毒数据，从而破坏模型的可用性、完整性甚至泛化性。另外从技术研究的角度来看，目前各种各样的数据投毒攻击策略都已经被成功的实现了，导致未来成为产品的这些模型泛化能力会很差，甚至里面会留下后门。最后，从工程角度来看，数据投毒在渠道上也没有太大的难度，实施是有可能的。
（二）算法选取不当带来的风险
目前的人工智能使用的是深度学习的算法，那么在可解释性、鲁棒性，健壮性或者偏见歧视性等方面都存在着局限性，其决策机理是用户无法预知的。因此，攻击者可以利用算法的可解释性欠缺和训练数据集的不完备，实现对抗样本的攻击；另一方面，人工智能算法的准确性、完整性目前还不太可控，可能不一定适应这种环境的变化。
（三）针对模型的网络安全威胁
AIGC的模型参数里面可能会隐含敏感信息，第一，对模型的窃取攻击。一旦泄露，攻击者就能够把模型的参数偷走，或通过模型萃取的方式来复制一模一样的模型；第二，攻击者也通过模型逆向攻击恢复出来训练集中的数据，或者通过推断攻击，以获得待测样本的成员关系信息；第三，模型也可以被投毒。一些AIGC是支持所谓人工反馈的强化学习机制的，它会采集用户跟它对话过程的信息，如果人们向它输入错误的反馈，也会导致模型的异化。另外，AIGC本身也有调试开关，若开关被攻击者掌握，也会导致模型篡改和信息泄露。
（四）开发框架的风险
AIGC基于开发框架进行研发的，而每种框架都有大量的底层单元，这些单元有可能不规范，造成AIGC系统运行的失效。另外这些框架背后都是大量的第三方库，而这些函数里面可能有安全漏洞，会将风险传导到AIGC产品之中。
（五）支撑环境的影响
从支撑环境角度来看，我们研发环境里面涉及到数据集的管理，训练集的管理，验证集的管理，涉及到软件的研发，涉及到模型的训练各个环节。
如果我们的支撑环境、开发环境管理得不好，很容易受到网络攻击，威胁的就是最直接的数据集、模型软件本身；另外在部署运行的时候，支撑环境也会有风险。一方面整体的网络安全需求是很庞大的，如果它们的配合程度不那么好，协调性不那么顺当，就会给攻击者提供机会；另外用户和AIGC交互过程中提供的信息有可能被收集，收集之后有可能直接用来做训练，那么如果你回答了隐私信息，有可能未来其他人通过交互得到了你的信息。
四关于AIGC网络安全对策的思考
第一点，要加强法律法规和制度建设，AIGC这种新事物出现，我们在技术上不能完全解决它的问题。甚至我们的防护技术也落后于攻击技术。这时候我们只能从法律法规的制约管理上入手，但是实际上我们的法律法规制度也需要不断地完善。
第二点，要强化数据安全治理的技术手段，加强技术研发、资产保护、隐私保障和数据加密。
第三点，要加强AIGC全生命周期的网络安全测评工作。我们可以通过安全框架了解系统状况。包括识别、保护、检测、响应、恢复五个方面。同时我们也需要内外部联合测评系统的安全风险。检测的方法包括检查、访谈和对抗。
第四点，要明确监管责任，提高算法的透明性，加强算法问责，建立人工智能生成内容鉴别的机制。当然需要我们研究如何去监督，如何去鉴别，如何去进行规则检查，所以未来的路还是相当长的。
专家介绍
刘杰，教授级高级工程师，国家重点研发计划项目负责人，主要研究方向为网络信息安全、软件质量工程。在网络信息安全、密码应用、软件可靠性与安全性等领域，有深入的理论研究和丰富的工程实践，在多个技术委员会担任专家。
文化元宇宙专委会介绍
中国文化产业协会文化元宇宙专业委员会（以下简称专委会），成立于2022年11月26日，由同济大学、清华大学、北京大学、复旦大学、上海交通大学等全国近30所重点高校知名专家学者联合中国互联网新闻中心（中国网）、中国外文局文化传播中心、国家对外文化贸易基地（上海）、国家版权贸易基地（上海）、全国资产管理标委会文化资产管理标准工作组、中国联通（上海）、浙文互联集团、南京文投集团、风语筑、恺英网络、视觉中国、喜马拉雅城文智能、捷成华视网聚、边界智能、数藏中国等一批领军机构和头部企业共同成立，是文化领域国内首家全国元宇宙社会组织，在文化类元宇宙行业组织中居于领先地位。
专委会核心理念：讲好文化元宇宙的中国故事，铸就社会主义文化新辉煌
专委会工作宗旨：高举中国特色社会主义伟大旗帜，全面学习贯彻新时代中国特色社会主义思想，努力推动中国特色文化元宇宙体系建设与发展
专委会主要目标：整合文化元宇宙相关各界的优势力量与资源，努力推动文化产业数字化、促进文化产业高质量发展、打造具有中国特色的文化元宇宙体系
欢迎加入中国文化产业协会文化元宇宙专业委员会！
责任编辑：
孔庆莹 华东政法大学
校对人员：
刘馨怡、况希萌、袁逸馨
版权声明：
如需转载，请务必注明文章来源于“文化元宇宙专委会”公众号，并请完整注明文章作者及相关出处。对未依此规定转载者，本公众号将保留追究一切法律责任的权利。
免责声明：
本文仅代表作者个人观点，不代表本公众号立场。