AI赋能网络安全带来“双刃剑”，专家：还需解决自身安全隐忧

南方财经全媒体记者卓皙雯 见习记者陈璐广州报道

随着人工智能快速发展，“AI+安全”已成为网络安全行业未来发展的关键方向。然而，AI的“无所不能”背后是否隐藏风险？近日，在2024年国家网络安全宣传周期间举办的网络安全标准与产业促进座谈会、粤港澳大湾区安全技术创新座谈会等多场活动上，多位专家深度剖析了AI技术的双刃剑效应：一方面，它能够提升网络防御的智能化与自动化水平，另一方面，AI的内生风险、数据滥用、系统性崩溃等隐忧也逐渐浮现。如何构建更可靠的“AI+安全”之路，成为当前网络安全领域亟待解决的核心议题。

AI赋能网络安全，带来“双刃剑”

网络安全进入人工智能阶段，“AI+安全”成为网络安全行业未来发展的方向。当前，AI技术在安全领域到底能够解决哪些问题？应用到哪些场景？

天融信科技集团副总裁吕延辉表示，在大模型出现之后，人工智能对安全应用起到了提质增效的作用。比如，AI技术可发现一些隐藏、潜藏的恶意行为，从而帮助安全人员快速甄别和定位网络中的威胁源。若进一步溯源，AI技术可支撑安全分析人员快速拓建分析风险的画像和App的追踪行为，增强安全监测能力。此外，基于大模型对于语义理解的显著优势，AI技术能够发现没有先验知识或传统规则支持的安全攻击行为。

在落地实践中，人工智能赋能网络安全工作价值已凸显。联通数字科技有限公司安全事业部CTO周凯介绍，在人工智能赋能网络安全方向，联通元景网络安全大模型针对海量告警降噪、恶意检测、攻击事件研判等场景，提供安全咨询、报警研判、报告生成、情报检索等特色工具，迎合各种场景需求。截至目前，已在多个应用场景，包括安全问答、安全报告、报警研判、情报检索等实现部署。

不过，周凯提到，一方面，AI技术应用极大提升了安全防御的智能化与自动化，但另一方面，AI技术也促使网络安全威胁升级，如钓鱼攻击、恶意软件等变得更高效且强悍。

中国联通广州市分公司党委书记、总经理杨连成也表示，AI赋能网络安全已成为关键环节，但带来的“双刃剑”也不容忽视，可能会带来数据泄露、隐私侵犯及技术滥用等风险。杨连成建议，解决安全治理要构建更完善、高效、安全可控的生态环境，将安全理念融入到数据管理的全生命周期，制订AI使用准则，完善数据监管体系。

在9月11日举办的网络安全标准与产业促进座谈会上，“数安标准强‘基’助‘力’行动计划（DSEP）”正式启动，该计划由中国电子技术标准化研究院发起，依托数据安全和个人信息保护国家标准体系，打造基于标准的政、产、学、研、用深度融合平台，将为各行业领域、地方区域和组织机构筑牢数据安全合规底线、提升数据安全能力提供标准化路径。

AI自身安全隐忧正在浮现

“无所不能”的AI自身的安全隐忧正在浮现。中国工程院院士邬贺铨认为，人工智能本身有自身的不安全性，且更可能被滥用，因此要用各种办法提高AI的可行性。

邬贺铨指出，目前我国基本语料数据仍不足够，不少AI模型的训练数据由AI自行生成，这个过程中存在一定的隐患。如果在训练中不加区别地使用这类内容，长此以往将出现“模型崩溃”效应。数据生成率过高会带来隐患，完全靠AI生成的数据，会逐渐变形、出错。反复使用AI生成的数据，模型训练就会失去效果，所以，需要重视数据的原生性。

蚂蚁集团副总裁韦韬提到，大模型虽然被很多人认为是无所不能的智能引擎，但实际上它的智能水平还不够高，当各种信息、各种工具全都对接到大模型上，很容易形成一个安全单点，只要击破大模型，整个信息工具都会被击穿。如果所有信息和工具都依赖于大模型，那么一旦大模型遭到攻击，整个系统的安全性将面临全面崩溃的风险。他举例道，OpenAI曾经出现因漏洞被攻击导致数据被删除的事件，说明这种风险是真实存在的。

火山引擎安全研究部门负责人吴烨认为，随着大模型在手机、PC端以及车载设备等各类终端的广泛应用，AI技术在提升用户体验的同时，也引发了一系列隐私保护和数据安全的风险。由于大模型通常部署在云端，这就意味着终端设备上的用户数据需要传输到云端进行处理。这样的数据跨域传输过程中，可能会面临数据泄露、篡改等安全隐患，增加了用户数据的安全风险。

中国网络空间安全协会副理事长卢卫认为，人工智能在众多领域具备广阔的使用前景，但自身也存在诸多缺陷与风险，需要先解决自身存在的问题，实现“我能”后，才能更好赋能网络安全领域。

9月9日，在国家网络安全宣传周网络安全技术高峰论坛主论坛暨粤港澳大湾区网络安全大会上，全国网络安全标准化技术委员会正式发布《人工智能安全治理框架》1.0版，按照风险管理的理念，结合人工智能的技术特性，分析人工智能风险来源和表现形式，针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险，提出了相应技术应对和综合防治措施，以及人工智能安全开发应用指引。这将为促进人工智能的健康发展和规范应用，提供基础性、框架性技术指南。

更多内容请