攻击者手中的人工智能工具

随着人工智能技术的发展，网络空间安全也进入了一个全新的时代。2023年4月，俄罗斯联邦电信、信息技术和大众传媒监督局（Roskomnadzor，俄媒体监督机构）及俄罗斯科学技术中心等联合发布《攻击者手中的人工智能工具——威胁分类和缓解》报告，就使用人工智能监控互联网并确保用户安全的关键技术方面总结了趋势和解决方案。研究人员认为，信息战的自动化和生成模型迅速发展，如果不引入人工智能技术，网络空间安全无法得到保障。但研究人员也指出，从外部引入的人工智能模型和数据集存在不可控的风险，成为迫在眉睫的国家安全问题。本文重点梳理了报告中提出的“国家应优先考虑的12个人工智能应用领域”；利用人工智能打击虚假信息的三大趋势；社会网络安全中的动态社交网络分析等重要内容。

一、国家应优先考虑的12个人工智能

应用领域

近年来全球人工智能技术快速发展，成为推动科技和产业快速发展的重要力量，人工智能技术已进入实用阶段，正深刻地改变着人类的生产生活。然而大多数国家的政府监管并没有跟上人工智能技术的发展步伐，政府监管总体上不到位。尤其是在生成式人工智能领域，有关算法及用于训练的数据集的规范使用在许多国家仍然取决于开发人员自身的道德约束。政府需要应对重大的基础设施挑战，制定测试和评估人工智能安全的工具。报告中分析了3000多个概念、发明、原型、解决方案，并对其中的195个进行了详细分析和系统化描述，确定了国家应优先考虑的、涉及监控互联网和确保用户安全的12个人工智能应用领域，分别为：

1. 深度伪造检测

近年来，深度伪造已成为一个构成切实威胁的问题。视频的日益普及凸显了对媒体和新闻内容鉴定工具的需求，因为深度伪造技术可以令人信服地歪曲事实，并通过社交媒体高速传播，使数千万用户受众受到误导和伤害。

2. 视频内容识别

利用人工智能识别视频内容适用于广泛领域，包括医疗保健、娱乐、交通管理、自动驾驶、车辆管理、公共执法等。在计算机视觉领域，视频内容识别功能是一个需求量大、前景广阔的研究和发展领域。

3. 自动内容监控

每天都有大量内容在互联网上上传和传播，这远远超出了任何机构在内容上传前对其进行分析和监控的能力。鉴于全面数字化的事实及其明显的经济效益，使用人工智能来自动监控和管理内容的做法在未来只会越来越多。

4. 人脸识别

人脸识别是信息识别的一个实际应用领域，三十多年来一直受到人们的关注。如今，这一领域已成为最受研究人员和开发人员欢迎的方向之一，并在我们身边的现实中有着令人印象深刻的实践案例。但人脸识别系统及其应用也面临从技术难题到隐私道德等一系列问题。

5. 文档语义提取

从文本中进行信息提取是自然语言处理领域的重要方向之一。通过聊天机器人技术，“人类”语言的识别和处理已被引入许多行业。虽然自然语言处理和文档语义提取有其自身的挑战，但如今的算法模型已为许多企业发展提供了广泛的可能性。

6. 事实核查

打击虚假信息是一项复杂的任务，需要政府监管部门、网络平台管理部门、教育和研究机构等各利益相关方的通力合作。事实核查能力直接依赖于相关技术的发展，如自然语言处理和计算机视觉。

7. 符号识别

符号识别是计算机视觉的一个重要领域，由于符号的数量和多样性，一直以来是领域的研究难点。随着人工智能技术的发展，尤其是深度学习方法的发展，符号识别已取得重要的进展。

8. 元数据提取与分析

元数据是结构化的参考数据，有助于分类和识别信息的属性。目前大多数基于人工智能的模型都侧重于提高元数据工作的便捷性和舒适性，应用范围也非常广泛，从提供专业解决方案（如法医借助人工智能模型快速对涉案物品进行分类筛选与初步鉴定）到创新者手中的分散式互联网工具应有尽有。

9. 情感识别

使用人工智能进行情感识别是最热门的研究领域之一。随着情感识别在我们的日常生活中发挥着越来越重要的作用，人们开发了大量的方法来提高对情感的分析准确性。如今，情感识别技术已经在消费、安全、医疗、娱乐、机器人等领域得到了广泛的应用。

10. 应对信息攻击

由于人工智能和机器学习的能力在过去五年中呈指数级增长，其应用在信息安全、保护公众免受虚假新闻侵害，以及以操纵信息为目的的信息攻击领域发挥了重要作用，当前社交网络已成为即时分发信息的理想平台，人工智能已证明自己是在社交网络安全这一领域内进行社交网络动态分析的可靠助手。

11. 内容生成

如今生成式人工智能可以根据用户的短文本请求创建有意义的文本、图像、音乐、代码和诗歌。生成式人工智能通常会导致许多法律和道德问题，如由人工智能创建的虚拟现实已经成为社交网络源的一部分并出现在媒体中，同时生成式人工智能还面临与版权问题相关的知识产权问题。

12. 内容推荐系统

内容推荐系统作为用户和企业都感兴趣的领域，在数字化转型中至关重要：对前者而言，推荐系统是选择大量商品和服务不可或缺的指南，对后者而言，推荐系统是增加利润的有效工具。推荐系统的未来有两个驱动力：技术进步和市场需求。未来开发人员将越来越多地使用神经网络作为学习工具和推荐系统的核心。

二、利用人工智能打击虚假信息的

三大趋势

打击虚假信息是国家安全重要的任务之一。人工智能技术的快速发展为有效地打击虚假信息提供了重要的抓手。报告中指出了该领域的三个值得关注的关键发展趋势：

一是可进行实时监控的事实核查系统被整合到社交媒体中。未来，利用人工智能技术的事实核查系统将能够分析并检查语音和流媒体视频。如果发现虚假新闻，则会发出警报或提醒用户注意不准确或者可能是伪造的内容。这样的系统将基于深度学习的方法，使其能够以共生的方式实现在社交网络中工作，如社交网络上发布的信息具有明显的时序特征，可以被划分为连续的片段，可以通过递归神经网络（RNNs）捕捉序列特征从而捕获数据的深层潜在特征及其相关性，以此构建虚假信息检测模型。

二是事实核查系统将在3—5年内大规模实施。进入信息爆炸的时代，人们对自动化信息事实核查的需求猛增，预计将在未来3—5年内实现事实核查系统的大规模推行。然而，目前事实核查系统仍处于早期发展阶段，还不能完全依靠人工智能进行事实核查，只能部分流程自动化。许多解决方案要么将流程的一部分自动化，要么专注于对特定内容进行评估，以便随后由专家或复杂的中央神经网络进行最终评估，从而评估内容的可信度。

三是事实核查的自动化。通过事实核查自动化可以使得每条新闻在大平台上都会被打上标签，俄罗斯各州将能够通过创建标签系统和监控科技巨头新闻标签的正确性来直接进行信息的事实核查，以防止公司通过欺诈性的新闻来谋求利益。

三、利用人工智能技术应对信息攻击

（一）理论基础：社会网络安全中的动态社交网络分析

信息战正在向网络空间蔓延和过渡，并推动了宣传系统的自动化进程。随之而来的是网络安全的挑战，如利用机器学习、神经网络等方法，实现钓鱼式攻击、电脑蠕虫传播、垃圾邮件散发等的完整攻击过程自动化。报告中指出可以通过结合社会科学与工程学进行社会网络安全中的动态社交网络分析，通过研究信息战中的攻防工具，预测它们对人类行为的影响，通过跟踪、评估、分析和阻止信息攻击来保障网络信息安全。人工智能是用于社会网络安全中动态社交网络分析的重要工具。随着人工智能和机器学习技术在过去五年中的指数增长，其在信息安全和信息攻击（舆论操纵）中，都有着广泛的应用。

（二）方法手段：“反信息攻击”的人工智能技术与系统

一是充分利用人工智能技术在处理海量数据、多源异构数据、实时动态数据等方面的显著优势，构建动态可扩展的网络安全知识大脑，提升网络空间防御能力。二是针对网络攻击越来越智能化、大规模网络攻击越来越频繁、网络攻击的隐蔽性越来越高的特点，遵循网络攻击的基本规律，基于构建的网络安全知识库，实现复杂网络攻击的智能化检测算法。可将网络安全事件和攻击的基本信息存储于安全知识图谱中，通过采集数据与安全知识图谱进行匹配，可分析得到网络系统中的攻击行为。三是目前人工智能技术还不能完全脱离人而存在，人的引导至关重要。在制定人工智能的发展路线的同时应该要紧盯风险防御，加强对潜在风险的预判和研究，注重系统安全防御技术的发展，明确防御发展策略。不能盲目地将人工智能作为一项“百利而无一害”的技术进行使用，在进行顶层设计的同时考虑风险管理，对人工智能技术的安全性进行有效评估，为人工智能乃至系统防御技术提供有效规范的引领作用。

（三）问题挑战：信息攻击分析系统的局限性

全球媒体环境的信息流是动态的，新的词汇每天都会产生和出现，语境和意义也在迅速变化。当前的技术还不足以实现完全自动化的信息攻击分析。信息攻击处理系统和工具仍然需要专家和操作员来实现最佳效果。但是信息的攻防往往是一体两面，完整的系统可以轻松识别不同的攻击模式，并为用户提供高质量的相关信息。但是攻击者也可利用系统来解析攻击过程，以便重建攻击方法，在了解系统的基础上进行攻击手段的升级。同时，很多信息攻击行为都是通过普通民众进行的，民众往往在不知情的情况下充当了攻击者的打手，信息攻击分析系统能否快速准确的区分信息攻击中的“平民”，决定了阻止信息攻击的成功率。

四、结论

语

人工智能在网络攻防两方面的赋能效应，极大地推动了网络空间攻防对抗的发展，引发新的安全威胁，催生新的对抗手段。对于网络安全而言，人工智能是一把“双刃剑”，人工智能与网络空间安全深度结合，给经济、政治、社会、国防等领域带来新威胁、新问题的同时，也为各国网络空间安全发展提供了新机遇。一方面，人工智能是科技研究过程中可靠的助手，其速度和24小时可用性大大简化了科学家和研究人员的工作；另一方面，也不能对攻击者使用人工智能的破坏性场景视而不见，例如深度伪造欺诈行为、通过信息影响进行社会操纵等。

免责声明：本文转自元战略。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

转自丨元战略

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

电话：010-82635522

微信：iite_er