原标题：人工智能专题：2024人工智能安全报告（附下载）

今天分享的是人工智能系列深度研究报告：《人工智能专题：2024人工智能安全报告》。

（报告出品方：奇安信）

报告共计：26页

海量/完整电子版/报告下载方式：公众号《人工智能学派》

AI 的定义

人工智能（ArtificialIntelligence，AI）是一种计算机科学领域，旨在开发能够执行智能任务的系统。 这些系统通过模拟人类智能的各种方面，如学习、推理、感知、理解、决策和交流，来完成各种任务。 人工智能涉及到多个子领域，包括机器学习、深度学习、自然语言处理、计算机视觉等。它的应用范围非常广泛，包括自动驾驶汽车、智能助手、智能家居系统、医疗诊断、金融预测等。人工智能的发展旨在使计算机系统具备更加智能化的能力，以解决复杂问题并为人类社会带来更大的便利和效益。AI可以分为两种主要类型：弱 AI和强 AI。弱 AI（狭义 AI）是设计用来执行特定任务的系统， 如语音识别或面部识别，而强 AI（通用 AI）是可以理解、学习、适应和实施任何智能任务的系统。

2022 年以后，以 ChatGPT 为代表的大语言模型（LargeLanguageModel，LLM）AI 技术快速崛起，后续的进展可谓一日千里，迎来了 AI 技术应用的大爆发，体现出来的能力和效果震惊世界， 进而有望成为真正的通用人工智能（ArtificialGeneralIntelligence，AGI）。

AI 是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。AI 被视为第四次科技浪潮的核心技术，它同时也带来巨大潜在威胁与风险。

AI 引发科技变革

･ 效率和生产力的提升：AI 可以自动化一系列的任务，从而极大地提高效率和生产力。例如， AI 可以用于自动化数据分析，使得我们能够从大量数据中快速地提取出有价值的洞察。

･ 决策支持：AI 可以处理和分析比人类更大的数据量，使得它能够支持数据驱动的决策。例如， AI 可以用于预测销售趋势，帮助企业做出更好的商业决策。

･ 新的服务和产品：AI 的发展为新的服务和产品创造了可能。例如，AI 已经被用于创建个性化的新闻推荐系统，以及智能家居设备。

･ 解决复杂问题：AI 有能力处理复杂的问题和大量的数据，这使得它能够帮助我们解决一些传统方法难以解决的问题。例如，AI 已经被用于预测疾病的发展，以及解决气候变化的问题。

･ 提升人类生活质量：AI 可以被用于各种应用，从医疗保健到教育，从交通到娱乐，这些都有可能极大地提升我们的生活质量。

在网络安全领域，近期大热的生成式 AI 在安全分析和服务方面已经有了一定的应用场景和规模， 根据 Splunk 发布的 CISO 调研报告，所涉及的 35% 的公司采用了某些类型的生成式 AI 技术，约 20% 的公司用在了诸如恶意代码分析、威胁狩猎、应急响应、检测规则创建等安全防御的核心场景中。

AI 的应用带来了许多好处，我们也需要关注其可能带来的问题，在推动 AI 发展的同时，也要制定相应的政策和法规来管理 AI 的使用。

AI 存在滥用风险

《麻省理工学院技术评论洞察》曾对301名高级商界领袖和学者进行了广泛的人工智能相关问题调查，包括其对人工智能的担忧。调查显示，人工智能发展过程中缺乏透明度、偏见、缺乏治理， 以及自动化可能导致大量失业等问题令人担忧，但参与者最担心的是人工智能落入坏人手里。

AI 恶意使用对现有威胁格局的影响主要有两类：

对现有威胁的扩增。AI 完成攻击过程需要耗费大量时间和技能、人工介入环节的任务，可以极大提升攻击活动的效率，直接导致对现有威胁模式效能的扩大，如钓鱼邮件和社会工程学的恶意活动。

引入新的威胁。AI 可以完成大量之前人类根本无法完成的任务，从而引入新的攻击对象和模式。 比如 AI 模型自身的漏洞利用，以及借助 AI 可以轻易生成的音视频内容，构成信息战的新战场。 业内普遍预测，未来十年该技术的恶意使用将迅速增长，人工智能的恶意使用在网络安全、物理安全、政治安全、军事安全等方面构成严重威胁。

网络威胁：考虑到网络空间固有的脆弱性及网络攻击所造成的威胁的不对称性，网络威胁日益受到关注。威胁包括网络钓鱼、中间人、勒索软件和DDOS攻击及网站篡改。此外，人们越来越担心恶意行为者滥用信息和通信技术，特别是互联网和社交媒体，实施、煽动、招募人员、资助或策划恐怖主义行为。威胁行为者可以利用人工智能系统来提高传统网络攻击的效力和有效性，或者通过侵犯信息的机密性或攻击其完整性、可用性来损害信息的安全。

物理威胁：过去十年中，网络技术让日常生活日益互联，这主要体现在物联网(IoT)的出现。这种互联性体现在物联网(IoT)概念的出现中，物联网是一个由互联数字设备和物理对象组成的生态系统，通过互联网传输数据和执行控制。在这个互联的世界中，无人机已经开始送货，自动驾驶汽车也已经上路，医疗设备也越来越多地采用了 AI 技术，智能城市或家庭环境中的互连性及日益自主的设备和机器人极大地扩大了攻击面。所有智能设备使用了大量的传感器，AI 相关的技术负责信息的解析，并在此基础上通过 AI 形成自动操作决策。一旦 AI 系统的数据分析和决策过程受到恶意影响和干扰，则会对通常为操作对象的物理实体造成巨大的威胁，从工控系统的失控到人身伤害都已经有了现实案例。

政治威胁：随着信息和通信技术的进步及社交媒体在全球的突出地位，个人交流和寻找新闻来源的方式不可避免地发生了前所未有的变化，这种转变在世界各地随处可见。以ChatGPT为代表的生成式。AI技术可能被用于生成欺诈和虚假内容，使人们容易受到错误信息和虚假信息的操纵。此外，不法分子可以通过“深度伪造”技术换脸变声、伪造视频，“眼见未必为实”将成为常态，网络欺诈大增，甚至引发社会认知混乱、威胁政治稳定。

军事威胁：快速发展的 AI 技术正在加剧军事威胁，AI 武器化趋势显现。一方面，人工智能可被用在“机器人杀手”等致命性自主武器 (LAWS) 上，通过自主识别攻击目标、远程自动化操作等， 隐藏攻击者来源、建立对抗优势；另一方面，人工智能可以将网络、决策者和操作者相连接，让军事行动的针对性更强、目标更明确、打击范围更广，越来越多的国家开始探索人工智能在军事领域的应用。数据显示，2024 财年，美国国防部计划增加与 AI 相关的网络安全投资，总额约 2457 亿美元，其中 674 亿美元用于网络 IT 和电子战能力。 上述威胁很可能是互有联系的。例如，人工智能黑客攻击可以针对网络和物理系统，造成设施甚至人身伤害，并且可以出于政治目的进行物理或数字攻击，事实上利用 AI 对政治施加影响基本总是以数字和物理攻击为抓手。

报告共计：26页

海量/完整电子版/报告下载方式：公众号《人工智能学派》