原标题：人工智能的安全性问题：浅谈人工智能系统的攻击载体及人工智能安全前景

关注公众号【幻影视界】

学习了解人工智能相关，共同探索成长。

在ChatGPT发布之后，人工智能(AI)、机器学习(ML)和大型语言模型(LLM)已经成为网络安全从业者、供应商和投资者讨论的头号话题。

这并不奇怪；正如马克·安德森十年前指出的，软件正在吞噬世界，而人工智能也开始吞噬软件。

尽管人工智能在行业中受到了行业的关注，但绝大多数讨论都集中在人工智能的进步将如何影响防御和进攻安全能力。没有讨论太多的是我们如何保护人工智能工作负载本身。

在过去的几个月里，我们已经看到许多网络安全供应商推出了人工智能产品，例如Microsoft Security Copilot，将ChatGPT融入现有产品，甚至完全改变定位，例如ShiftLeft如何成为Qwiet AI。我预计，我们将继续看到数十家甚至数百家安全厂商发布大量新的人工智能产品。显而易见，AI for security来了。

浅谈人工智能系统的攻击载体

保护人工智能和人工智能系统很难，因为它们有两种类型的漏洞:在其他类型的软件应用程序中常见的漏洞和AI/ML特有的漏洞。

首先，让我们明白一个显而易见的事实:支持AI和ML的代码与运行任何其他软件的代码一样有可能存在漏洞。几十年来，我们已经看到攻击者完全有能力找到并利用代码中的漏洞来达到他们的目的。这引出了一个关于代码安全性的广泛话题，它囊括了所有关于软件安全性测试、左移、供应链安全性等的讨论。

因为AI和ML系统被设计为在接收和分析大量数据之后产生输出，所以在保护它们方面的几个独特挑战在其他类型的系统中是看不到的。麻省理工学院斯隆管理学院概述这些挑战通过将相关漏洞分为五类来应对:数据风险、软件风险、通信风险、人为因素风险和系统风险。

值得强调的一些风险包括:

• 数据中毒和操纵攻击。当攻击者篡改AI/ML模型使用的原始数据时，就会发生数据中毒。数据操作最关键的问题之一是，一旦识别出错误的输入，AI/ML模型就不容易改变。
• 当攻击者提供精心设计的输入并观察算法产生的结果输出时，就会发生模型泄露攻击。
• 在模特接受训练后偷走她们。这样做可以让攻击者获得用于训练模型的敏感数据，使用模型本身来获取经济利益或影响其决策。例如，如果一个不良行为者知道什么因素被标记为恶意行为，他们可以找到一种方法来避免这些标记并绕过使用该模型的安全工具。
• 模型中毒袭击。篡改底层算法可能会使攻击者影响算法的决策。

在一个实时做出和执行决策的世界里，攻击对算法的影响可能会导致灾难性的后果。一个恰当的例子是骑士资本的故事损失了4.6亿美元由于公司高频交易算法的一个bug。这家公司濒临破产，不久后就被对手收购了。虽然在这个特定的案例中，问题与任何敌对行为无关，但它很好地说明了算法中的错误可能产生的潜在影响。

人工智能安全前景

由于人工智能的大规模采用和应用仍然是相当新的，人工智能的安全性还没有得到很好的理解。

2023年3月，欧盟网络安全局(ENISA)发布了一份名为人工智能的网络安全与标准化目的是“概述与人工智能网络安全相关的标准(现有的、正在起草的、正在考虑的和计划中的)，评估其覆盖范围并找出标准化方面的差距”。

因为欧盟喜欢遵从性，所以本文档的重点是标准和法规，而不是针对安全领导者和从业者的实用建议。

网上有很多关于人工智能安全的问题，尽管与使用人工智能进行网络防御和进攻的话题相比，它看起来明显较少。

许多人可能会认为，人工智能安全可以通过让来自包括数据、软件和云安全在内的几个学科的人员和工具一起工作来解决，但有一个强有力的理由来证明一种独特的专业化。

说到厂商前景，我会把AI/ML安全归类为一个新兴领域。下面的总结提供了该领域供应商的简要概述。请注意:

• 该图表仅包括AI/ML模型安全性中的供应商。它不包括加密、数据或云安全等对人工智能安全有贡献的领域的其他关键参与者。
• 这张图表沿着两条轴线描绘了公司:融资额和LinkedIn粉丝数。众所周知，LinkedIn粉丝并不是最好的对比指标，但其他任何指标也不理想。

尽管肯定有更多的创始人在秘密模式下解决这个问题，但很明显AI/ML模型的安全空间远未饱和。随着这些创新技术获得广泛采用，我们将不可避免地看到攻击，以及越来越多的企业家寻求解决这一难以解决的挑战。

结束语

在未来几年，我们将看到人工智能和人工智能重塑人们、组织和整个行业的运作方式。我们生活的每一个领域——从法律、内容创作、营销、医疗保健、工程和太空操作——都将发生重大变化。

然而，真正的影响以及我们能够从人工智能/人工智能的进步中受益的程度将取决于我们作为一个社会如何选择处理直接受该技术影响的方面，包括道德、法律、知识产权所有权等。

然而，可以说最关键的部分之一是我们保护AI和ML运行的数据、算法和软件的能力。

在一个由人工智能驱动的世界中，算法的任何意外行为都会危及底层数据或运行它们的系统，这将产生现实生活中的后果。受到损害的人工智能系统对现实世界的影响可能是灾难性的:误诊疾病导致无法撤销的医疗决定，金融市场崩溃和车祸，等等。

虽然我们许多人都有丰富的想象力，但我们还不能完全理解我们会受到影响的全部方式。截至今天，似乎不可能找到任何关于AI/ML黑客的新闻；这可能是因为没有，或者更有可能是因为它们还没有被发现。这将很快改变。

尽管有危险，我相信未来是光明的。当互联网基础设施建立的时候，安全是一个事后的想法，因为在那个时候，我们没有任何在全球范围内设计数字系统的经验，也不知道未来会是什么样子。

今天，我们处在一个非常不同的地方。尽管没有足够的安全人才，但人们对安全至关重要有着深刻的理解，并对安全的基本要素有着清晰的认识。这一点，加上许多最聪明的行业创新者正在努力保护人工智能，让我们有机会不重复过去的错误，并将这项新技术建立在坚实安全的基础上。

我们会利用这个机会吗？只有时间能证明一切。就目前而言，我很好奇AI和ML会带来什么样的新类型的安全问题，以及因此在行业中会出现什么样的新类型的解决方案。

精选内容来源公众号：【幻影视界】