当前位置:首页|资讯|人工智能|ChatGPT|GPT-4|文心一言|MOSS

安天WAF如何应对大模型平台和应用OWASP TOP 10风险

作者:安天科技发布时间:2023-08-14

01背景

 

由于生成式人工智能程序展现出接近于人类的表达与推理能力,以ChatGPT为代表的大语言模型应用持续爆发,带动了全球关注人工智能。目前已有多个商业化大模型发布,如OpenAI发布的GPT系列、Meta推出的千亿参数大模型OPT以及Google发布的对标 GPT-4 的 PaLM 2等。

国内各大企业和研究机构也陆续推出了大模型应用,比如百度公司的文心一言、复旦大学的MOSS和清华大学的ChatGLM等。 

然而,伴随着大语言模型广泛应用的同时,ChatGPT和类似应用也接连暴露出安全问题。大语言模型应用带来了新的安全问题,并引发了多起安全事件。

 

表1 大语言模型涉及的安全事件

 


02 OWASP Top 10 for LLM
介绍

2023年8月1日OWASP(全球开放应用软件安全项目组织)正式发布了专门针对与大型语言模型 (LLM) 应用程序十大风险1.0 版,指导如何应对LLM应用中可能存在的安全风险。 

下图是OWASP梳理总结的最严重的十大LLM应用安全漏洞类型:

 

图1 OWASP Top 10 for LLM 列表

 

OWASP TOP 10 for LLM列表的项目具体说明如下:

 

·      LLM01:提示词注入(Prompt Injection) 

通过精心构造的提示词来操控大语言模型,使得该模型忽略先前的指令或者执行意外操作,导致数据泄漏、未经授权的访问等后果。

 

·      LLM02:不安全输出(Insecure Output Handling) 

盲目接受未经验证的输出,则可能导致严重后果,如XSS、CSRF、SSRF、权限提升或远程代码执行等。

 

·      LLM03:训练数据投毒(Training Data Poisoning) 

当LLM训练数据被恶意篡改,引入损害安全性、有效性行为的漏洞时,这可能会产生带有虚假或未经证实的内容输出,可能会操纵用户传播仇恨言论等。

 

·      LLM04:模型拒绝服务(Model Denial of Service) 

这是在其他领域很常见的攻击类型。如果LLM收到大量资源密集型请求,则可能会出现拒绝服务(DoS)攻击,导致LLM服务停止或者服务速度减慢。而且因为LLM的资源密集性和用户输入的不可预测性,将导致更大的风险。

 

·      LLM05:供应链漏洞(Supply Chain Vulnerabilities) 

LLM应用程序中的供应链漏洞包括第三方数据集和预训练模型中的漏洞,风险也可能存在于插件中。通过仔细审查每个组件的引入可以缓解供应链漏洞风险。

 

·      LLM06:敏感信息泄露(Sensitive Information Disclosure) 

LLM可能会在其输出中泄露机密数据,例如贸易信息,知识产权,专有算法等,导致未经授权的数据访问、隐私侵犯和安全漏洞。因此,建议预先实施数据清理,以避免敏感信息和用户数据进入训练数据。还有实施严格的用户策略来缓解这种风险。

 

·      LLM07:不安全的插件设计(Insecure Plugin Design) 

LLM 会自动调用插件,为用户请求收集更多上下文。插件可能具有输入不安全以及缺乏访问控制的情况,有可能导致远程代码执行等后果。

 

·      LLM08:过度代理(Excessive Agency) 

该风险是由于授予了基于LLM的系统过度的功能、权限或自主权。最好使用最小权限模型限制访问范围,以确保LLM只访问工作所需的插件和功能。

 

·      LLM09:过度依赖(Overreliance) 

LLM很强大,但人类不应该完全依赖它们来做出决策。在没有监督的情况下过度依赖LLM可能会因LLM生成的不正确或不适当的内容而面临错误信息、法律问题和安全漏洞。

 

·      LLM10:模型窃取(Model Theft) 

该风险涉及对LLM模型的未经授权的访问、复制或泄露。其影响包括经济损失、竞争优势受损以及敏感信息泄漏。



03安天OWASP Top 10 for LLM安全解决方案


安天下一代WEB应用防护系统从LLM查询提示词过滤与规范化、敏感数据防泄漏、拒绝服务攻击防护、基于认证的安全管控、LLM访问审计与回溯五大方面为LLM应用提供安全解决方案,规避、缓解OWASP Top 10 for LLM中的安全风险。


图2 安天OWASP Top 10 for LLM 安全解决方案


1.LLM查询提示词过滤与规范化

安天下一代WEB应用防护系统具备一系列针对LLM应用环境的安全功能,如攻击特征检测、参数约束、文件安全以及XML/JSON数据规范等。这些措施旨在对LLM的输入进行严格的检查过滤和规范化处理,规避“LLM01-提示词注入”、“LLM05-供应链漏洞”和“LLM07-不安全的插件设计”风险。

“LLM01-提示词注入”是一种高危安全风险,攻击者企图通过精心构造的输入来操控LLM,从而导致其产生不可预期的行为。产品通过对LLM输入进行深度检查过滤,及时发现并阻止LLM应用安全相关的异常输入,缓解“LLM01-提示词注入”提及的安全风险。

产品内置大量WEB应用相关的库、组件、框架的漏洞特征,能有效地防止攻击者试图利用WEB相关漏洞对LLM发起攻击。这个保护机制能在很大程度上减轻“LLM05-供应链漏洞”安全风险。产品致力于确保LLM的整体安全,避免因外部供应链漏洞对其造成安全威胁。

下面是一个安天下一代WEB应用防护系统成功防止LLM供应链漏洞利用的示例。LLM接口框架Python开发库存在任意代码注入执行漏洞(CVE-2023-29374)。产品预置的Python相关攻击特征可以有效检测攻击者利用LLM接口框架LangChain漏洞,保护相关LLM应用不受到该漏洞的影响。

 

图3 LangChain LLM供应链漏洞

 

针对“LLM07-不安全的插件设计”风险,产品采用了一系列措施来限制和约束来自LLM插件的参数和文件。这包括对其参数进行类型和范围检查,对来自插件的文件进行WebShell和病毒扫描。通过对插件数据的过滤与限制,可以缓解因“LLM07-不安全的插件设计”带来的安全风险。


2.敏感数据防泄漏

在保护隐私安全的重要环节中,安天下一代WEB应用防护系统内置丰富的个人敏感数据特征,涵盖身份证号、社保号、银行卡号、手机号等重要个人信息。产品对LLM输出数据进行实时扫描,检测其中是否包含个人敏感信息。 

同时产品支持用户自行导入适用于其业务的敏感词库,通过高速匹配算法对LLM目标数据实施快速检索,结合数据脱敏技术,及时发现并阻止敏感数据的泄漏。 

安天下一代WEB应用防护系统的上述数据防泄漏措施能有效应对“LLM06-敏感信息泄露”安全风险,确保LLM敏感数据的安全存储。


3.拒绝服务攻击防护

产品提供综合的DDoS攻击防护方案,通过将反自动化工具技术与访问频度控制策略相结合,向用户提供从IP层到HTTP应用层的多层立体式DDoS安全解决方案,有效阻止攻击者利用自动化客户端工具向LLM提交高频查询请求、滥用LLM的查询接口,降低“LLM04-模型拒绝服务”风险。 

另外,产品的业务健康监测功能能够实时监控LLM应用的运行状态。通过多维度监测指标,如业务可用性、延时、错误率等,能够及早察觉LLM应用是否正在受到拒绝服务攻击。一旦检测到目标业务异常,产品将第一时间向管理员发出告警通知,以便及时采取应对措施,减小“LLM04-模型拒绝服务”的影响。


4.基于认证的访问管控

产品的用户跟踪功能实时监控用户对大语言模型的访问活动,识别LLM API调用的用户角色并记录其权限状态。在用户跟踪功能基础之上,进而实现基于用户角色的访问管控,发现未授权的用户访问和异常的用户权限状态变化。 

“LLM10-模型窃取”风险主要是利用未授权的访问来达到窃取模型数据的目的。基于认证的访问管控策略不仅可以预防模型窃取风险,还能保障用户数据隐私,为整个LLM应用系统提供可信的环境。


5.LLM访问审计与回溯
针对已向公众开放使用的大语言模型应用,如ChatGPT,产品能够自动识别其业务流量,并对其流量进行相应的数据解析,结合用户角色、客户端类型、威胁等级等信息,对用户访问LLM的行为进行详细记录。

直观的可视化界面支持从多个视角展示LLM业务数据,允许用户从访问来源、访问用户、模型威胁等多个维度进行调查分析,快速捕捉、识别异常的活动和潜在的威胁。


图4 ChatGPT流量识别

 

通过对LLM插件、工具的模型访问行为的审计和回溯,能够及时发现其对LLM接口的异常访问,如过度的模型API调用等。结合产品内置的API访问频度控制策略,可以缓解“LLM08-过度代理”安全风险。

 

04结语


伴随着LLM的迅猛发展和广泛应用,LLM安全问题逐步突显。安天下一代WEB应用防护系统通过输入过滤与规范化、敏感数据防泄漏、拒绝服务防护、认证管控和访问审计回溯五大安全举措为LLM应用环境提供综合的安全解决方案,有效应对OWASP Top 10 for LLM中涉及的安全风险,为用户的大模型平台和应用提供可靠的安全保障。

# 安天青竹智语实验室简介 #
“安天青竹智语实验室”是安天集团为保障业务应用安全成立的实验室。该实验室在应对传统WEB应用威胁的基础上,增强API安全防护和自动化攻击防御;深度结合客户业务,发现逻辑异常、分析用户行为、追溯攻击源头,通过揭示攻击行为的深层次原因,提早发现客户业务系统漏洞,为业务稳定运行提供有效防护。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1