黑客盯上了大模型

攻击者的攻击目标从传统的资产盯上了AI算力基础设施和大模型。过去短短一年时间，针对大模型的攻击手段已经涌现出10种不同的类型。

ChatGPT的发布，在带动新一轮人工智能浪潮的同时，也驱动了网络攻击和网络犯罪的升级。

“过去，黑客生产一个攻击病毒需要数月时间，现在通过大模型工具可能几分钟就能生成，大大提高了攻击的效率。同时大模型对于编程语言的理解也非常强，攻击者可利用大模型迅速发现软件的漏洞。还有一波急功近利的黑客，利用AI的算法在视频中做人脸的深度伪造，产生了新一波网络诈骗犯罪的涌现。”亚信安全高级副总裁陈奋在接受《科创板日报》采访时表示。

同时，攻击者的攻击目标从传统的资产盯上了AI算力基础设施和大模型。“年初美国一个数千台服务器的算力集群被攻破，黑客拿去挖比特币。AI算力基础设施就是高价值的GPU集群，这无疑具有巨大的诱惑力，甚至大模型本身也有可能被利用。过去短短一年时间，针对大模型的攻击手段已经涌现出10种不同的类型。”陈奋称。

目前，国内外厂商都针对大模型领域推出了安全产品。微软在5月份正式商用了Security Copilot，声称在未来要投入千亿美金在人工智能上。谷歌去年发布了网络安全专有大模型，已经应用到云安全能力中心中。网络安全巨头Paloalto、CROWDSTRIKE均在其安全运营平台集成了大模型的安全运营能力。

国内的相关数据显示，80%以上的网络安全公司都在将大模型技术集成到网络安全产品中，30%的公司已经开始做大模型安全的研究，也出现了一些安全创业的浪潮。

针对AI技术发展带来的安全风险，中国工程院院士、清华大学智能产业研究院院长张亚勤则建议，从事前沿大模型的企业或机构，要把10-30%的投资投到相关研究或产品的开发。

黑客盯上大模型

在张亚勤看来，人工智能特别是大模型在带来新机遇的同时，本身存在很多安全风险，这促使信息安全的范畴需要扩大，包括AI本身的安全风险，模型的参数数据、模型对人类的攻击性，不可解释性、黑箱等，以及可控性、可信性、边界等问题。

陈奋向《科创板日报》记者介绍，去年已经发现了针对大模型的海绵样本攻击。大致原理是通过向大模型发布特殊的样本，让算力消耗急剧上升。原来几秒钟能做出响应的需求，被攻击后需要大量的时间计算。哪怕停止攻击以后，同样的一个请求，大模型也需60秒以上才能返回，即原来的20倍以上。

“如果未来的核心应用是大模型驱动的AI原生应用，基本上等于瘫痪了。这只是一个相对基础的攻击事例，可以看到针对大模型攻击很快会到来。”

谈到AI对安全产业的影响，陈奋认为，大模型技术、GPT技术必然带来网络安全产品技术范式的革新。网络安全的攻防从原来人和人之间的对抗，升级到AI和AI之间的对抗。只有AI驱动的网络安全防护检测技术才能识别AI驱动的黑客攻击技术。最典型的案例是深度伪造，人眼可能都看不出来的人脸替换，只有通过AI技术才能识别出来。

同时，大模型技术将推动网络安全产品全面革新，从检测到产品体验、安全运营，带来网络安全产品设计范式全面的变化。这意味着安全厂商如果不及时转型，将丧失未来的竞争力。

此外，保护的对象也发生了变化。对于企业而言，如果未来其核心应用是通过大模型驱动的，那么保护企业的资产就从传统的资产演进为保护企业的AI中心。在个人的家庭安全方面，也从原来个人的家庭终端演进为保护家庭的AI中心。

“从传统个人的桌面、手机，演化到智能家居、智能汽车，甚至未来每个家庭可能都有一个人工智能。一旦AI走进千家万户，私人所有的数据人工智能都会知道。如果AI被黑客所控制，那是非常可怕的。个人的隐私、数据，可能就被黑客窃取走了。”陈奋称。

安全厂商纷纷入局大模型

自大模型热潮以来，国内已有多家安全厂商纷纷推出了安全大模型。例如亚信安全推出了网络安全自研大模型信立方，奇安信推出了Q-GPT和大模型卫士、深信服有安全GPT2.0，启明星辰等厂商也都推出了相关产品。

陈奋认为，大模型时代的安全问题可分为两大类，一是Security For AI，主要聚焦在保护算力安全的基础设施，以及保护大模型的安全；二是AI For Security，主要聚焦在网络安全行业的垂直大模型的研发，以及在此之上做网络安全的智能体以及安全应用。

《科创板日报》记者了解到，除了深度微调开源大模型，亚信安全也与业内的大模型公司比如与智谱AI合作；在算力生态上，与星云算力等算力公司进行合作；在科研生态上，与清华大学合作建立了联合实验室。

“如果自己构建算力中心，代价很大。所以我们选择跟算力公司合作，租用其算力节点，按需获得想要的算力。他们则会直接买我们算力云的安全解决方案。我们既拿到了想要的算力，又能够提供我们的安全服务。”陈奋表示。

对于大模型的开源和闭源路线之争，陈奋介绍，“我们自己也微调了很多开源大模型，确实能达到一定的效果。有些场合上，闭源的大模型效果应该是最好的。在行业场景上，闭源大模型带来的通用能力会比开源得更好，所以我们坚持闭源和开源相结合路线。”

至少10%的大模型研发经费要投入至安全风险

在AI所带来的安全风险方面，张亚勤介绍，“近一到两年来个人花了很多时间在做相关的事情”，包括专门成立一个20人左右的“人工智能发展与治理专题研讨会”——参与人员包括三位“图灵奖”获得者和两位深度学习领域的开创者，每过一段时间就一起研讨AI的发展和风险治理。

“我们认为，AI技术发展带来的安全和风险不仅是政策制定的问题，也不单纯是科学、技术、产品问题，需要做政策治理的人员和做科研的一起合作，将AI发展和治理融合起来，才有健康的发展。”张亚勤说。

为此，张亚勤提出了5个建议：

一是要对AI大模型分级管理，万亿甚至更多参数的前沿大模型的风险相对较高，应加强监管。对于一般的模型就不需要太多的治理，现在技术和政策法规已经可以了，最高级别需要治理。

二是对AI生成的内容要有清晰标识，比如对AI生成的数字人，要像“广告”标识一样有醒目的标注，让人知道这是AI生成的。

三是要有实体映射系统。张亚勤判断，未来会有很多无人车、很多机器人，十年之后人形机器人可能比人类要多很多倍。而AI智能体、机器人、无人车等，应明确其作为“从属物”映射到人或企业的主体，相关智能体出现问题，应追溯其主体责任。他提出，现在就应着手制定相关政策法规。

四是要加大对大模型风险安全的投入。他呼吁，政府或企业在开发AI大模型过程中，要拿出10%~30%的投入在安全风险的研究或产品开发。张亚勤说：“一开始就拿出30%比较难，可以先拿出10%做安全和风险的研究和创新产品。”

五是要设立具体的红线边界。他提出，AI技术有时没有边界，这也是大模型会产生幻觉的原因。因此人在使用大模型时，需要制定一些边界。比如智能数字人不能无限制地复制，大模型用于金融、军事、无人车等核心系统设施时要设立清晰红线等。

“这不仅仅是一个企业的事，不仅仅是国家的事，需要全球的企业和政府精诚合作，面对风险、面对存在的问题去解决。”张亚勤最后提到。

本文来自微信公众号“财联社AI daily”（ID:gh_f7653dea6e99），作者：黄心怡，36氪经授权发布。