AI诈骗的终极形态

本文节选自《AI，一败涂地？》

本文约80%的内容系借由AI工具撰写

2023年初，跨国工程公司Arup香港分公司的一位员工，收到了一封会议邮件。邮件邀请他参加一次由总部高管发起的重要会议。

这名员工最初有些怀疑，毕竟几乎所有的现代职场人都见过钓鱼邮件。但当他根据邮件中的链接进入会议之后，他就完全放松了警惕。

会议上，包括该公司CFO在内的多位高管全都在场，而且全部打开了视频和麦克风。他们谈论了关于一场秘密收购的信息，在会议上，这名员工没有发言机会，高管们相互讨论，然后给一些“中层员工”下达了指令。

如果你曾在大厂工作过，就会觉得这种会议十分自然，因为一些偶然原因你被你的上级领导拉到一个高层级会议中列席，也许是因为会议讨论的后续工作需要你来执行。唯一的问题是，在Arup的案例中，那名通过邮件链接接入会议的员工，是唯一的“真人”。

紧接着，与会议有关的后续工作，通过即时通信和电子邮件来了——一位领导要求这名员工将2亿港元（约合1.8亿元人民币）分别转入5个账户中。

这名员工不疑有他，分 15 次将公司账户上的钱转了出去。

直到五天后，他才在与总部的沟通中意识到自己被骗了。

根据香港警方的通报，诈骗分子利用该公司在YouTube和其他渠道获取了公司的高管音视频信息，然后利用Deepfake技术制作了该公司不同层级高管的“虚拟人”，最后，通过脚本设计预录了那场让员工落入圈套的“高层会议”，滴水不漏地完成了骗局。

这可能是史上第一起涉案金额如此巨大的AI诈骗案。但遗憾的是，我们几乎可以确定这不会是最后一起。

因为，正如互联网行业本身的发展一样，AI技术的爆发，让互联网诈骗也迎来了某种“终局”景象。

在互联网的蛮荒时代，当拨号上网不可或缺的“猫”还在发出刺耳的啸叫时，网络诈骗的萌芽已悄然破土。彼时的网络世界宛如一片未经开垦的荒野，法律法规尚未完善，用户的安全意识也未觉醒，这为形形色色的网络诈骗提供了温床。

1994年，一封来自“尼日利亚王子”的电子邮件，开启了互联网诈骗的先河。这封邮件的主人自称是尼日利亚皇室成员或政府高官，因政变或其他原因被冻结了巨额资产，急需一位“可靠的外国友人”帮助转移资金。作为回报，这位“王子”承诺将给予受害者巨额佣金。

这在今天听起来无异于一个荒诞不经的故事，却在当时骗取了无数人的信任。毕竟，在那个信息闭塞的年代，人们对异国风情的想象远多于了解。再加上邮件中充斥着“殿下”、“阁下”等尊称，以及对巨额财富的诱惑，使得不少人放松了警惕，纷纷落入“尼日利亚王子”的圈套。

“尼日利亚王子”骗局的成功，催生了大量的模仿者。一时间，各种“王子”、“公主”、“酋长”纷纷涌现，上演了一出出“宫廷大戏”。这些诈骗邮件虽然内容大同小异，但总能找到新的猎物。据估计，仅在20世纪90年代，“尼日利亚王子”骗局就给上当者造成了数百万美元的损失——那可是一个连网络汇款都尚未诞生的时代。

随着电子商务的兴起，网络诈骗的手段也日趋多样化。1995年，亚马逊成立，标志着电子商务时代的到来。然而，与之相伴而生的，是信用卡诈骗和钓鱼网站的泛滥。

信用卡诈骗的套路很简单，诈骗者通过各种手段获取受害者的信用卡信息，然后盗刷信用卡。这些手段包括：

伪造网站或电子邮件：诈骗者会模仿银行或电商平台的网站或电子邮件，诱骗受害者输入信用卡信息。

安装恶意软件：诈骗者会通过电子邮件或其他方式传播恶意软件，窃取受害者的信用卡信息。

社交工程：诈骗者会通过电话或其他方式，冒充银行或电商平台客服，诱骗受害者提供信用卡信息。

在互联网的蛮荒时代，网络诈骗虽然手段相对简单，但造成的危害却不容小觑。这些早期案例为后来的网络诈骗发展奠定了基础。我们可以发现，蛮荒时代的这些骗术，至今有些仍然活跃在我们的网络生活里。

进入21世纪，互联网不再是新奇事物，而是融入生活的日常。然而，网络诈骗也在这片日益熟悉的领域中迅速进化，手段层出不穷，令人防不胜防。互联网欺诈不再是1.0时代，仅用“话术”与“套路”，而是开始采用更多技术手段，欺骗那些刚刚触网，对互联网还不甚了解的广大网民。

2003年，美国发生了震惊全美的“AOL网络钓鱼”事件。数百万AOL用户收到一封看似来自AOL官方的电子邮件，要求他们更新账户信息。然而，点击邮件中的链接后，用户却被引导至一个伪造的AOL网站。在毫不知情的情况下，用户输入了自己的用户名、密码，甚至信用卡信息，这些信息随即被诈骗者窃取。

随着宽带网络的普及，木马病毒和勒索软件也开始在互联网上肆虐。2007年，一款名为“Storm Worm”的木马病毒在全球范围内爆发。该病毒通过电子邮件传播，一旦感染电脑，就会窃取用户的个人信息，并将其发送给诈骗者。更可怕的是，“Storm Worm”还可以将受感染的电脑变成“僵尸网络”的一部分，用于发送垃圾邮件、发动DDoS攻击等。

2017年，一款名为“WannaCry”的勒索软件席卷全球。该软件利用Windows系统漏洞，加密受害者的文件，并要求支付赎金才能解密。短短几天内，“WannaCry”感染了全球数十万台电脑，造成了巨大的经济损失。

在21世纪的最初十年，社交媒体的兴起也为网络诈骗提供了新的平台。Facebook、Twitter等社交平台成为了诈骗者的乐园。

国内俗称的“杀猪盘”，也就是情感诈骗，其实早在这个时代就已经“风靡全球”。诈骗者通常会伪装成高富帅或白富美，在社交媒体上结识受害者。通过甜言蜜语、嘘寒问暖，诈骗者逐渐获取受害者的信任，然后以各种理由诱骗受害者转账汇款。

2018年，一位名叫“安娜·索罗金”的年轻女子在纽约社交圈掀起了一场风暴。她自称是德国富豪的继承人，拥有巨额财富和艺术品收藏。她出入高级酒店、餐厅，结交名流富豪，过着奢华的生活。然而，这一切都是建立在谎言之上的。

安娜·索罗金实际上是一名来自俄罗斯的移民，她通过伪造银行账单、编造虚假身份，成功骗取了银行贷款、朋友的信任，甚至免费入住豪华酒店。她的故事被媒体曝光后，震惊了整个纽约社交圈。

安娜·索罗金的案例并非孤例。在社交网络上，类似的“假身份攻击”层出不穷。诈骗分子们通过伪造个人资料、发布虚假信息，甚至利用Photoshop等工具手工制作虚假照片，将自己包装成高富帅、白富美，或其他具有吸引力的形象。他们利用人们对美好生活的向往，以及对社交网络上信息的轻信，一步步引诱受害者上钩。

2019年，一位名叫“西蒙·列维耶夫”的以色列男子在Tinder上冒充钻石大亨的儿子，骗取了多名女性的感情和金钱。他通过租借私人飞机、豪车，以及在社交媒体上炫富，营造出富二代的形象。一旦取得受害者的信任，他便以各种理由借钱，然后消失得无影无踪。

移动互联网的发展也催生了手机短信诈骗和二维码诈骗等新型诈骗手段。诈骗者通过短信发送虚假中奖信息、冒充银行客服发送钓鱼链接，或者在公共场所张贴带有恶意二维码的广告。一旦受害者上当，就会遭受经济损失。

时间来到2020年，图像、声音、文字等媒介领域的AI技术相继升级，互联网诈骗终于进入了“全新level”。

就像 在其他领域展现的生产力那样，AI不止是一种工具，而是一种可以串联此前所有诈骗技术、思路和方法的集大成者。

Deepfake技术的不断升级，让虚假视频逐渐达到了能够以假乱真的地步。受害者不仅能看到骗子熟悉的面孔，甚至连细微的表情、语气都与真人无异。试想一下，当你的亲人、朋友、同事，甚至领导出现在视频中，用他们一贯的口吻向你求助，你是否还能保持警惕？

多模态攻击更是将诈骗的迷惑性推向了极致。诈骗者可以综合运用语音合成、图像处理、自然语言处理等多种AI技术，打造出全方位的“沉浸式”诈骗体验。你可能会接到一通由AI模仿的亲友的电话，同时收到一封由AI生成的邮件，甚至看到一段由AI合成的视频，所有信息都指向同一个诈骗目标。在这种情况下，即使是最谨慎的人也可能难以分辨真假。

AI的自动化和规模化能力，让诈骗变得更加高效、低成本。诈骗者只需编写一个脚本，AI就能自动生成大量的诈骗内容，并通过社交媒体、短信、邮件等渠道进行传播。这种“广撒网”式的攻击，让更多的人暴露在诈骗风险之下。

更令人担忧的是，AI诈骗的攻击目标不再局限于个人用户，而是开始瞄准企业、政府等机构。试想一下，如果一家银行的系统被AI诈骗团伙攻破，或者政府网站被AI伪造的虚假信息所淹没，将会造成多么严重的后果。

AI诈骗的终极形态，就像是一场数字时代的“军备竞赛”。诈骗分子利用AI不断升级自己的武器，而我们则需要不断提升自己的防御能力。这是一场没有硝烟的战争，但其后果却可能比真正的战争更加严重。

从“诈骗方”的角度讲，前述针对Arup的诈骗似乎还有“升级用户体验”的空间——如果你曾在最近看过一些短视频，就会发现一些高质量的数字人，已经可以在直播过程中做到天衣无缝。

这意味着，以后的诈骗犯甚至可以换上你老板的脸和身形，在视频通话中直接与你互动，而不是让你“旁听”一场会议。这也意味着，你只通过简单的让他在镜头前“眨眨眼睛”、“挥挥手”或是“扭扭头”已经不能被当作可信的验证手段了。

德勤在2024年5月发布的报告预测，随着生成式人工智能质量越来越好，价格越来越低，其被用来诈骗的可能性将越来越高。报告预计，到2027年，仅在美国范围内，生成式人工智能欺诈锁造成的损失就会增至400亿美元，复合年增长率为32%。即便是保守预测，这一数字也会高达220亿美元。

为了获得更大的收益，人工智能诈骗团伙更有可能瞄准金融机构而非个人用户。在以往的语境中，个人受害者更有可能受到诈骗的影响，而金融机构由于拥有完善的安全与风控措施，往往是诈骗团伙的“禁区”。

但由于生成式人工智能技术的突飞猛进，传统金融机构在技术演进上节奏过慢的保守策略，反而可能使得他们成为更脆弱的攻击目标。

无独有偶，在上述德勤这份报告发布一个月之后的6月11日，数字加密货币交易所OKX就遭到了一个AI诈骗团伙有组织的攻击。该团伙通过Deepfake AI，绕过了该交易所对用户的人脸识别安全措施，在25分钟内从数个账户中转走了价值1100万美元的数字加密货币。

在欧洲数字身份公司Signicat于2024年5月30日发布的另一份报告中显示，根据他们的抽样评估，目前已经检测到的诈骗中有42.5%使用了人工智能技术。而在这些使用人工智能的诈骗攻击中，有29%绕过了对应的安全策略。报告还强调，在过去的3年里，全球身份类诈骗攻击增加了80%。而由Deepfake驱动的诈骗攻击增长了2137%。

Deepfake并非唯一被用于诈骗的技术，在“诈骗脚本编写”和“诈骗话术生成”方面，自2022年末以来爆发的大语言模型也“大展身手”。

2024年3月于IEEE上发表的一篇名为《使用大型语言模型设计和检测网络钓鱼电子邮件》的论文中，对比了三种方式生成钓鱼邮件的成功率。

其分别是，让GPT直接生成（点击率37%），由人工遵循一个专门撰写诈骗邮件指南撰写（点击率74%），由GPT生成后遵循指南撰写（点击率62%）。

也就是说，经过合理的微调与自动化设计，撰写钓鱼成功率超过50%的诈骗邮件将不再需要诈骗犯“亲自动手”。尽管AI在这方面看似没有真人更熟练，但AI却可以“不眠不休”地工作。

当AI像解放其他岗位劳动力那样解放“诈骗犯”的劳动力时，我们将迎来千人千面、无限供给、个性化定制的诈骗邮件与文案，这将进一步瓦解潜在受害者对诈骗攻击的识别。

但好消息是，GPT-4对诈骗邮件的识别率也高达98.4%——无论这些诈骗邮件是由人还是AI写的——这一概率远远超过了任何人类群体。

面对诈骗分子对我们发起的全方位、全流程、全拟真网络诈骗，提升全民数字素养和反诈意识可能是效果最好，但也是起效最慢的方法之一。

独立反诈公司Gogolook和全球发展联盟在2023年11月发布的《亚洲诈骗报告》显示，中国和日本有40%的诈骗受害者将自己的不幸，归咎于自身未能及时识别诈骗行为。相比欧美地区，更加依赖线上支付与线上购物的亚洲地区的普通人更容易因数字素养差距遭遇诈骗。

报告还认为，针对敏感人群开展防范网络诈骗的专项教育是一项非常有效的措施。

中国在2021年3月，上线了国家反诈中心App，这是全世界首个集主动防御与反诈教育培训于一体的反诈体系。根据官方数据，仅上线第一年的9个月里，国家反诈中心就成功阻止了超过3200余亿元人民币的诈骗转账，拦截诈骗电话15.5亿次，成功避免2800余万名民众受骗。

当然，防范诈骗不可能完全依靠潜在受害者知识水平的提高，在源头和中间环节也需要由社会各方共同努力。

在源头上，一方面是对AI服务商的要求：AI产品或服务的提供者，应该在发布或运营其产品的过程中，意识到AI被滥用的可能，在产品或服务上增加安全性的措施，比如：

数字水印：在AI生成的内容中嵌入不可见的数字水印，以便识别和追踪。

内容审核：对用户提交的生成请求使用另一个独立AI审核，过滤掉可能用于诈骗的内容。

用户教育：向用户普及AI诈骗的风险和防范措施，提高用户的安全意识。

另一方面，则是加强对AI技术滥用的法律监管，明确AI诈骗的法律责任，加大对AI诈骗的打击力度。

在中间环节，金融机构和科技公司需要加强合作，共享反诈骗情报，共同研发更先进的反诈骗技术。例如：

多因素身份验证：除了人脸识别外，还可以结合指纹、声纹、短信验证码等多种方式进行身份验证。

异常行为检测：通过机器学习算法分析用户的行为模式，及时发现异常操作并发出警报。

实时风险评估：在交易过程中对风险进行实时评估，根据风险等级采取相应的防范措施。

除了技术手段，金融机构还需要加强员工培训，提高员工对 AI 诈骗的识别能力，建立完善的内部举报机制，鼓励员工及时报告可疑活动。

当然，AI诈骗的防范是一个长期而复杂的过程，需要政府、企业、个人等多方共同努力，才能有效遏制AI诈骗的蔓延。

本文来自微信公众号“腾讯研究院”（ID：cyberlawrc），作者：腾讯研究院，36氪经授权发布。