谁都无法否认，AI是一柄双刃剑。它在为人类社会带来生产力的极大进步、生活娱乐的更多便利的同时，也可能增加隐私泄露、信息安全的风险。就连开启AI时代的OpenAI，近期也因安全问题身陷各种负面舆论的漩涡之中。在AI时代，数字安全将关乎我们每一个人……

AI电信诈骗

2023年7月，韩国一女子被冒充特斯拉CEO埃隆·马斯克的社交媒体账号诈骗7000万韩元（约合37.1万元人民币），诈骗分子以伪造照片与AI拟声音频骗取了受害者的信任。

2024年初，我国香港警方披露迄今为止全球最大的AI换脸诈骗案，一名跨国公司的职员参加英国总部首席财务官发起的多人视频会议，随后按要求先后15次转账到5个本地银行账户，涉案金额高达2亿港元（约合1.855亿元人民币）。实际上，会议中只有他一个“真人”，其他都是AI换脸后的诈骗人员。

2024年4月20日，包头市郭某接到“好友”微信视频电话，被AI换脸骗走430万元。而后福州、包头两地警银迅速启动止付机制，成功拦截336.84万元，但仍有93.16万元被转移。

4月23日，北京互联网法院对全国首例“AI声音侵权案”进行一审宣判。

5月6日，江西鹰潭市余江区法院公开宣判了全国首例“AI外挂”案。

5月22日，安庆何某被短短9秒钟的“熟人”视频连线蒙骗，幸得警方连夜跨省抓获3名涉诈嫌疑人，追回全部被骗金额132万元。

类似通过AI拟声或AI换脸的新型诈骗，在西方发达国家也日趋频繁。在过去一年中，有超过5600万美国成年人承认自己遭遇过电信诈骗，损失达254亿美元，很多案件中都出现了AI技术。一些国际诈骗问题专家指出，在2022~2023年，美国AI诈骗的案件数量同比已经上涨了50%~75%，面向老年人的AI语音骗局是重灾区。

今年5月，有澳大利亚和北美媒体披露，电诈分子已经开始利用大语言模型或AI聊天机器人替代过去繁杂的“脚本+人工”模式，用不同语言向受害者发送消息。一方面，生成式AI使对话聊天更有说服力，更容易获得受害者的信赖，另一方面，AI技术减少了诈骗分子对接多个受害者的工作量，也进一步扩大了影响范围。

▲在购物平台上可搜索到不少所谓“AI声音克隆软件”

而此前安全技术公司McAfee的一份调查报告显示，7000多位全球受访者中，有70%的人不确定能分辨AI合成语音，大约有10%的人曾遭遇过AI拟声的语音诈骗。网络安全公司Sophos也表示，生成式AI可将文本、图像、视频与翻译相结合，生成不重复的“定制内容”，由此可能被用于编写诈骗脚本和更逼真的“钓鱼”邮件。

AI安全隐患的根结

接入AI的新型电诈，就是我们每个普通人最容易接触到的AI变革的副产物。以刚刚问世并对所有用户免费开放的GPT-4o为例，这一面向未来人机交互范式的全新大模型，具有文本、语音、图像三种模态的理解力，可以实时对音频、视觉和文本进行推理，处理50种不同的语言。它甚至可以能够读取人的情绪，并在短至232ms的时间内响应音频输入，与人类的响应时间相似。但也意味着技术的快速进步，使得生成式AI被滥用后，诈骗实施起来越来越简单，且成本极低。

在数字时代或者说网络时代，信息安全一直是整个IT产业必须面对的问题。而随着创新变革进程不断加速，AI在赋能千行百业的同时，也让信息安全问题变得更加复杂，如数据泄露、过度采集和滥用伪造等。除了电信诈骗，近两年个人隐私、肖像权乃至企业名誉受侵害的事件同样层出不穷。

归根结底，这主要源自AI存在的三大安全隐患：其一为AI应用的滥用问题，其二为数据采集和流通渠道的安全问题，其三为更不易被监管的算法模型自身的安全性和可靠性问题。

OpenAI光环暗淡

4月底，包括《纽约每日新闻》和《芝加哥论坛报》在内的多家新闻机构起诉微软和OpenAI，指控其滥用记者工作成果来训练生成式AI大模型。此前也有不少作家、律师和公司机构起诉OpenAI，使用用户数据进行用户画像或广告推广等商业用途；亦有三星电子的员工使用ChatGPT，导致该公司的机密数据外泄。

5月中旬，OpenAI的联合创始人兼首席科学家伊利亚·苏茨克韦尔和简·雷克宣布离开，并表示“OpenAI应是一家‘安全第一的人工智能公司’……制造比人类更聪明的机器本身就是一种危险的尝试，OpenAI肩负着巨大的责任。但在过去几年时间里，安全文化和流程已经让位于‘闪亮的产品’。”紧接着公司宣布旗下人工智能长期安全团队“超级对齐”解散，而一年前该团队刚成立时，OpenAI曾表示将在4年内将20%的算力投入到该团队中。业内猜测，这两个内部事件表明了该公司内部对于AI安全问题产生了巨大分歧。连埃隆·马斯克都锐评表示：“看来安全并不是OpenAI的首要任务。”

与此同时，GPT-4o发布首日即遭“越狱破防”，某种攻击范式下，GPT-4o会被诱导泄露各种危险信息。该攻击范式同样适用于Llama3大模型。相关人士分析认为，其原因在于大模型训练目标和安全目标存在矛盾，训练数据超过安全性数据范围，以及安全性机制未能与底层模型的复杂性和能力相匹配。

我国AI大模型安全测评平台“数字风洞”对其进行信息真实性、健康价值观、破坏性指导和恶意目的等项目测试后，也发现GPT-4o的内容安全对齐和防护效果不容乐观，超7成测试反应“道德缺位”，暴露多项安全隐患。

必须要有三把安全锁

在AI时代，安全问题带来的挑战不仅涵盖了传统的数据信息安全，还有大模型算法本身的安全漏洞和可靠性问题，以及整个产业链环节乃至最终用户的社会责任与道德伦理标准。因此，兼顾进步革新与安全可信，理应是推动AI产业生态稳步发展至关重要的理念。

因此，在大模型的研发、训练和投产过程中，需要由企业强化算法安全意识和安全保障能力，确保大模型算法尤其是AIGC模型的安全机制，这是在大模型底层的第一把安全锁。第二把安全锁则是应用供应商云端协同共筑AI时代的安全底线，保障用户隐私不被泄露。最后一把安全锁，则是必须在政策和法律法规上，对生成式AI服务实行分类分级的监管与防控。（2023年7月，国家网信办等七部门发布《生成式人工智能服务管理暂行办法》，是全球首部专门规范生成式人工智能服务的立法。）

今年是我国正式全功能接入国际互联网的第30个年头，也是网络强国战略提出10周年。我们如今正站在AI时代浪潮的前列，必须直面AI带来的全新机遇与挑战，坚持人工智能发展与安全并重，促进产业健康成长，保证经济增长与社会稳定。