大模型应用时代，如何应对幻觉、深度伪造带来的挑战？| 直击WAIC 2024

文生文、文生图、文生视频模型，端侧模型、开源模型集体亮相2024世界人工智能大会暨人工智能全球治理高级别会议（简称“WAIC 2024”），展现大模型赋能千行百业的“模力”，人工智能（AI）大模型落地应用无疑是今年大会的核心议题。

随着生成式AI大模型在不同场景、不同产业中应用，模型产生与现实不符的响应（即“幻觉”，hallucination）也日趋普遍，深度伪造（Deepfake）也随之兴起，由此带来的虚假内容泛滥风险，进一步滋生了诈骗、色情等违法犯罪活动，也让人担忧。

大模型幻觉问题已成为当下AI规模化应用的拦路虎，防范深度伪造也将是AI产业兴盛不得不探讨的话题。多位受访行业专家指出，在实践中可以通过引入知识图谱、RAG（检索增强生成，Retrieval-augmented Generation）、联邦学习等新技术，解决大模型幻觉问题。而利用“黑盒”大模型、硬件或者光学辅助等多层次监管和治理，可以防控深度伪造的影响和危害。

大模型幻觉、深度伪造带来风险

有一种声音认为，大模型产生幻觉是不可避免的，越来越多的案例也表明大模型出现幻觉变得普遍。美国纽约市一名律师使用ChatGPT起草了一份包含虚假信息人身伤害案件的摘要而被法院罚款。斯坦福大学和耶鲁大学的研究人员在最近对三种流行的大语言模型（LLM）的研究预印本中发现，类似的错误在人工智能生成的法律输出中非常普遍。

幻觉是影响大模型落地的重要问题之一，引起了人们对人工智能系统的可靠性和可信度的严重担忧。蚂蚁集团CTO（首席技术官）何征宇对记者表示，“生成式AI要实现更广泛的应用，必须克服这一点。任何一项技术真正落地的过程中，可靠性都必须解决。一项技术如果不可靠，那么只能是实验室的产品，或是一个玩具、一个噱头。今天的人工智能90%的时间是可靠的，但是10%的时间是不可靠的，会说糊话、瞎话。如果不能克服，AI难以实现规模化的技术适用。”

幻觉之外，AI规模化应用的另一个挑战是深度伪造带来的风险。深度伪造指的是基于深度学习算法，从大量的视频和图像数据中学习，伪造出逼真的面部动画和语音。随着深度学习技术与AIGC（生成式人工智能）在视频和图像生成领域的广泛应用，当前生成视频质量越来越贴近真实视频且以更低成本普及。

深度伪造不仅增加了公众识别视频真伪的难度，也进一步滋生了诈骗、色情等违法犯罪活动的风险和隐患。国内外多份调研报告指出，近年来与AI相关的黑产活动明显上升。根据身份验证提供商Sumsub最新年度报告，2022年至2023年期间，全球多国与深度伪造相关的身份欺诈案件激增，例如菲律宾的诈骗企图数量同比增长4500%。

据央视报道，仅在2022年，美国就发生了240万起人工智能相关诈骗案。此外，利用虚拟或合成身份盗用或注册他人账号骗取养老金、骗取人寿保险等潜在风险极大。

信也科技副总裁、大数据及AI负责人陈磊在接受记者专访时表示，随着大模型的应用，可能存在隐私泄露和输出答案不正确的问题。具体到金融领域，对用户信息保护和资质评估都会带来挑战。此外，大模型还被用在不合适的场景，比如深度伪造，随着大模型生成能力不断增强，生成出来的音视频可以以假乱真，让人难以辨别真伪。

以虚假语音为例，陈磊说，大模型能够生成多种虚假语音，这些虚假语音更真实、拟人，对话流畅，为虚假语音识别带来更大的挑战。尤其在金融科技领域，犯罪分子可以通过合成语音冒用他人身份牟利，给用户和机构造成巨额损失。目前语音鉴伪技术的发展滞后于语音合成技术。这是因为声音是一维的连续信号，同时包含了口音、语调、方言等多种个人特征信息，语音处理也易受外界干扰。虚假语音的分析处理比二维图像更复杂、门槛更高，使得业界对语音鉴伪的关注度较低。

此外，小雨点集团首席技术官许慎在接受记者采访时指出，现在大模型的应用行业主要集中在“会说会写”的内容生成方面，金融行业需要大模型具备“会看会听”的能力，这是我们应用大模型的主要发力领域。数据的安全、隐私的安全，是当前真正需要迫切去解决的问题。如果这些问题解决不好，会非常影响大模型和AI技术的使用规模。

用AI监督AI 加强协同治理

如何避免大模型出现幻觉，如何治理深度伪造问题？记者在今年大会现场找到了一些解决方案，蚂蚁展台展示了“多模态AI鉴真”互动产品，该产品具有AIGC检测和证照深度合成检测两大能力。观众可选择证照、音频、视频等多样化素材，该互动会先对这些素材做一番伪造模拟生成。之后，该产品能对上述伪造的素材快速进行精准鉴别，并形成检测报告。

在“谍影重重”互动装置前，观众还可用一场情景剧的方式打开深度伪造的攻防“魔盒”。首先，用户在该装置上传一张照片，可通过AI换脸合成一张新的人脸照片。下一步，可使用合成后的照片甚至视频去刷脸，该互动能够鉴别出该照片或者视频是否是AI合成，进而阻止风险行动。

“深度伪造的攻和防是一个相对且不断精进的过程，你在进步，深度伪造也在进步，我们要做的就是跑在它的前面”。蚂蚁展台工作人员告诉记者，在真实的生产场景，“蚁天鉴”AI鉴真解决方案支持多模态内容真实性和深度伪造检测，防范深度合成技术滥用风险，图像识别准确率达99.9%。

陈磊建议，首先，个人层面要谨慎分享个人照片、视频等，减少被用于制作深度伪造内容的风险。其次，对重要信息通过多个渠道交叉验证，不轻信单一来源。第三，技术层面看，有几个层次，一是在调用开源模型时自动生成“AI生成”的标记；二是用“黑盒”大模型对抗AI深度伪造，建立异常回收和共治生态；三是通过硬件层面和流程机制实现识别和防控，现在在活体识别中有“炫彩”功能，利用硬件或者光学辅助来制造识别环境中的扰动因素，以此来判定是否是真实人脸。

至于大模型幻觉问题，何征宇认为，这是由于当下技术不够成熟，技术是演进的，就像无人驾驶和新能源车的发展。随着技术的发展，这些问题会逐步解决。大模型本质上是概率问题，在实践中可以通过引入知识图谱、RAG（检索增强生成）等新技术，将输入和输出的知识框起来，可以解决大模型幻觉这类问题。

许慎指出，有关对待大模型应用中的幻觉问题，现阶段一大思路是模型应用上要明确责任主体，责权一旦分清楚，相应的监管框架规范清晰以后，自然而然能缓解和控制幻觉出现的影响和风险。当然，在技术层面要尽可能降低大模型出现幻觉的可能，除了模型技术本身，这背后也与数据的质和量息息相关。只有数据的数量和质量达到一定水平后，用得越多，用得越深入，才能积累更多高质量的数据，从而逐步降低大模型出现幻觉的概率，形成良性正反馈循环。

“联邦大模型技术路线通过其独特的设计，不仅解决了数据时效性、模型幻觉、专业知识融合及算力资源消耗等挑战，而且在保护数据隐私和促进AI技术公平性方面迈出了重要一步，为大模型在各领域的广泛应用开辟了新的可能。”微众银行人工智能首席科学家范力欣表示。

马上消费人工智能研究院院长陆全对记者表示，AI原生（AI Native）与风险伴生，技术发展和治理并非孤立存在的两个方面，而是一个整体系统中的不同维度，覆盖全生命周期。多智能体的AI治理路线提倡建立一个面向即时消费场景的治理框架，强调多智能体系统在AI治理中的重要性。这种框架支持不同智能体之间的协作与协调，实现更加高效和精准的AI治理。

陆全倡导构建一个开放的生态系统，鼓励多方参与，包括政府、企业、学术界和公众等，共同参与AI治理。这种新模式强调协同合作，通过共享资源和知识，实现更广泛的AI治理目标。

记者/摄影：余继超

编辑：姚惠

责任编辑：毕丹丹

—— / 好文推荐 / ——

• 拜登、特朗普首轮对决
• 新公司法施行，董责险能否再掀投保热潮
• 收益超30%！公募“中考”成绩单出炉
• 靠低价套装、短剧营销，韩束还能火多久？
• 首实探苹果Vision Pro国内发售现场
• 小罐茶创始人道歉，天价茶叶并非“大师作”

点亮“在看”，你最好看！(*╯3╰)