“智能换脸”引恐慌，生成式AI面临三大风险

伴随生成式AI技术的快速发展和广泛应用，随之而来的法律风险与司法适用难题愈演愈烈，亟待破解

文｜张平

编辑｜郭丽琴

以ChatGPT、Sora为代表的生成式AI（人工智能）技术，基于其强大的学习能力与内容生成能力，成为推动新一轮产业升级的核心技术工具。

AI的重要性不言而喻，不论是2024年多个诺贝尔奖获得者对于AI的关注，抑或以OpenAI、谷歌、微软为首的100多家企业共同签订《人工智能公约》，中国也适时提出“人工智能能力建设普惠计划”，并呼吁各方对AI能力建设加大投入。这些均表明，AI已成为全世界、全人类所共同关注的关键话题。

与此同时，一些新技术引发的社会问题也蔓延全球。例如，2024年5月21日曝光的“首尔大学版N号房”事件中，两名嫌疑人涉嫌利用女校友的毕业照片和社交媒体照片，非法合成淫秽视频，传播到一款加密即时通信软件上的聊天房中，邀请具有“变态性癖好”的人参与。2024年8月，韩国再次曝出采用新犯罪手段的 “Deepfake”（深度伪造技术）事件，更是涉及未成年女孩，成为新型N号房事件。Deepfakes使用生成式AI技术，将个人的声音、面部表情及身体动作拼接合成虚假内容，极大影响了个人的合法权益与社会的公共利益。

这背后，是生成式AI的研发与应用带来的一系列法律风险及司法适用难题的缩影：不仅涉及知识产权保护、个人隐私保护，以及内容的真实性和可靠性等问题，其智能化的特点也可能引发AI法律主体地位、侵权责任认定等问题。

面向2025年，笔者试图深入探讨这些难题背后的成因，并提出相应的对策建议，以期为相关法律的完善和司法实践提供理论支持和实践指导。

生成式AI的主要法律风险

对公众而言，首要的危害便是深度伪造与虚假信息。

深度伪造（DeepFake）具有内容的高度真实性与应用范围的普遍性。深度伪造技术，一般指的是通过生成式对抗网络（GANs）等技术手段分析海量数据，学习特定的面部形态、表情模式以及动作特征等内容，创造出了大量虚假内容的智能视频生成技术。对该技术的滥用，极容易导致虚假信息的泛滥、降低社会公众的信任感以及公共利益的损害。

一般而言，基于深度伪造技术所生成的虚假内容一旦与特定的视频、音频片段结合，容易导致虚假新闻、诽谤侵权等法律风险，尤其是通过该技术制作政治人物或特定事件的虚假内容，极容易损害社会公共秩序与国家安全等核心利益。韩国出现的新型“N号房”事件，就是此类技术带来危害的代表。

第二类是知识产权侵权风险。

生成式AI技术通过学习大量数据集，能够创造出新的文本、图像、音乐等作品，这一过程涉及复杂的算法和数据处理技术。然而，这些应用在著作权领域引发了诸多挑战。

具体而言，在前端的数据训练环节，由于生成式AI的迭代升级需要海量数据作为训练“养料”，且基于高质量训练数据的需求，生成式AI在前端数据训练的过程中不可避免地接触大量作品内容。一旦生成式AI研发者未经著作权人许可，擅自使用作品数据以训练AI模型，则容易导致著作权侵权风险。与此同时，基于海量数据所生成的内容，如果与现存的著作权人作品存在“实质性相似”，则同样容易侵犯著作权人的合法权利。

在全国首例生成式AI侵权一案中，原告认为被告在未经许可的情况下，在被告所经营的AI绘画网站中生成了与原告作品实质性相似的内容，如输入“奥特曼”和“奥特曼融合美少女战士”即生成了奥特曼形象图片以及奥特曼形象与美少女形象融合的图片，法院因此认定被告利用AI所生成的内容侵犯了原告的复制权、改编权，应承担相应的侵权责任。

显然，目前生成式AI的知识产权侵权风险已逐渐引起理论与司法实践的关注，如何平衡技术发展需求与作者的合法利益已成为重中之重。

第三类涉及隐私与个人信息保护风险。

在生成式AI模型的训练与应用阶段，隐私与个人信息的安全性问题日益凸显。造成这一问题的主要原因在于，这些模型通常依赖于大规模的数据集进行学习，而这些数据集可能未经充分脱敏，从而包含了相关隐私信息或敏感个人信息。

在数据预处理阶段，生成式AI模型可能会从公开渠道抓取大量未经筛选或未经标记的数据，这些数据可能含有个人身份信息、金融账户信息或其他敏感信息，增加了隐私泄露的风险。此外，生成式AI在生成内容时，可能会不当使用这些个人信息，从而在用户交互中无意中泄露了他人的隐私。这种现象不仅涉及技术层面的挑战，也触及了伦理和法律的边界，需要通过技术、法律和伦理的综合策略来共同应对和解决。

司法适用中的难题

司法实践层面生成式AI还可能造成适用难题。这些难题不仅包括真人驱动型数字虚拟人的法律主体地位分析、现有AI制度规范与实践的不适应，还包括生成式AI侵权责任的认定问题。

首当其冲的难题是真人驱动型数字虚拟人的法律主体地位问题。

AI技术之所以引发理论与实践层面的高度关注，不仅在于技术对于经济社会发展的极大赋能优势，还在于AI技术“类人化”特性所可能导致的法律与伦理危机。其中，对于AI法律主体地位的争议已成为科技与法律关系关注的焦点问题，尤其是对真人驱动型数字虚拟人法律主体地位的探讨。

真人驱动型数字虚拟人指的是通过运用多项AI技术，捕捉真人动作、表情形态等行为特征所创造虚拟数字人形象。目前，司法实践中对于真人驱动型数字虚拟人的法律主体认定持否定态度，认为虚拟数字人并非法律意义层面的自然人，无法享受属于自然人的法律权利。

在全国首例涉“虚拟数字人”侵权案中，法院认定案件所涉及的虚拟数字人“在某种程度上仅是作者进行创作的工具，不具有作者身份”，因此不享有表演者权以及其他著作权利。这意味着，尽管AI技术在一定程度上挑战了传统民法体系中自然人主体的相关理论，但司法实践中对于真人驱动型数字虚拟人的法律主体认定仍持谨慎态度。这种立场反映了法律对于新兴技术现象的适应性和审慎性，同时也指出了法律在AI主体认定上的困境。

第二个难题是现有制度规范与实践的不适应。

在关注因生成式AI所引发的法律问题之时，也同样需要注重现有制度规范与实践之间的协调关系。目前，生成式AI技术的出现引发了诸如知识产权侵权、隐私与个人信息保护等法律问题的探讨，其根本原因主要在于现有制度规范的缺失与实践对相应制度规范的需求之间的矛盾。

以生成式AI训练数据为例，基于著作权事前授权模式的限制，生成式AI难以在获取海量数据之前逐一获得著作权人许可，因此是否需要通过突破现有著作权规则推动技术的创新发展存在争议。此外，公众对于知识产权、隐私与个人信息的保护需求日益增长，这要求法律制度和伦理规范必须不断完善。如何在推动技术发展与保护合法权益之间寻求平衡，已经成为实践关注的焦点。

总结来说，需要尽快完善与生成式AI相关的制度规范，弥补因技术发展所产生的规范漏洞，同时加强理论与实践之间的紧密联系。

此外，生成式AI侵权责任认定同样成为司法实践中的一大难题。

在生成式AI所引发的著作权侵权纠纷中，由于AI所生成的内容不仅包含用户对于指令内容的贡献，还包括AI服务提供者对于技术工具的贡献，这导致了在著作权侵权纠纷中难以准确界定侵权的行为主体。

此外，侵权责任的承担同样成为司法实践中的一大难题。生成式AI技术通过学习和模拟大量数据，能够生成与人类创作相类似的文本、图像和音频等内容。然而，当这些由生成式AI所生成的内容涉及著作权侵权时，责任的承担变得尤为复杂。

造成以上问题的主要原因在于，当侵权行为发生时，传统的侵权责任认定规则可能难以准确适用。例如，如果生成的文本或图像侵犯了他人的著作权，那么确定责任归属可能需要考虑多个因素，包括用户指令的性质、系统的设计和功能，以及服务提供者对系统可能产生的侵权内容的控制能力。因此，这也导致了司法实践中法院难以准确认定生成式AI侵权纠纷的侵权主体，以及侵权行为与侵权结果之间的因果关系，进而使得对于权利人合法权益的保护受到挑战。

建议与解决方案

要破解以上难题，不仅需要从制度规范层面完善生成式AI相应的规则内容，还应落实对技术监管和伦理规范的要求，同时加强司法能力的提升与适应，确保理论与实践的深度结合，实现对技术的有效规制和合理应用。

首先，需要完善与生成式AI相关的制度规范。这应在保证既有规则适用性的基础上，针对技术所触发的风险问题，实现制度规范的有效落实。

具体而言，一是借鉴传统互联网治理中的“避风港”规则，建立起符合生成式AI产业发展的责任分担机制。在此机制下，生成式AI服务提供者将在数据训练环节、内容生成环节确保履行相应的注意义务，尽可能使用真实合规的AI训练数据，并在信息生成阶段设立过程性的风险预防和审查机制，确保依法合规地收集训练数据，生成合法内容。

与此同时，还应设置投诉举报机制，该机制的核心在于确保用户和权利人的投诉能够得到快速响应。AI服务提供者在接到投诉后，必须在合理的期限内采取必要措施，如数据清理和算法调整，以防止违法内容的进一步传播和扩散。

二是针对生成式AI所引发的著作权侵权问题，在著作权法既有规则的基础上适当扩展“合理使用”的解释空间，在条件成熟之时，出台相应的生成式AI收集训练数据的合理使用条款，典型如设置文本与数据挖掘例外条款，使得AI数据训练行为具备合理使用的依据。

三是完善与生成式AI相关的内容标识管理规定，加强对深度伪造内容的监督，标明AI生成内容的合法来源，避免虚假信息的不当传播。

2024年9月14日，国家网信办发布《人工智能生成合成内容标识办法（征求意见稿）》（下称《征求意见稿》），此前，国家网信办等部门已相继出台《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等部门规章，提及网络服务提供者对AI生成合成内容的标识义务。

值得关注的是，《征求意见稿》的发布进一步完善与生成式AI相关的内容标识管理规定，有助于监督深度伪造的内容。但是由于目前其还处于征求意见阶段，相关规定的话语表述仍需要社会公众贡献智慧以完善规定内容，如对于显式标注和隐式标注的规定应更加具备可落实性，注重不同类型标识在不同技术应用场景的灵活度。

其次，基于AI技术演变的不确定性，有必要建立完善的技术监管框架与伦理规范指引，从技术与伦理层面引导AI向善发展。

一方面，完善相应的技术标准体系，加强对生成式AI技术的监管能力。这意味着，不仅需要在技术标准层面明确生成式AI基础定义、技术用语以及技术细节要求，如生成式AI数据使用的技术标准、算法安全标准以及系统安全标准等，为技术的健康发展提供清晰的指导和规范，还需要提升监管主体的监管水平与能力，提高其对新技术的理解与应用能力。

另一方面，加强AI伦理规范指引，推动AI向善发展。在伦理规范的制定上，坚持落实以人为本的价值理念，加强AI伦理标准顶层设计，在具体操作上落实可靠性、安全性、可解释性等基本要求，将抽象的伦理标准要求落实到具体的AI系统设计以及实际操作的过程之中。实践中，如微软基于 Explainable Boosting Machine 算法开发的InterpretML，使得对于AI生成的结果更加具备可预测性与可解释性，确保在促进技术迭代升级的同时，推动技术健康、可持续的发展。

最后，解决因生成式AI所产生的司法适用难题还需要注重司法能力的提升，以及加强对技术发展新趋势的适应能力。

对于司法能力的提升，不仅要求司法实务工作者通过不断学习与实践，强化对新兴技术的理解和应用能力，及时更新现有的司法观念，如通过加强对新兴技术的教育与培训，提高司法实务工作者对AI技术研发与应用的理解，使其更好地处理新兴技术所产生的司法纠纷；此外，还要求不断完善司法工作机制，通过整理并学习司法实践中所形成的裁判经验，明晰司法实践中涉及新兴技术相关的裁判规则，同时结合法律程序和技术手段，培养对技术难题的解决与应对能力。

同时，在应对AI、大模型算法等新技术难题时，应在尊重现有法律规则体系的前提下，综合考虑司法判决对技术发展、产业应用、社会公共福利等内容所造成的影响，确保在客观、合理解决因技术所产生的司法难题时，有效实现技术发展需求与保护合法权益之间的平衡。

（作者为北京大学武汉人工智能研究院副院长、中国科学技术法学会常务副会长兼秘书长）

责编｜秦李欣

题图｜视觉中国