AI生图五大乱象⑥|行业新规将至：快跑的数字人，需要根安全线

在当前这个AI遍地走、门槛近乎无的时代，如果你还没有试过用AI生成图片或视频（以下统称AI生图），那确实有点不够“潮”了。

与其他新技术一样，AI生图技术自诞生之日起就充满争议，一路鲜花与荆棘相伴。支持者视它为颠覆性的技术革命，反对者视它为洪水猛兽。特别是近两年以ChatGPT、Sora为代表的AI数据大模型横空出世，AI生图已成为刷屏时尚，受到越来越多的网民追捧。它在给人们带来极大便利、惊奇、抚慰的同时，也必然暴露出诸多荒诞不堪、令人生厌、甚至违法犯罪等负面问题。

AI本无罪，关键在于如何使用它。只有坚守伦理和法治底线，技术才能更好造福人类。今天，上游新闻推出“AI生图五大乱象”专题报道，聚焦近年来AI生图领域里暴露出的种种乱象，追根溯源、剖析因果，探索解决之道，以期对AI产业健康发展有所裨益。

“你能接受一个AI妈妈的陪伴吗？”今年6月，汤唯主演的科幻片《梦境》在韩国上映，讲述一名早就离开人世的考古学家，为了向女儿隐瞒自己已死的事实，使用了人工智能虚拟出一个母亲角色陪伴女儿成长的故事。但如果这样的AI形象必须清晰标注自己是“AI”，还能达到慰藉人心的效果吗？

汤唯新片《梦境》中扮演的角色隐瞒自己已死的事实，用数字生命陪伴女儿。网络图

近日，国家网信办起草的《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《办法》），面向社会公开征求意见。上游新闻（报料邮箱baoliaosy@163.com）记者注意到，与之配套的强制性国家标准《网络安全技术人工智能生成合成内容标识方法》（以下简称《标识方法》）同步在全国标准信息公共服务平台公开征求意见。

《办法》提出，对于AI生成合成的音频，在起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识。业内人士和法律界人士认为，这意味着越来越多出现的“换脸诈骗”有望被遏制，而困于维权难题中的各种原创创作者的权益，会得到更多保障，我国对于生成式人工智能服务的监管进入精细化阶段。

行业的新规

AI恶搞四大名著，唐僧与女儿国国王你侬我侬，武松与潘金莲秀起恩爱；AI“一键脱衣”，涉黄视频现“换脸”女明星，这不单是低俗恶俗，已涉嫌违法犯罪了；AI造谣，将网络图片或视频移花接木、东拼西凑，为博流量“语不惊人死不休”；AI行骗，“无人直播”平台精心包装出分级复杂、迷惑性极强的传销骗局；AI盗图，涉及AI的侵权诉讼官司层出不穷……

从评论区不难看出大家的担忧。随着AI技术的日益进步，越来越多不法分子利用AI融合他人面孔和声音，从而制造逼真的虚假合成图像。

北京大成律师事务所高级合伙人肖飒在接受采访时分析，以AI换脸诈骗为例，根据《办法》和《标识方法》要求，潜在受害人应该能够在视频中看到显著标识，提示该视频是AI生成合成内容。

国家网信办起草的《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《办法》），面向社会公开征求意见。网络截图

“从效果来看，可以预测，《办法》和《标识方法》的实施有助于提高AI生成合成内容的透明度，降低老百姓遭AI诈骗的风险。”肖飒表示。

据此前媒体调查，60%的受访者表示凭借肉眼辨认不出AI换脸视频。那么现实生活中我们如何辨别AI换脸变声？

中国网络空间安全协会人工智能安全治理专业委员会委员张博介绍，只要稍加留心AI换脸还是有明显破绽，“如果接收到视频信息、视频通话，要仔细观察对方的面部轮廓是否存在异常的模糊，光线是否正常，如果有必要的话，可以要求对方快速大幅度地抬头、点头，转头，然后来仔细观察这个过程当中，面部轮廓是否有异常模糊。”

不过张博指出防止网络诈骗还是要从上游入手，首先要防止个人信息的过度外泄，“需要采集面部信息的场景，市民群众还是需要额外留心网络环境和周围环境。”

商家的自律

“AI复活”等业务火热之后，乱象频频出现。“校友说AI生命”的创始人林志介绍，曾经有几名前来咨询的客户，就连逝者的基本信息、相关生平、人际关系和重大事件都不清楚，于是他们果断拒绝这种订单。“之后，我们肯定是要核实委托者是否为直系亲属，并且会签订电子合同，规避法律风险。”

企业如何在运营中规避侵权、欺诈、伦理等风险？“硅灵AI数字生命平台”创始人李灿以自己运营平台的流程举例，首先遵循自愿原则，即确认用户的情况属实，用户确认自愿通过数据来进行训练（视为死者当事人同意），比如能查到的有网络百科信息的人物，一律不允许被创建；普通人需要提交人物身份证信息，或者死亡证明以及与创建人关系等。

“其次我们有详细的协议支持：在注册、创建、支付过程，我们都拟定了受法律保护的协议，需要用户同意后才能进行，如果提交非本体图像、声音等后续被发现，将承担法律后果；第三是尊重事实的原则，在‘AI复活’过程中，会明确当事人已经死亡，并且在与用户对话过程中，也会明确这点，避免对用户的认知和记忆产生错误的扭曲；最后我们会在AI大模型上，帮助用户尽快走出悲痛期，避免用户过度沉溺。”

李灿介绍：“我们的数据都有一定程度的加密和脱敏，并不容易被外部获取到。创建过程也不会问到非常私密和敏感的信息。最后根据知识产权的要求，具体的AI智能体在用户要求下，可以随时终止服务，并且所有的训练资料允许删除和销毁，我们并不拥有对这个‘AI生命’的产权，也不对外开放给除创建者以外的其他人使用。”

媒体报道的相关换脸诈骗案例。网络图

“最近我也仔细阅读了《办法》《标识方法》的规定，我认为这次颁布的新法规主要内容正是在强调，为了避免让用户产生认知的失调和记忆偏差，AI产品需要跟用户清晰标识出自己是AI，而非真实的人。”李灿说。

“用技术手段‘复活’逝者确实可能带来侵权、欺诈、伦理等风险。”北京盈科（厦门）律师事务所律师许东举例分析：比如，未经逝者家属同意，使用逝者照片、音频等进行“AI复活”，可能侵犯逝者及其家属的合法权益；对逝者形象的不当使用、对家属情感的影响等，可能引发社会争议和道德质疑等。

福建贝盈律师事务所律师张红提醒，若想用AI“复活”已故亲人，应仔细筛选委托制作者，谨慎提供逝者的人脸、人声等生物识别信息及自身信息，警惕背后可能存在的隐私泄露、侵权、诈骗等风险。一旦消费者发现商家在“复活”行为过程中侵害了已故亲人的权利，可以依法向人民法院提起诉讼，要求侵权人承担侵权责任。

维权的难点

只需投放几张图片，输入一串文字，普通照片就转变成了二次元（漫画）或油画风格，就是没拿过画笔的人也能“创作”，让AI绘画一时间成为各大网站的流量密码。但在受到用户热捧的同时，AI绘画遭到大批画师抵制，不少画师已将“禁止投放作品进入AI绘画系统”等文字加入个人简介。此前国外和国内都出现了画师联合抵制甚至起诉，要求停止AI侵权的案例。

2022年，全球知名视觉艺术网站ArtStation（以下简称“A站”）的上千名画师发起联合抵制，禁止用户将其画作投放AI绘画系统，认为任由系统学习模仿画作是在侵犯版权。

有记者调查发现，市面上部分AI绘画软件在用户协议中明确，一旦发生侵权纠纷由用户承担责任，但海量用户与大量产出，让画师的维权难上加难。

画师徐涵接受采访时向记者介绍，AI绘画参考、拼接了大量作品，而这些作品往往是在无授权的情况下就被使用了。同时，绘画风格的形成往往需要画师多年的技术磨炼，AI却能瞬间学习，快速输出，挤压了普通画师的生存空间。而在画师们看来，AI绘画和艺术创作不同，AI作画的底层逻辑就是模仿，并没有创作能力。

长久以来，关于AI是否侵权的讨论催生出了新的问题，那就是当已经有案例承认AI作品的著作权，将2D图片制成3D实物，是否存在侵权的问题。

今年6月，AI创作者林先生因自己创作的“伴心”作品被制作成实物展览，起诉了展览方常熟市某宏房地产开发有限公司和制作者杭州一气膜技术有限公司。该案于6月14日在常熟市人民法院一审开庭。

庭审中，被告方否认图案的独创性，也不认可心形气膜产品和平面作品之间的关联性。常熟市某房地产开发有限公司在庭审中提出，该装置不构成作品，不应享有著作权。

中国“AI生成图片著作权侵权第一案”的当事人、天元律所合伙人李昀锴律师认为，法院认定其作品享有著作权的可能性较高，但制作的实物是否侵权，认定会比较困难。

林先生的代理律师则表示，案件的争议点主要有两处：一是AI生成图片是否具有独创性，是否属于著作权法保护的作品。另一个争议焦点在于美术作品从平面到立体是否构成侵权。

律师也坦言，2D图片被制成3D实物，二者间的侵权认定较为困难。

监管的“各方”

杭州互联网法院副院长朱敏明在中国法院报署名文章中表示，对人工智能技术引发的风险治理，难以单靠政府部门一己之力或司法部门单打独斗。实际上，技术开发、技术应用、网络平台、传播主体等，都应当是治理责任传导链的重要主体。

在去年5月抖音发布的人工智能生成内容的平台规范中，就提及了虚拟人形象需要在平台注册，且不允许完全由人工智能驱动互动。

3月27日，抖音安全中心发布《关于不当利用AI生成虚拟人物的治理公告》。公告称，针对违规使用AI生成虚拟人物的行为，平台会对违规视频下架，对违规账号进行取消其投稿和营利权限、抹除账号粉丝、封禁账号等处置，并利用模型、技术识别能力等手段，进行长期系统的识别发现和处置。禁止利用AIGC（人工智能生成内容）技术创作、发布侵权内容，包括但不限于肖像权、知识产权等。一经发现，将严格处罚。同时，平台已掌握部分黑产团伙不当使用AI生成虚拟人物用于犯罪的线索，将报警打击。

6月17日，腾讯视频号修订《视频号橱窗达人发布低质量内容实施细则》公开征集意见内容引发讨论，其中最引人关注的变化是禁止数字人带货直播。此外，B站、小红书等社交媒体也相继发布相关规定，但规范效果仍不及预期。

而对于AI数字人带货直播，各头部电商平台的态度并不一样，淘宝在去年就已经有了数字人直播带货，吸引了不少消费者。今年4月中旬，刘强东的数字人形象“采销东哥”亮相京东的直播间更是引发了不少网友讨论，首秀直播间观看量超2000万，整场直播累计成交额超5000万。

工作人员在2024全球数字经济大会数字经济沉浸式体验区与数字人交流。新华社

此外，海信胡剑涌、LG李东善、名创优品叶国富等多位企业CEO都通过京东云的言犀AI平台化身成数字人开始下场直播。

上海澄明则正（北京）律师事务所律师刘慧磊表示，数字人在减轻中小商家运营成本的同时，也给部分违法者提供了“空子”。技术企业提供从账号创建到直播技术支持的整套服务，部分不法商家提供文案并选定形象，就能无需固定场地、快速直播、收钱跑路。

刘慧磊建议，应在法律实践中区分商品本身的生产者、经营者与AI数字人运营者、技术提供方在产品责任中的不同地位，划清责任边界，才能有效保护消费者利益，也为技术良性发展提供指导。

北京市竞天公诚律师事务所石钛戈认为，《办法》和《标识方法》两份征求文件稿的发布表明我国对于生成式人工智能服务的监管进入精细化阶段，特别是国家标准中的详细技术要求展现了监管机构的缜密思虑，从显式标识到隐式标识，再到各类信息内容的具体标识方式，都显示出细致周全的设计。这种精心的安排为AI生成内容治理的标识机制建立了一个系统化、结构化的合规框架。

上游新闻记者 汤皓 邹渝 部分内容据新华社、光明网、封面新闻、北京商报、红星新闻