AI生成合成内容或必须标记！记者实测社交平台识别能力

9月14日，国家网信办发布《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《征求意见稿》）。提出人工智能生成合成内容应当添加显式标识和隐式标识，且对人工智能生成合成内容服务提供者（以下简称“服务提供者”）、网络信息内容传播平台、互联网应用程序分发平台等均提出相应合规要求。

南都大数据研究院实测发现，目前不少互联网社交平台已上线AI生成合成内容显式标识、自主声明、内容检测等功能，但部分平台对AI生成合成内容的检测识别能力尚有提升空间。

AI服务提供者：

应对生成合成内容添加显式、隐式标识

国家网信办表示，为规范人工智能生成合成内容标识，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益，根据《中华人民共和国网络安全法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规，国家网信办起草了《征求意见稿》。

《征求意见稿》提出，服务提供者应当对利用人工智能技术制作、生成、合成的文本、图片、音频、视频等信息添加显式标识和隐式标识。

其中，显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可被用户明显感知到的标识，例如在图片上添加水印、在音频中插入语音提示等。

隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识，例如数字水印等。

此外，《征求意见稿》提出，若用户需要服务提供者提供没有添加显式标识的生成合成内容，服务提供者应在通过用户协议明确用户的标识义务和使用责任后，提供不含显式标识的生成合成内容，且留存相关日志不少于六个月。

网络信息内容传播平台：

应核验上传文件，提醒用户主动声明

《征求意见稿》同时要求网络信息内容传播平台采取措施，规范生成合成内容传播活动。

按《征求意见稿》要求，内容传播平台应当核验用户上传的文件元数据中是否含有隐式标识，并提醒用户主动声明其发布内容中是否包含生成合成内容。对生成合成内容，应当采取适当方式在发布内容周边添加显著的提示标识。

即使文件元数据中未核验到隐式标识，用户也未声明内容由AI生成合成，但若内容传播平台检测到内容中包含显式标识或存在生成合成痕迹，也应在发布内容周边添加显著提示标识，提醒用户该内容疑似为生成合成内容。

对于确为、可能和疑似生成合成内容的，内容传播平台还应当在文件元数据中添加生成合成内容属性信息、传播平台名称或编码、内容编号等传播要素信息。

应用程序分发平台：

应核验APP是否提供标识功能

《征求意见稿》还提出，互联网应用程序分发平台在应用程序上架或上线审核时，应当核验服务提供者是否按要求提供生成合成内容标识功能。

部分平台已上线标识功能

AI内容检测识别能力待提升

南都大数据研究院留意到，目前国内不少AI大模型已在其生成的图片、视频等内容中主动添加显式水印。在内容传播平台方面，抖音、小红书、微博等多个知名社交平台也已上线自主声明功能，提醒用户自主声明内容是否为AI生成合成，并对部分生成合成痕迹明显的内容主动添加提醒标记。

抖音、微博、小红书等平台，均已上线AI内容自主声明和提醒功能，方便用户辨别AI生成合成内容。

但南都大数据研究院实测发现，部分平台的AI内容检测准确率尚有提升空间。9月14日上午，南都研究员通过某AI大模型生成了一张小鸟在林间飞翔的图片，该图片左下角带有显著的AI生成提示水印。随后，南都研究员分别将该图片上传至抖音、小红书和微博。虽然水印明显，但在南都研究员不主动点击自主声明的情况下，三个平台均未识别出图片来源，也未对其添加提醒标记。

若《征求意见稿》正式落地，各平台还需进一步加强对用户上传文件的元数据检测和水印识别能力，以更准确地标记AI生成合成内容。

在南都研究员不主动声明的情况下，三家互联网平台均未自动对AI生成图片添加提示标识。

10月14日前可提反馈意见

公众可通过以下途径和方式对《征求意见稿》提出反馈意见：

1.通过电子邮件方式发送至：biaoshi@cac.gov.cn。

2.通过信函方式将意见寄至：北京市西城区车公庄大街11号国家互联网信息办公室网络管理技术局，邮编100044，并在信封上注明“人工智能生成合成内容标识办法征求意见”。

意见反馈截止时间为2024年10月14日。

人工智能生成合成内容标识办法

（征求意见稿）

第一条为促进人工智能健康发展，规范人工智能生成合成内容标识，保护公民、法人和其他组织合法权益，维护社会公共利益，根据《中华人民共和国网络安全法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律、行政法规和部门规章，制定本办法。

第二条符合《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》规定情形的网络信息服务提供者（以下简称“服务提供者”）开展人工智能生成合成内容标识的，适用本办法。

行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等研发、应用人工智能生成合成技术，未向境内公众提供服务的，不适用本办法的规定。

第三条人工智能生成合成内容是指利用人工智能技术制作、生成、合成的文本、图片、音频、视频等信息。

人工智能生成合成内容标识包括显式标识和隐式标识。

显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可被用户明显感知到的标识。

隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

第四条服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的，应当按照下列要求对生成合成内容添加显式标识。

（一）在文本的起始、末尾、中间适当位置添加文字提示或通用符号提示等标识，或在交互场景界面或文字周边添加显著的提示标识；

（二）在音频的起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识，或在交互场景界面中添加显著的提示标识；

（三）在图片的适当位置添加显著的提示标识；

（四）在视频起始画面和视频播放周边的适当位置添加显著的提示标识，可在视频末尾和中间适当位置添加显著的提示标识；

（五）呈现虚拟场景时，应当在起始画面的适当位置添加显著的提示标识，可在虚拟场景持续服务过程中的适当位置添加显著的提示标识；

（六）其他生成合成服务场景应当根据自身应用特点添加具有显著提示效果的显式标识。

服务提供者提供生成合成内容下载、复制、导出等方式时，应当确保文件中含有满足要求的显式标识。

第五条服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定，在生成合成内容的文件元数据中添加隐式标识，隐式标识包含生成合成内容属性信息、服务提供者名称或编码、内容编号等制作要素信息。

鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。

文件元数据是指按照特定编码格式嵌入到文件头部的描述性信息，用于记录文件来源、属性、用途、版权等信息内容。

第六条提供网络信息内容传播平台服务的服务提供者应当采取措施，规范生成合成内容传播活动。

（一）应当核验文件元数据中是否含有隐式标识，对于含有隐式标识的，应当采取适当方式在发布内容周边添加显著的提示标识，明确提醒用户该内容属于生成合成内容；

（二）文件元数据中未核验到隐式标识，但用户声明为生成合成内容的，应当采取适当方式在发布内容周边添加显著的提示标识，提醒用户该内容可能为生成合成内容；

（三）文件元数据中未核验到隐式标识，用户也未声明为生成合成内容，但提供网络信息内容传播平台服务的服务提供者检测到显式标识或其他生成合成痕迹的，可识别为疑似生成合成内容，应当采取适当方式在发布内容周边添加显著的提示标识，提醒用户该内容疑似为生成合成内容；

（四）对于确为、可能和疑似生成合成内容的，应当在文件元数据中添加生成合成内容属性信息、传播平台名称或编码、内容编号等传播要素信息；

（五）提供必要的标识功能，并提醒用户主动声明发布内容中是否包含生成合成内容。

第七条互联网应用程序分发平台在应用程序上架或上线审核时，应当核验服务提供者是否按要求提供生成合成内容标识功能。

第八条服务提供者应当在用户服务协议中明确说明生成合成内容标识的方法、样式等规范内容，并提示用户仔细阅读并理解相关的标识管理要求。

第九条如用户需要服务提供者提供没有添加显式标识的生成合成内容，可在通过用户协议明确用户的标识义务和使用责任后，提供不含显式标识的生成合成内容，并留存相关日志不少于六个月。

第十条用户向提供网络信息内容传播平台服务的服务提供者上传生成合成内容时，应当主动声明并使用平台提供的标识功能进行标识。

任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或服务，不得通过不正当标识手段损害他人合法权益。

第十一条服务提供者应当按照有关强制性国家标准的要求进行标识。

第十二条服务提供者在履行算法备案、安全评估等手续时，应当按照本办法提供生成合成内容标识相关材料，并加强标识信息共享，为防范打击相关违法犯罪活动提供支持和帮助。

第十三条违反本办法规定，未对生成合成内容进行标识造成严重后果的，由网信等有关主管部门按照有关法律、行政法规、部门规章的规定予以处罚。

第十四条本办法自2024年 月 日起施行。

出品：南都大数据研究院

采写：南都研究员 李伟锋