当AI成为造谣者：揭秘新闻业AI识别技术的生死较量

在新媒体平台高度普及的当下，UGC成为创作主力，人人都能成为新闻信息的生产者。与此同时，AIGC的蹿红，又让用户创作更加便捷。在UGC与AIGC交织的时代背景下，如何保证发布内容的真实性、合规性成为新闻舆论风险防范的重要议题。当前，利用AI来检测新闻内容的生成来源以确定其真实性、审核新闻内容是否敏感以保证其合规性，成为了业内防范新闻舆论风险的主流途径。那目前市场上AI生成内容识别模型、AI审核内容模型具体有哪些？是哪些公司在运营？业务开展情况又是如何？

作者 | 花椰菜（三川汇文化产业作者、三川汇文旅体研究院研究员）

编审 | 时光

编辑 | 半岛

来源 | 三川汇文化产业（ID：schwhcy）

2024年4月，在公安部公布的《10起打击整治网络谣言违法犯罪典型案例》中，明确了“广州或将成为全国首个限制外卖配送的城市”为谣言，信息系相关人员通过AI生成。

△广州限制外卖配送相关澄清视频

事件起因于2023年11月，广州交警发布的《广州市人民政府关于电动自行车通行管理措施的通告》。这一通告引发了广大网民的热烈讨论，相关不法分子趁机利用AI结合外卖配送等问题进行无根据的恶意揣测生成虚假新闻在“今日头条”平台发布，制造焦虑，引流牟利。但事实上，广州市从未发布过相关限制外卖配送的政策条例。

△《10起打击整治网络谣言违法犯罪典型案例》

除此之外，在本次公布的《10起打击整治网络谣言违法犯罪典型案例》中还有 “民警离职潮”、重庆“爆炸事故”、MCN造谣等其他三起AIGC造谣案件，AI传谣占比竟达40%。针对如此高的AI造谣率，市场是如何应对的呢？

经三川汇文化产业（ID：schwhcy）调查，防范舆论风险的AI模型共分为两种——AI生成内容识别与AI审核内容。

所谓的AI生成内容识别业务是指通过信息技术分析文本内容，判别内容是否为AI生产，为新闻发布者的发布决策提供第一道判断依据；而AI审核内容业务是指审核文本内容是否符合社会伦理规范，并生成相关的文本分析报告，为发布者提供第二道判断依据；也有部分企业将两大业务功能融合研发出综合模型。

市面上主流的AI生成内容识别业务有人民日报社、新华网两家国有传媒企业开展运营；其余企业均在AI审核内容模型上发力。与此同时，百度、阿里、腾讯、网易四家互联网大厂也涉猎相关业务。这样的分布我们可以窥见当下新闻舆论风险防范业务的两大特征。

一、亟需把好风险防范第一关——“AI生成内容审核”关

据调查，目前微博、抖音、今日头条等自媒体平台的内容审核一般都是采用“AI+人工”的审核机制——机器审核为主，人工审核为辅。人工智能会将无法识别是否合规的内容交给人工，人工进行复审，人工复审通过后才能正式发布。那“广州或将成为全国首个限制外卖配送的城市”等一系列AIGC谣言究竟是AI的失误判断还是人工审核的工作纰漏呢？

下图为网传的今日头条所谓的AI审核系统。从AI审核无法通过的标准可以发现，这种审核只是利用人工智能的分支自然语言处理技术进行了文本分析，对发布后的风险影响做出了预测。但并没有对文本是否为AI生成，即文本的真实性进行判别。据此推断，目前 新媒体平台利用AI进行审核更倾向于对文本内容的敏感性进行把关，但并未结合当下AIGC大行其道的现实情况，对新闻信息是否为AI生成进行研判，进而从源头忽略了对新闻信息真实性的审核。

△网传今日头条AI内容审核系统

经三川汇文化产业（ID：schwhcy）调查，上述的审核方法确实就是市面上常见的AI内容审核模型的审核流程。

例如，网晴科技开发的“网晴内容安全大脑”是一个全面的智能审核系统，它具备处理各种媒体形式的能力，包括音频、视频、图像和文本。多年的服务经验使得该公司能够有效地识别和处理各种潜在的内容风险，如政治敏感信息、低俗内容、非法暴力、不当价值观和广告等。这些技术的融合确保了在不同应用场景，如新闻客户端、视频分享平台和直播服务中，内容审核的准确性和效率，同时避免了问题内容的漏网。

△网晴安全大脑AI识别界面

据公司官网披露，“网晴安全大脑”已被《人民日报》、《光明日报》、新华网、网易等应用。

但仔细对比发现，“网晴安全大脑”的AI审核流程与网传的“今日头条”内容AI审核流程可谓如出一辙，都是基于人工智能自然语言处理技术的文本分析，对文本中的涉政内容、低俗色情内容、违禁暴恐内容等做出了风险提示；但是缺乏对于前置环节——信息生产的来源及可靠性的审查。

△“网晴安全大脑”审核流程

在人人都是新闻生产者、传播者，AIGC又大规模爆发的当下。这样的AI内容审核系统显然无法确保网络上新闻信息的真实性。

然而，就算是四家互联网大厂也只是通过AI的自然语言处理技术对文本内容的敏感性进行审核，相关模型中鲜少提及AI生成内容的识别业务，进而无法针对新闻信息的真实性进行判断并为发布者、审核者提供第一手的决策依据。

△“百度大脑”“阿里云AI系统安全”“腾讯云AI审核系统”以及“网易易盾”网页

那么表一中唯一专注开展AI生成内容识别业务的AIGC-X的情况又是如何的呢？

人民日报社AIGC-X这一创新工具，汇聚了人民日报社传播内容认知全国重点实验室、中国科学技术大学以及合肥综合性国家科学中心人工智能研究院的智慧与力量，是我国首个AIGC内容检测工具。AIGC-X不仅将图片识别与文本识别两大业务高效整合，还以其先进的技术和算法，成为当前业界相对成熟的综合识别平台。

△AIGC-X官网页面 网站入口：http://aigcx.people.cn/AIGC-X

AIGC-X具备检测AI技术生成的假新闻、内容抄袭以及垃圾邮件的能力，其在内容版权保护、网络钓鱼防范、虚假信息甄别以及学术诚信检测等领域展现出了广泛的应用潜力。据官方公布的数据，AIGC-X在文本识别方面的准确率高达90%。三川汇文化产业（ID：schwhcy）也对该平台的检测准确率进行了实地检测。我们利用Kimi、文心一言分别生成了一则关于“文化产业考研”的新闻，并利用AIGC-X进行内容识别，结果准确率为100%。

△AIGC-X检测“文心一言”生成“文化产业考研新闻”

△AIGC-X检测“Kimi”生成的“文化产业考研新闻”

AIGC-X除了识别精确率、图文识别于一身的综合性优势外，它还是目前市场上少见的对普通用户开源的免费识别软件。如果“今日头条”对用户发布的信息进行预先像这样的内容识别，判断信息是否为AI识别，就能第一时间向信息审核人员提示预警，为信息发布把好第一道关。像“广州或将成为全国首个限制外卖配送的城市”这样的谣言就无法发布传播。

从目前的新媒体平台审核机制来看，光是审核内容是否敏感、能否达到合规标准已经无法有效防范当下AI与人类共创新闻信息所带来的实际风险。目前的审核流程缺少对新闻内容生产者是否为AI即新闻内容真实性的判别。因此，新闻舆论风险的防范亟需将AI生成内容识别提上日程。

此外，就目前市场上AI生成内识别业务的开展情况来看。市场上仅有1家企业提供了相对成熟的AI生成内容识别服务，供给严重不足。要想把好新闻舆论风险防范的第一关，供需问题必须引起高度重视。

二、布局门槛有“双高”——运营成本高、技术水平高

据表一可知，AI内容审核模型是目前市场上防范舆论风险业务中最多的应用模型。7家开发公司中，其中百度、阿里、腾讯、网易这些互联网巨头占据大半壁江山，背后究竟隐藏了哪些玄机？

1、业务运营成本高

AIGC-Safe是新华网股份有限公司联合中国科学院计算技术研究所设计的AIGC安全治理综合平台。该模型将AI生成内容识别业务与AI审核内容业务集于一体，能够对文本、图片以及音视频等多种格式的内容进行全面检测。其核心目标是确保内容的真实性和合规性，从而有效应对虚假信息、AI换脸技术滥用、网络攻击、版权侵犯以及学术不端等问题。AIGC-Safe的应用范围广泛，为新闻媒体、教育行业、金融服务和公共安全等多个领域的AIGC安全提供了坚实的保障。

△AIGC-Safe测试网页

该模型于2023年7月16日正式发布，但之后网络上再无相关后续开发应用进展信息。最新消息为相关股民对公司代表的询问；公司代表表示：“仍在内测阶段，考虑到运营成本和经济收益暂时不公开推广。”高昂的运营成本成为业务布局的重大阻碍，让身为国家队的“新华网”也望而却步。

反观四大互联网大厂的业务模型。相关服务收费并没有想象中那么高。以阿里云AI系统安全为例。图文画面审核均价为17.5元/万次，音视频审核仅为1.7元/小时。可见，相较于非信息技术服务业的传媒企业来说，互联网企业依托本身的技术优势能够有效的降低运营成本，进而制定出更具竞争力的服务价格，迅速抢占大量市场份额。

△阿里云AI系统安全AI审核内容业务价目表

在高昂的运营成本困境下，如何实现降本增效成为传统媒体企业布局AI内容审核业务亟需考虑的重要问题。

2、技术水平要求高

从官网披露的信息来看，互联网企业的模型均依靠公司团队自主研发。

百度、阿里、腾讯、网易的研发能力不言而喻。百度大脑、阿里AI系统安全、腾讯AI审核系统、网易易盾这四大模型实现了音频、视频、文本AI审核业务全覆盖。

△“百度大脑”“阿里云AI系统安全”“腾讯云AI审核系统”以及“网易易盾”网页

但更值得一提的是博汇科技这家始终坚持国产自研的民营企业，旗下核心产品“多模态AI识别引擎” 能够优化自媒体平台内容质量、拒绝不良内容传播，净化视频内容，为打造良好的自媒体生态提供技术支持。公司信息披露，相关业务已经在国家广播电视总局、中央广播电视总台、中国广电网络股份有限公司；28 个省级广播电视局；28 个省级新媒体播控平台；30 个省级广电网络公司；30余个电信运营商省分公司；咪咕视讯、央视网、芒果TV等网络视听平台得以运用。

△陕西省互联网舆情监管系统运用博汇科技相关产品

反观人民日报社、新华网这样的国有传媒企业，自身主营业务难以触及AI内容审核技术，团队需要中科大、中科院等科研院所的技术支撑才能研发出产品模型。可见AI内容审核模型对技术水平的要求之高不是一般企业能够企及的。能否突破技术壁垒是传统媒体企业要想入局该领域重要前提。

小结

三川汇文化产业（ID：schwhcy）调查发现，目前市面上的新闻舆论风险防范业务聚焦于AI审核内容而忽略了重要的AI生成内容识别。在AIGC与UGC高度结合的内容生产环境下，媒体平台难以限制用户利用AI生产内容信息。因此，判别网络上流传的新闻信息是否为AI生成，保证内容的真实性成为了防范新闻舆论风险的第一关。但目前主流的“AI+人工”的审核机制，严重忽略了这一重要环节。开展AI生成内容识别业务的企业少之又少，因此产生了AI谣言扰乱社会秩序的不良影响。加快相关业务布局刻不容缓。

此外，新闻舆论风险防范业务本身就有着较高的资金成本门槛也科学技术门槛。在这两大门槛的限制下，互联网大厂在市场上独占鳌头。但“术业有专攻”，传统媒体企业作为新闻内容的主要生产者在把关新闻内容生成、预判新闻舆论风险、治理舆论风险层面应当更具专业性。传统媒体企业与科研机构以及互联网大厂通力协作，克服成本困境、技术壁垒才能进一步为社会新闻舆论风险的防范与治理提供坚实的保障。