在2024中关村论坛-未来人工智能先锋论坛上，清华大学联合生数科技正式发布了，中国首个长时间、高一致性、高动态性视频大模型“Vidu”，它能直接通过文本生成 16 秒 1080P 的高清视频，且视频质量与 OpenAI Sora 不相上下。研究人员称“Vidu的快速突破源自于团队在贝叶斯机器学习和多模态大模型的长期积累和多项原创性成果”。Vidu 是国产的，这意味着我们能轻松用上高质量的视频生成工具，更意味着我国的AI技术取得了重大突破。

虽然，Vidu能通过文本生成画面、运镜、转场等视频元素，但我们还无法百分百控制AI生成的结果。试想一下，当你调整无数次提示词之后，终于生成了一批满意的视频，你把视频发到网上并得到了数万的评论和转发，却忽然有一条视频被提示“不合规”，原来是某个不起眼的画面错误使用了一个logo。或者，你是某平台的开发者，最近平台忽然涌现大批AI创作的视频，提高了内容审核的成本和难度，让你的工作内容变得更加复杂。这正是Vidu、Sora等AI工具面临的困境之一。

为了节约成本、规避风险，也为了梳理文生视频的底层逻辑，我们必须对AI生成的内容进行审核。

一、文生视频可能存在的风险

随着人工智能技术的不断发展，文生视频已经成为了一种新的内容生成方式。然而，这种技术也带来了一些潜在的风险和问题。

1.不良信息

Sora等AI工具进行文生视频时，可能会因为无法完全理解和判断文本中的所有内容，而产生一些不良信息。这些不良信息可能包括暴力、色情、恶意诽谤、侮辱等，对观众可能造成心理和社交伤害，甚至引发道德和法律问题。

2.内容偏差

由于AI技术目前还无法完全理解、还原文本中的所有细节和含义，因此生成的视频内容可能会与原始文本描述、预期效果存在偏差，从而在社会、政治或商业等领域引发问题。特别是在新闻报道和广告营销等敏感领域，文生视频的偏差可能会面临误导公众或传播虚假信息的风险。

3.违反平台规定

各个平台都有自己的内容审核标准，如禁止发布恶意软件、病毒、广告等。然而，由于AI生成的视频并非完全可控，所以或许会包含这些违规内容，会被平台禁止或删除。这不仅对用户造成了损失，也可能对平台的声誉和运营造成负面影响。

4.隐私和安全问题

AI在生成视频时需要处理大量的数据，包括个人隐私和敏感信息。如果这些数据被泄露、滥用，或者出现在视频画面中，可能会引发隐私和安全问题。此外，如果AI工具本身存在安全漏洞或被黑客攻击，可能会造成更大的安全风险。

综上所述，文生视频作为一种新的内容生成方式，虽然具有很大的潜力和优势，但也存在某些风险和问题。在使用文生视频技术时，需要特别注意内容的筛选和审核，以确保其安全、合规地应用和发展。

二、怎么用专业的平台解决“内容审核”困境？

以百度智能云的内容审核平台为例。它易用性强，可视化界面操作，无需自建平台，快速接入使用，能帮助企业减少开发维护成本。

1.功能介绍

百度内容审核平台能从多维度识别文本、图像、语音等内容，支持灵活调整识别标签、松紧度，支持设置自定义图片/文本黑库和水印名单，和EasyDL零门槛AI开发平台打通，支持自助定制模型，能满足个性化的应用需求。

本文仅介绍“视频审核”相关内容，文本、图像审核等其他功能的介绍会陆续更新。

短视频审核：综合图像、文本分析能力，针对5分钟内的短视频文件，同步识别画面、文字内容，检测色情、违禁、低俗辱骂、恶意推广等违规内容，高效过滤不良视频；

长视频审核：检测识别长视频文件中的人物、场景、物品、文字信息，精准过滤色情低俗、违禁违规、血腥不适等不良内容，支持时长2小时内、大小2G内的视频文件，异步回调获取审核结果；

视频流审核：自动解析视频流链接，对视频流进行抽帧识别，音频流按照VAD方式进行语音识别及分析，可实时检测直播过程中的色情低俗、违禁违规、血腥不适等不良内容。

平台支持直接上传mp4、avi、flv、mov等常见格式的视频，跳过了对视频进行转码的步骤。平台还支持视频画面和音频同步审核，无需提前拆分视频内容。除此之外，检测抽帧频率可以灵活配置，抽帧频率越高审核越严格，最多可以支持一秒一帧，让内容审核更精准、高效。

2.使用方式

公有云服务：提供视频内容安全的各类云端服务接口，可直接调用API或使用HTTP SDK对视频内容进行识别过滤，支持高并发承载，服务可用性高达99.9%以上；

私有化部署：将AI模型软件包部署至企业的本地服务器或专有云，在局域网/内网中实现智能审核功能，保障企业的数据私密性；一键部署，安全便捷。

内容审核平台-短视频接口针对5分钟以内的短视频，实时返回检测结果；内容审核平台-长视频接口为异步检测任务，不会实时返回检测结果，需要通过异步回调方式获取检测结果。

3.操作流程

（1）创建规则

登录平台https://cloud.baidu.com/solution/censoring，根据操作指引领取免费资源，创建应用并获取API Key及Secret Key。具体步骤可参考我之前的文章。

（2）配置策略

策略是包含了用户审核规则的一条配置集合，一个应用（appid）下可以包含多条策略。

如果默认配置符合您的使用需求，可以直接调用接口。如果想修改内容审核的配置策略，可以参考以下步骤。

Step1 填写策略基本信息

创建完应用后回到内容审核平台，在策略中心选择对应的应用，并在右侧点击创建策略，填写策略的基本信息后点击保存并继续。

Step 2 编辑具体的审核策略

设置抽帧频率：针对不同时长区间的短视频设置不同的抽帧频率。抽帧频率越高审核越严格，但审核速度较慢，费用消耗较高；抽帧越稀疏审核越松，但审核速度更快，费用消耗更低。

设置审核维度：勾选需要审核的色情、广告检测等维度，并点击维度后的“展开”进行审核标签选择和松紧度设置。例如色情识别（审核维度）下面包含了18个子项（审核标签），您可以精确地选择需要过滤哪些标签。每个审核标签都有一个滑动条和两个调整审核松紧度的滑块，两个滑块将整个区域分为白色合规区、淡红色疑似区、红色违规区，如果红色区域越大，那就会有更多的视频落在这个区域，审核也就越严格。

注意：只有勾选了审核维度，对应审核维度下的审核标签才会起作用。例如，未勾选色情识别（审核维度）前面的勾选框，即使把一般色情、卡通色情等所有审核标签都勾选上，平台也会把命中这些标签的短视频算作是审核通过。

Step 3 策略验证

完成短视频的审核规则配置后，点击生成策略，即可对策略的配置进行保存。此时，可以上传一些短视频验证刚才配置的策略。

Step 4 策略启用（重要）

验证效果满足需求后关闭验证页面，点击返回策略中心。

鼠标悬停在对应策略上以后，在“状态”栏下点击三角形启用按钮，将策略置为启用。随后，确认创建策略时设置的“生效时间”是否正确，如果需要修改，可以点击操作栏中的编辑，进入策略进行修改。

当一个应用下有多条策略时，线上的审核规则只会参照处于生效时间内的、优先级最高的策略进行审核，正在生效的策略名称后会有绿色标识。P0最高、P1第二，以此类推。

Step 5 调用策略

上述步骤完成后，就可以通过API/SDK的方式调用审核策略，使用哪个应用的aksk/token就会调用该应用下正在生效的策略。

（3）提交审核任务

接口地址（长视频）： https://aip.baidubce.com/rest/2.0/solution/v1/video_censor/v1/video/submit
接口地址（短视频）： https://aip.baidubce.com/rest/2.0/solution/v1/video_censor/v2/user_defined

请求方式：POST

三、进阶功能：多策略自动调度切换

实际应用时，单条策略可能无法满足审核需求，尤其在一些敏感时期、电商促销活动期，审核规则会有所变化。使用单应用下多策略自动调度切换功能，可以为未来某个时间指定单独的审核策略，在预定的时间自动生效替换现有策略，并邮件通知相关人员。

1.为未来某个时期创建单独的审核策略

在使用中的应用下点击[+创建策略]，并对其中的短视频部分设置符合该时期需求的审核配置。

2.让该策略到期自动生效、失效

启用该策略，并且将该策略的生效、失效时间按需求进行调整，然后拖动该策略到最高优先级。这样操作不会影响目前生效的审核策略，因为新的策略还没有到设定的启用时间。

当到达预定启用的时间，因为该策略为已启用的状态，并且优先级高于原有策略的优先级，则会自动替换原有策略，成为正在生效的策略，超过生效时间后，该策略会自动下线，审核策略自动切换回原有策略。两次切换的过程都会有邮件通知。

正确的配置示例如下图：

附：内容审核平台-视频接口能力介绍

• 百度违禁图库：基于百度海量历史数据挖掘，对封禁图片的识别能力

• 色情识别：检测图中是否包含各类色情违禁、儿童裸露、女性性感等内容

• 公众人物识别：检测图中是否包含明星、球星等公众人物的人脸

• 图文审核：检测图片的文字是否包含色情、广告等违禁内容

• 广告检测：检测图片中是否包含水印、二维码、条形码

• 违禁识别：检测图中是否包含吸烟、饮酒、赌博、吸毒、纹身、竖中指等违禁物品或违禁行为

• 直播场景审核：检测图中是否包含在卫生间、车内、床上、无意义（纯黑/纯白）等直播行为

• 恶心图像识别：检测图片中是否包含病变组织、流血恐怖等恶心内容

• 图像质量检测：对图像的清晰度和美观度进行打分

• 自定义图像黑名单：对用户黑名单中的图片进行拦截

• 自定义图像白名单：对用户白名单中的图片直接放过

• 自定义图片审核-EasyDL：支持用户通过EasyDL自助定制图像分类、物体检测模型，满足个性化审核需求