AI诈骗肆虐，平台如何做好AIGC风险管理？

老牌歌星合唱的梦幻联动，实则是AI合成音频，但可达到以假乱真的地步；某男子因遭遇AI换脸骗术，9秒被骗245万；某带货直播间，使用AI换脸黑科技，粉丝误以为当红女明星直播带货......

随着AIGC的爆火，给予冲浪选手们更新奇体验的同时，以AI实施犯罪的团伙也猖獗在互联网中，威胁着公民的信息安全、财产安全及知识产权，危害着全民网络健康。

AI诈骗肆虐，为什么心有戒备仍会上当？诈骗的底层逻辑是什么？平台应该怎么防范，才能做好AIGC风险管理？

AIGC审核：生成端与发布端

一、AIGC生成端：模型输入和用户输入审核

AIGC，利用模型生成的海量内容，本身就是在AI与人的互动中生成内容。面临的最大挑战是模型生成的内容不可控。AIGC宛如一个巨大的“黑箱”，在人与AI的交互中，可能生成存在侵犯他人利益的内容，如敏感言论、违禁内容、AI假脸合成等。因此需要做好审核预案，主要审核方向为模型的输出及用户的输入。

对模型训练语料进行过滤：由于AIGC生成的内容是自动化的，在前期对模型进行训练时，就需要对可能生成敏感、违禁类的词汇进行审核和过滤，降低AI输出内容的风险。帮助模型在给用户生成内容之前，进行一轮审核，确保模型生成的内容合规。

对用户输入内容进行审核：在对模型的训练语料进行过滤之后，相对于在前期加上一层滤网。但对于用户五花八门的提问，并不能保证输出的内容完全合规。数美风控审核使用诈骗识别模型，联系用户提问的上下文，识别潜在犯罪分子利用AI进行诈骗的套路和话术，并进行拦截。

二、AIGC发布端：风险内容和风险账号审核

从AIGC生成端流出的内容，通常会被发布到内容社区、直播社交等平台。由于AIGC生成的内容过于仿真，用户无法用肉眼去判别是否为合成内容。内容社区和AIGC内容输出端需要进行审核确保生成的内容合法，并且不会对用户和社会造成负面影响。对违规内容的识别主要有两个方面：

内容层面。内容模态如视频、图片、文本、语音内容，体量庞大且内容多样。在审核环节，可以采用人机协同的方式，先用敏感词、模型等方式尽可能把有风险的内容识别出来，将风险内容交由人工二次复审，对于最终判定无风险的内容进行发布。

用户账号层面。对于潜在犯罪分子存在“内容逃逸”的状况，需结合发布内容和账号，综合判定是否为AI诈骗。数美天网风险决策引擎，精准识别伪冒、交易欺诈等账号行为风险，输出实时的风险决策建议，同时也会返回账号风险标签，提供完备的业务行为保护。

AI诈骗审核难点

AI诈骗的成功率之所以可以达到100%，正是利用了“熟人效应”，通过换脸，让受骗者误以为是熟知之人，从而受到欺骗。

AI换脸基于深度学习技术，核心是一个“自动编码器”，它能够接收数据输入，并将其压缩成一个小的编码，然后从这个编码中重新生成原始数据，在其中合成诈骗分子所需的“诈骗原料”，即技术处理之后我们看到的“伪熟人”。

AI诈骗审核的难点在于，诈骗手段多样化，且不断变化，使得传统的规则和算法很难完全捕获这些骗局。此外，诈骗分子也会不断采用新的技术和手段，比如语音合成、自然语言生成等技术，其行骗的话术和套路也随着审核的升级而迭代。

另一个难点在于，AI算法对于特定领域的数据处理有限，需要不断优化审核模型，为了应对诈骗手段的变革，AI算法需要拥有灵活多变的处理方式，能够快速识别和处理不同类型的诈骗情形。

对于大量“伪装”的诈骗内容，光靠用户凭借经验识别，想必困难重重。需要平台使用人工智能技术辅助审核，比如使用自然语言处理技术来检测生成的声音是否包含不当言论，利用图像识别技术来检测生成的图像是否违规。平台及时对用户进行“反诈骗”提示，在用户真正受骗之前及时布防。

此外，还需要建立完备的人工审核机制，提升审核人员的专业素质，保证审核流程的规范化，来确保审核的准确性。

数美科技：护航AIGC行业健康发展

数美科技作为在线业务护航专家，深耕风控技术近7年，在AIGC内容审核方面，深度融合AI智能审核与人工审核优势，为企业提供模型效果持续迭代、数据高度可视化、风险动态实时同步的人性化人工审核平台，实现文本、图片、音频文件/直播、视频文件/直播的全栈式智能内容审核。

一、智能文本检测：融合多种NLP技术前置布防

将 FSA 算法应用于变体识别，布防更前置，有效防御试图绕过规则的各种变体广告、变体违规文本等深度融合 Fasttext、HMM、CRF、Word2Vec 等 NLP 技术并不断革新，准确率高达 99% 以上。

支持表情符号形态的文本识别，让变相辱骂、广告导流等信息无处躲藏。根据地区监管政策差异，本地化部署风控策略，支持175种语种检测和18种主流语种风险标签识别。

二、智能图片检测：深度融合多项模型组合训练

以海量图片样本库推动模型迭代更新，实时应对审核需要；具备物品库、动物库、明星库、深度融合Inception、ResNet、MTCNN、InsightFace、EAST、CRNN等模型，多模型组合训练，精准识别各类违规图片。

场景库等特色样本储备。精细化标签体系结合简单易用的策略配置方法，可适配多行业的个性化审核需求，更能及时应对突发事件或临时性监管要求。

三、智能视频识别：实现最长响应时间1s的超高实时率

视频识别实现毫秒级迅速响应，视频过滤最长响应时间1s，处理实时率可达30%。深入每处细节；内容识别维度广，360度同步检测视频画面出现的画面、声音、字幕、文本、弹幕等内容。