原标题：人工智能专题：人工智能生成图像的危害分析与网络真实性保护（附下载）

今天分享的是人工智能系列深度研究报告：《人工智能专题：人工智能生成图像的危害分析与网络真实性保护》。

（报告出品方：RAND）

报告共计：20页

海量/完整电子版/报告下载方式：公众号《人工智能学派》

浅析Al-Generated图像的危害及网络真实性保护

没有监管的护栏放大了图像生成人工智能(AI)工具互联网的民主化已经存在的危害。人工智能图像在互联网上的出现始于生成对抗网络GANS。

(1)生成图像的生成器算法和(2)评估图像质量和/或准确性的鉴别器算法。

通过生成器和鉴别器之间的几轮协作，生成最终的Al图像(Alqahtani，Kavakli-Thorne，和Kumar，2021)。ThisPersonDoesNotExist.com是一个由Uber工程师创建的网站，可以生成真实人物的GAN图像，于2019年2月推出，令观众惊不已(Paez，2019)，在广泛的诈骗和社会工程等滥用领域具有严重的影响这仅仅是AI生成的图像及其在互联网上的利用的开始。随着时间的推移0AI图像生成技术从GAN向扩散模型发展，后者能够生成比GAN更高质量的图像和更多的图像多样性。扩散模型通过将高斯噪声2添加到原始训练数据图像来工作。

通过一个前向扩散过程，然后通过一个反向过程慢慢地去除噪声，重新合成图像，以显示一个新的，干净的生成图像(HoJain，和Abbeel，2020)扩散模型与神经网络技术配对以映射文本到图像的能力，称为文本-图像编码器(对比语言-图像预训练(CLIP)是这个领域的一个里程碑)，允许模特处理视觉概念(Kim，Kwon，and ChulYe，2022)。因此，差分融合模型(DALL-E、稳定扩散、Midjourney、Imagen等)的商业化将合成图像生成的力量交到了全球范围内的用户手中。图像生成工具的兴起引入了诸如误传和虚假信息、极端主义和非自愿的亲密图像(NCI)等安全危害的综合形式，导致互联网生态系统的进一步混乱和破坏。

图像真实性在互联网上的作用

互联网上的图像真实性正处于危险之中，因为人工智能生成的图像没有出处证明，或给定图像的来源，正在影响人们对时事和公众人物的看法。问题不仅在于内容真实性的下降，还在于许多用户缺乏知识和工具来帮助他们在信息领域进行这种范式转变。投机取巧的行为者正在利用可获得的人工智能工具来降低人们对内容和媒体的信任，尤其是在暴力冲突等动荡时期。这方面的一个例子是在哈马斯2023年10月7日袭击以色列以及随后加沙冲突之后，人工智能生成的煽动性图像。

图像生成中的安全挑战

人工智能图像生成领域的安全挑战始于技术层面，而最重要的安全挑战是由于训练数据的偏见和危害，开源图像模型的存在，以及在用户级别的内容审核的零敲碎打的方法。当前的AI图像生成空间主要由文本到图像的扩散模型组成，例如Midjourney、DALL-E和Stable Diffusion，它们根据用户提示生成图像。了解文本到图像扩散模型中的安全问题的基本原理可以显示为什么这些模型可以产生不安全的图像。此外，深入研究训练数据、开源模型和内容审核发现，这些技术缓解措施根本不足以防止有害内容的产生，美国需要真实性解决方案来管理风险和危害。

图像生成模型反映了互联网上的社会和代表性偏见，因为它们是根据从互联网上搜刮来的数据进行训练的。例如，在互联网上，与男性的类似形象相比，女性的性形象要多得多，男性的职业形象(医生、律师、工程师等)也要多得多。比相似的女性形象更重要。形象模型将这些代表性偏见概念化，并已非常擅长生成既过分强调女性又突出男性担任专业职位的内容(Heikkil，2022)。最近的研究表明，要使图像模型更安全、更少偏见，还有很多工作要做，因为模型中仍然存在严重的职业偏见，这会导致从生成的结果中排除某些群体(Naik andNushi,2023)。

这些模型的安全危害也源于训练数据。首先，数据标记主要外包给专门从事规模化标记的供应商，这是具有成本效益的。然而，这一过程可能会在训练数据的人类标签中引入偏差和不准确性(Smithand Rustagi,2020)。当开发人员从互联网上抓取数据用于图像生成时，他们确保模型安全的主要方法是过滤训练数据，并尝试减少训练过程中有害内容的流行(Smith and Rustagi，2020)。然而，此方法取决于这些过滤器在根除有害内容方面的有效性，同时确保它们在排除训练数据时不会过于保守，以便模型仍然基于广泛的数据进行训练，并在其生成的各代中保留质量和创造性。此外，即使有强大的安全滤波，模型的能力，推断概念，在不同类型的良性图像可能会导致有害的图像的生成。例如一个接受过海滩图片训练而不是色情图片训练的图像模型会理解人体穿着泳衣或极简服装时的样子同样的模型也可以用孩子们上学、在户外玩耍等图像训练，所有这些图像都是良性的。这些模型的功能相结合（没有进一步的安全措施）将可能允许该模型通过恶意提示工程师创建衣着暴露甚至裸体儿童的图像。

报告共计：20页

海量/完整电子版/报告下载方式：公众号《人工智能学派》