“GPT-N”一定更强吗？专家警告：当人类数据用完，AI大模型或将越来越笨

作者：学术头条发布时间：2023-06-13

1966年，在由Michael Keaton主演的科幻喜剧电影《丈夫一箩筐》（Multiplicity）中，剧中主角 Doug Kinney 在 Leeds 博士的帮助下成功克隆了自己，随后又制作了“克隆人的克隆人”，其结果是，后代克隆人的智力水平均呈现出了指数级下降，愚蠢程度不断增加。

图｜《丈夫一箩筐》海报

放眼当下，以 ChatGPT 为代表的大型语言模型（LLMs），在一定程度上也成为了人类智力的克隆产物。而数据作为模型性能和泛化能力的重要基础之一，会直接影响这些“克隆人”的智能水平。

如我们所知，用于训练 LLMs 和其他支撑 ChatGPT、Stable Diffusion 和 Midjourney 等产品的 Transformer 模型的数据，最初都来自于人类的资源，如书籍、文章、照片等。而这些都是在没有人工智能（AI）帮助的情况下创造出来的。

未来，随着 AI 生成的数据越来越多，大模型训练又将如何展开？当 AI 只能用自己生成的数据来训练自己时，又会怎样？

近日，牛津大学、剑桥大学的研究人员及其合作者对这一问题进行了研究，并将研究成果论文发表在了预印本网站 arXiv 上。

论文链接： https://arxiv.org/abs/2305.17493v2

他们通过研究文本到文本和图像到图像 AI 生成模型的概率分布，得出了这样一个结论：

“模型在训练中使用（其他）模型生成的内容，会出现不可逆转的缺陷。”

即“模型崩溃”（Model Collapse）。

什么是模型崩溃？

本质上，当 AI 大模型生成的数据最终污染了后续模型的训练集时，就会发生“模型崩溃”。

论文中写道，“模型崩溃指的是一个退化的学习过程，在这个过程中，随着时间的推移，模型开始遗忘不可能发生的事件，因为模型被它自己对现实的投射所毒化。”

一个假设的场景更有助于理解这一问题。机器学习（ML）模型在包含 100 只猫的图片的数据集上进行训练——其中 10 只猫的毛色为蓝色，90 只猫的毛色为黄色。该模型了解到黄猫更普遍，但也表示蓝猫比实际情况偏黄一点，当被要求生成新数据时，会返回一些代表“绿毛色的猫”的结果。随着时间的推移，蓝色毛色的初始特征会在连续的训练周期中逐渐消失，从逐渐变成绿色，最后变成黄色。这种渐进的扭曲和少数数据特征的最终丢失，就是“模型崩溃”。

论文中还强调，还有许多其他方面会导致更严重的影响，比如基于性别、种族或其他敏感属性的歧视，特别是如果生成式 AI 随着时间的推移学会在其反应中产生一个种族，而“忘记”他人的存在。

重要的是要注意，这种现象不同于“灾难性遗忘”（catastrophic forgetting），模型只是丢失以前学到的信息，相比之下，“模型崩溃”涉及模型根据它们强化的信念误解现实。

此外，研究人员表示，即使在训练后代模型时使用的人类自身创作数据占比依然有 10%，“模型崩溃也还会发生，只是不会那么快。”