模型炼丹师揭示：谈论模型是在谈论数据集，"数据即王道"
OpenAI 的一位模型训练专家分享了一个有趣的观察：生成模型的行为主要由数据集决定，而非模型架构、超参数或优化器选择。这一洞见来自他在 OpenAI 工作近一年的经验。 主要观点： 模型训练过程的相似性： 作者在 OpenAI 工作期间，训练了大量生成模型，并观察到这些模型在训练过程中的行为非常相似。 这些模型不仅学会了识别猫或狗的概念，还学会了数据集中一些不重要的分布间隙。 数据集的重要性： 无论是大型扩散卷积网络还是视觉变换器（ViT）生成器，它们在相同数据集上训练足够长时间后，都会生成相同的图像。...【查看原文】
