OpenAI力挺‘大模型’，谷歌却称小巧更妙，谁说了算
近年来，随着模型规模的逐渐扩大，“力大砖飞”的观点在人工智能领域愈发流行。
然而，谷歌研究院和约翰霍普金斯大学最新的联合研究却给出了不同的见解。他们发现，在潜在扩散模型(Latent Diffusion Models，LDMs)中，并非模型越大性能越好。
OpenAI一直是“Scaling laws”(缩放定律)的坚定拥护者。该定律主张模型的效果与其规模、数据集及计算量的大小紧密相关，而与模型的具体结构关系不大。然而，新的研究却对这一观点提出了质疑。
在谷歌的这项研究中，研究者们设计了11个不同参数的LDM，并进行了详尽的测试。他们发现，在计算资源受限的情况下，增加数据集的大小比增加模型参数更为重要。
具体而言，当计算资源增加10倍时，最理想的情况是将数据集扩大10倍，而不是增加模型的参数。
此外，研究还发现，在训练步骤恒定的情况下，较大的模型通常表现更好。案例如下：
然而，当训练步骤可以变化时，情况则有所不同。
在计算资源有限的情况下，较小的模型(训练步骤多)的性能可能会超过较大的模型(训练步骤少)。这一发现对于如何在有限的计算资源下优化模型性能具有重要的指导意义。案例如下：
值得注意的是，尽管小模型在某些任务上表现出色，但大模型在图像细节处理方面仍然具有优势。在超分辨率和DreamBooth任务上，大模型展现出了更高的性能。
此外，研究还发现不同大小的模型对于CFG(Classifier-Free Guidance Rate)的相关性基本一致。CFG是一种在扩散模型中使用的技术，用于调整模型在随机生成和文本条件生成之间的平衡。这一发现进一步揭示了模型大小与性能之间的复杂关系。
这项研究对于理解模型规模与性能之间的关系具有重要意义。它挑战了“力大砖飞”的观点，提出了在计算资源有限的情况下如何优化模型性能的新思路。这将对开发更高效的图像生成AI系统产生深远影响，并推动AI技术的进一步发展。