「完整FX」Stable Diffusion 商业变现与绘画大模型多场景实战

Stable Diffusion如何工作？

Stable Diffusion是一种深度学习模型。

Stable Diffusion 商业变现与绘画大模型多场景实战

扌并кe：Ukoou·ㄷㅁΜ

我们将深入探讨Stable Diffusion是如何工作的。你为什么需要知道这部分内容？除了它本身就是一个引人入胜的主题之外，对内在机制的一些理解将使您成为更好的艺术家。您可以正确使用该工具以获得更高精度的结果。文本到图像(text-to-image)与图像到图像(image-to-image)有何不同？什么是CFG价值？什么是降噪强度？您将在本文中找到答案。

Stable Diffusion能做什么？

在最简单的形式中，Stable Diffusion是一种文本到图像模式。给它一个文本提示(Text Prompt)。 它将返回与文本匹配的图像。

扩散模型(Diffusion model)

Stable Diffusion属于一类称为扩散模型（diffusion model）的深度学习模型。它们是生成模型，这意味着它们的目的是生成类似于它们训练数据的新数据。对于Stable Diffusion来说，数据就是图像。
为什么叫扩散模型？因为它的数学看起来很像物理学中的扩散。让我们来解释这个理念。假设我训练了一个只有两种图像的扩散模型：猫和狗。在下图中，左边的两个山峰代表猫和狗这两组图像。

主模型指的是包含了 TextEncoder（文本编码器）、U-net（神经网络）和 VAE（图像编码器）的标准模型 Checkpoint，它是在官方模型的基础上通过全面微调得到的。但这样全面微调的训练方式对普通用户来说还是比较困难，不仅耗时耗力，对硬件要求也很高，因此大家开始将目光逐渐转向训练一些扩展模型，比如 Embedding、LoRA 和 Hypernetwork，通过它们配合合适的主模型同样可以实现不错的控图效果。