SDXL,也称为Stable Diffusion XL,是一种备受期待的开源生成式AI模型,最近由StabilityAI向公众发布。它是 SD 之前版本(如 1.5、2.0 和 2.1)的升级版,在图像质量、美观性和多功能性方面提供了显着改进。
在本指南中,我将引导您完成设置和安装 SDXL v1.0 的过程,包括下载必要的模型以及如何将它们安装到您的 Stable Diffusion 界面中。本指南专为自动1111和调用人工智能用户,但是舒适用户界面对于 SDXL 来说也是一个不错的选择,我已经发布了安装指南也适用于 ComfyUI!让我开始吧:
步骤 1:下载 SDXL v1.0 模型文件
如果您已安装 AUTOMATIC1111 或 Invoke AI 并将其更新到最新版本,则第一步是下载 SDXL 1.0 所需的模型文件。这包括基础模型、LORA 和精炼模型。您可以在下面找到这些文件的下载链接:
· SDXL 1.0 基本模型和 LORA:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0– 转到模型卡页面,然后导航到“文件和版本”选项卡,在这里您需要下载两个 .safetensors 文件。
· 精炼机型号:https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0– 与以前相同,只是在这里您需要下载“ sd_xl_refiner_1.0.safetensors ”文件。请注意,这些文件相当大(6GB),因此可能需要一段时间才能下载,具体取决于您的互联网速度!
第 2 步:将模型文件移至模型文件夹
下载完所有三个所需文件后,您需要将它们放入正确的文件夹中。对于基础模型文件和精炼模型,需要将它们放入稳定扩散模型文件夹中。
自动1111:
/stable-diffusion-webui/models/Stable-diffusion – 将这两个文件放置在您看到“在此处放置稳定扩散检查点”文本文件的位置。
调用人工智能:
/invoke-ai/models/sdxl/main – 将基本模型放置在此处。
/invoke-ai/models/sdxl-refiner/main – 将精炼器模型放置在此处。
第三步:安装LORA
LORA 文件应放置在以下文件夹中:
自动1111:
/stable-diffusion-webui/models/Lora
调用人工智能:
/invoke-ai/models/sdxl/lora
步骤 4:加载 SDXL 1.0 模型
现在您已经下载了模型文件并位于正确的文件夹中,您应该可以开始了!首先加载您的稳定扩散界面(对于 AUTOMATIC1111,这是“user-web-ui.bat”)。
在左上角的检查点选项卡上,选择新的“sd_xl_base”检查点/模型。完全加载模型可能需要几分钟的时间。同样,使用 Invoke AI,您只需选择新的 sdxl 模型。
值得一提的是,以前的扩展可能不适用于 SDXL 1.0,因为它是较新的型号,并且与以前的型号工作方式不同。如果您遇到任何问题,我建议您从扩展选项卡禁用所有扩展,然后重新启动 Web UI。一些用户在使用“xformers”优化命令行时也遇到了问题,因此您可能也想禁用它。您可以通过编辑“user-webui.bat”文件并从命令行部分删除“-xformers”来完成此操作。
步骤 5:SDXL 的推荐设置
SDXL 现在在 1024 x 1024 分辨率下效果最佳。但是,您仍然可以更改图像的纵横比。
以下是 Stability AI 的官方图像生成器 DreamStudio 中使用的图像尺寸:
· 21:9 – 1536 x 640
· 16:9 – 1344 x 768
· 3:2 – 1216 x 832
· 5:4 – 1152 x 896
· 1:1 – 1024 x 1024
以下是 Stability AI 官方 SDXL 文档中提供的受支持分辨率的完整列表:
640 x 1536768 x 1344832 x 1216896 x 11521024 x 10241152 x 8961216 x 8321344 x 7681536 x 640
稳定性建议您将像素总数保持在 1024 x 1024 以内,以获得最佳效果。对于采样步骤和采样方法,这些很大程度上取决于用户偏好,也取决于您要创建的图像类型。作为一般基线,我建议坚持使用 Euler A,但如果您要生成绘画和绘图等艺术图像,DDIM 可能会给您更好的结果。您应该始终尝试这些设置,并使用不同的采样器设置尝试提示!
第 6 步:使用 SDXL Refiner
顾名思义,细化器模型是一种细化图像以获得更好质量的方法。请注意,对于 Invoke AI 可能不需要此步骤,因为它应该在单个图像生成中完成整个过程。要使用精炼机模型:
· 导航到 AUTOMATIC1111 或 Invoke AI 中的图像到图像选项卡。
· 将检查点/模型更改为 sd_xl_refiner(或 Invoke AI 中的 sdxl-refiner)。
· 您可以使用通过 SDXL 基本模型生成的任何图像作为输入图像。
· 将降噪强度设置为 0.25 到 0.6 之间的任意值 - 结果将根据您的图像而有所不同,因此您应该尝试此选项。
使用 SDXL 的提示
· 简约提示: SDXL 现在可以更好地阅读您的提示,因此请尽量不要使它们过于复杂!与 SD 1.5 和 2.1 相比,当使用描述单个场景或主题的简单提示时,您应该会获得更好的结果。您仍然可以使用样式提示,例如图像和艺术样式,但最好将它们留在提示的末尾。
· 负面提示:负面提示不像以前的模型那样必要。您以前可能使用过的某些负面提示(例如“模糊”、“模糊”、“不切实际”等)可能不再需要,而且实际上可能会使您的图像变得更糟。您仍然应该尝试负面提示,但不要太过分。
· 实验和迭代:使用 AI 模型生成高质量图像通常需要进行实验和微调。不要害怕尝试不同的提示、设置和模型配置来获得不同的结果。我建议增加批量大小,以便您可以从每个提示中获取至少 2 个图像。
· 保持更新:随着 SDXL 和 SD 用户界面的发展,您应该尝试保持最新版本和改进的更新。检查官方文档和社区论坛,例如/r/稳定扩散subreddit 获取其他用户的宝贵见解和提示。
· 留意定制模型: SDXL 仍然是新事物,但定制模型尚未那么常见。这肯定很快就会改变,你可以检查诸如公司提供一些最好的 SDXL 型号使用。使用自定义模型通常会给您带来更好的图像结果,因为它们迎合特定的风格,并且比基本模型经过更多的训练。
希望本指南对您设置和使用新的 SDXL 型号有所帮助。现在还处于早期阶段,但新的 SDXL 1.0 型号看起来像是对以前型号的巨大升级。随着更多定制模型的出现,我只能期望它会变得更好!