SDXL是 v1.5 模型的官方升级版,SDXL 的总参数数量为 66 亿,而 v1.5 为 9.8 亿。SDXL包括两个部分 基础模型和细化模型。
使用的时候首先运行基础模型,然后再运行细化模型,当然你也可以只运行基础模型。
语言模型 引入了 OpenAI 的 CLIP 使得提示词更容易被理解。
在扩散模型中,最关键部分 U-Net 扩大了 3 倍。加上更大的语言模型,SDXL 模型能够更好的根据提示词生成高质量图像。
SDXL 的默认图像大小是 1024×1024,这比 v1.5 模型的 512×512 大 4 倍。
使用SDXL的时候,图像的原始大小是 1024×1024。如果你想生成其他的尺寸,因为生成质量和图片大小关系很大,建议使用以下的尺寸:
1:1 – 1024 x 1024
5:4 – 1152 x 896
3:2 – 1216 x 832
16:9 – 1344 x 768
21:9 – 1536 x 640
负面提示词并不像以前的版本中那么必要了,许多常见的负面提示词在SDXL版本中不再起作用,例如"额外的手指",Extra fingers。
也不需要像v1模型那样使用很高的关键词权重。对于SDXL来说,你原本习惯使用的高权重可能需要降低一些,低权重在新版本会有更好的效果。
始终使用扩展名是safetensor的版本,而不是checkpoint版本。它更安全,不会包含病毒。
在Windows或Mac上安装SDXL 1.0模型的步骤如下:
下载SDXL基础模型和细化模型,并像以前一样将它们放入models/Stable-diffusion文件夹中,重启,这样在"Stable Diffusion Checkpoint"下拉菜单选项里,就可以看到这两个SDXL模型的选项。
在文生图页面上使用SDXL基础模型与使用任何其他模型没有太大区别,基本步骤如下:
1. 在"Stable Diffusion Checkpoint"下拉菜单中选择SDXL 1.0基础模型。
2. 输入一个提示词,输入一个负面提示词,也可以不填负面的。
3. 设置图像大小为1024×1024,或者对于不同长宽比的情况,设置为接近1024的尺寸。
重要提示:确保没有选择v1模型的VAE。前往“设置” > “Stable Diffusion”。
将“SD VAE”设置为“None”或“Automatic”。
现在可以在文生图选项卡中使用细化模型与基础模型一起使用。
不过需要WebUI版本1.6.0或更高版本。
要启用细化模型,请点击“Refiner”部分:
Checkpoint:选择细化器1.0模型。
切换位置:这个控制在哪步切换到细化器模型。例如,选择0.5并使用40个步骤,意味着在前20个步骤中使用基础模型,接下来的20个步骤中使用细化器模型。切换到1表示仅使用基础模型。
通常情况下,在切换值为0.8和1.0时,生成的图像很相似。在0.6的切换值下生成了最高质量的图像。
另外提高步骤的数量可以产生略微更高质量的图像,但在30步以上,差异是微小的。
SDXL还提供了一系列预设的样式。实际上,这些样式是可以通过向提示词和负面提示词中添加关键词来启用的。也可以安装StyleSelectorXL扩展插件,将相同的预设样式列表添加到WebUI中,这使能够轻松选择和应用这些样式。
要安装StyleSelectorXL扩展程序,选择“Extensions”页面。选择“从URL安装”选项卡。将以下内容粘贴到URL中:
https://github.com/ahgsql/StyleSelectorXL
然后点击“安装”, 在看到成功安装后,请重新WebUI。
安装好插件后,应该会在文生图页面上看到一个新的部分,从而能够轻松选择和应用各种样式。
使用的话和往常一样编写提示和负面提示。确保启用了SDXL Styles选项。选择一个样式(非基础样式)来应用样式。