Forge：开源AI绘画玩具变成生产力

SD1.5的时候，一个AI绘画创作者向Stable Diffusion开源社区贡献了强大的ControlNet插件。

这个插件几乎可以任意操控想要生成的画面效果，可以通过姿态、深度图、线稿等多种方式进行生成图片过程的控制。

当然了，也有一种观点认为，这种人为干扰AI生成图片的过程，脱离了AI绘画的初衷。

不管怎么说，这个插件极大的提高了出图的成功率，远比文字对画面的掌控力强大的多。

但到了SDXL时代，作者并没有及时更新相应的模型。

而是去做了一款新的UI，fooocus。

这个UI的底层集成了comfyUI，但界面风格接近Midjourney，操作简便，非常适合新手入门。同时，通过极致的优化，把SDXL对显存的要求大幅降低，让很多小显存用户能够用上SDXL大模型。

好景不长，过了没多久，作者在WebUI的基础上，又去开发了一个Forge的新UI。

这个Forge可以任意生成图层，它的目标并非替代WebUI，而是掘了Photoshop的老巢。

当图层能这么方便的使用免费开源工具生成、叠加、处理的时候，谁还去用昂贵的Photoshop？

作者叫张吕敏，是苏州大学本科毕业，现在斯坦福读博。

感谢这位年轻的开发者。

一、用秋叶启动器驱动Forge一键包

网盘下载：

https://www.123pan.com/s/ueDeVv-lnuI.html

为了方便国内用户，作者贴心的制作了一键包，不过这个一键包依然需要联网更新，很多选手会卡在更新环节。

今天给大家一个小技巧：秋叶启动器可以驱动Forge一键包。

方法如下：

将Forge一键包解压缩后，将秋叶启动器拷入WebUI_forge_cu121_touch21\webui

然后打开启动器。

选择WebUI开发版，启动器会自动下载依赖文件，下载完毕后不要急着一键启动。

点击设置，并改为专家模式：

将该界面下拉到最后，

Python路径覆盖为：

E:\webui_forge_cu121_torch21\system\python\python.exe

Git路径覆盖为：

E:\webui_forge_cu121_torch21\system\git\bin\git.exe

system按照你的解压缩包目录设置，墙裂建议不要变更默认的解压缩包后的文件夹名称。

然后一键启动，就可以和普通版WebUI同样使用了！

目前秋叶启动器还做不到和WebUI共用模型，有些up主通过修改启动文件的方式来实现，不过这种方式非常繁琐，需要使用秋叶启动器和原生启动器之间来回切换：用秋叶启动器更新环境，用原生启动器启动程序。

我是建议只需要拷贝过来几个最常用的大模型玩layer，其余的依然使用原来的WebUI或者comfyUI即可。估计用不了多久，秋叶就能很好的支持了。

二、安装layer插件

和普通版本的WebUI一样，在扩展处安装layer：

https://github.com/layerdiffusion/sd-forge-layerdiffusion

安装成功后，重启启动器就可以使用了。

在layerDiffusion处选择启用，然后输入的内容就可以生成想要的画面。

模型说明：

layer_xl_transparent_attn.safetensors 这是一个排名256的LoRA，可将SDXL变成一个透明图像生成器。它将改变模型的潜在分布到一个可以被特殊的VAE管道解码的“透明潜在空间”。

layer_xl_transparent_conv.safetensors 这是一个将您的SDXL变成透明图像生成器的替代模型。这个safetensors文件包括所有卷积层（实际上，包括任何注意层的所有q,k,v）的偏移量。这些偏移量可以与任何XL模型合并，将潜在分布变成透明图像。由于我们排除了任何q,k,v层的偏移训练，因此SDXL的提示理解应该被完全保留。然而，在实践中，我发现layer_xl_transparent_attn.safetensors将导致更好的结果。这个layer_xl_transparent_conv.safetensors仍然包含在某些特殊的使用案例中需要特殊的提示理解。此外，这个模型可能会对基础模型引入强烈的样式影响。

layer_xl_fg2ble.safetensors 这个safetensors文件包括偏移量，将SDXL变成一个层生成模型，该模型基于前景，并生成融合的组合。

layer_xl_fgble2bg.safetensors 这个safetensors文件包括偏移量，将SDXL变成一个层生成模型，该模型基于前景和融合的组合，并生成背景。

layer_xl_bg2ble.safetensors 这个safetensors文件包括偏移量，将SDXL变成一个层生成模型，该模型基于背景，并生成融合的组合。

layer_xl_bgble2fg.safetensors 这个safetensors文件包括偏移量，将SDXL变成一个层生成模型，该模型基于背景和融合的组合，并生成前景。

vae_transparent_encoder.safetensors 这是一个图像编码器，用于从像素空间提取潜在偏移量。该偏移量可以添加到潜在图像中，以帮助透明度的扩散。请注意，在我们的论文中，我们使用了一个相对较重的模型，其参数数量与SD VAE完全相同。发布的模型更加轻量级，需要的VRAM更多，并且在我的测试中没有影响结果质量。

vae_transparent_decoder.safetensors 这是一个图像解码器，输入为SD VAE输出和潜在图像，输出为真实的PNG图像。该模型架构也比论文版本更轻量级，以减少VRAM需求。我已经确保减少的参数不会影响结果质量。

1、头发蓬松的女孩

2、连衣裙女孩

3、摩托车

4、一棵树

对于很多设计师来说，基本上不需要素材网站了... ...

模型网盘下载：

layer模型安装路径：

webui_forge_cu121_torch21\webui\models\layer_model

https://www.123pan.com/s/ueDeVv-cnuI.html