LayerDiffusion 是 ControlNet 作者Lvmin Zhang提出的新项目,它使得大规模预训练的Stable Diffusion能够生成单个透明图像或多个透明层,且支持前后景的图片融合和图层拆分。
LayerDiffusion的核心,是一种叫做潜在透明度(latent transparency)的方法。简单来说,模型在训练时在潜空间加入了Alpha透明通道的编码,允许在不破坏预训练潜在扩散模型(如Stable Diffusion)的潜在分布的前提下,为模型添加透明度。
LayerDiffusion不仅让SD实现了图层的突破,使用这个潜空间进行训练或微调,也是一种有潜力的生成动画的方法。
github地址:https://github.com/layerdiffusion/sd-forge-layerdiffusion