Stable Diffusion固定物体形态批量替换背景

在Stable Diffusion软件中，使用ControlNet+模型实现固定物体批量替换背景

出图的流程。

一、准备好图片：
1.你需要准备好一些白底图或者透明底图用于训练模型。

2.你需要准备同样角度的其他背景色底图用于ControlNet勾线

3.注意检查你的图片尺寸，是否为1:1，且两张背景色图片中的物体大小要一致。
4.使用图片预处理，勾选好语言，处理透明底图或白底图。

5.检查你是否有ControlNet和Lora插件。

二、训练你的模型：
主要用于识别你的材质和线条。
我的训练使用的秋葉大佬的方式，参数如下：
底模：latest（秋葉大佬整合包中自带的）。

炼好丹安装到这俩文件夹。

三、换背景：
1.把你准备好的其他颜色的图放入ControlNet。

2.填入你想要的风格tag词（我这个词组只适合我的产品，其他产品请自行测试自己适用的词组）：

我这里使用的词如下↓
正：

(((an expansive view of))),huge filesize,realistic:1.5,
 Edge smoothing,Film quality,
european style room,Many furniture with diverse colors,Top light,
Bookshelves, ((small round tables)), artworks, art lamps, green plants,
potted plants, tea cups,ceiling,
leather sofa, Chrome square sofa support column,
Very short sofa support column,
masterpiece,best quality,
{an extremely delicate and beautiful}, 

反：lowres, bad anatomy,  text, error, extra digit, fewer digits, cropped,
jpeg artifacts, signature, watermark, username, blurry,juveniles,
(realistic:0.1~1), (low quality, worst quality:1.4),
(((decorative pattern))),
Redundant structure,aloft,humans,mirror,Stretch,
Abnormal proportion of objects,2 or more sofas,
4 or more sofa support pillars,Blur, mosaic

其他数据：

然后点击右边的生成就行，得到结果如下↓

得到结果一张。

结果和我们的目标不一样。

3.生成想要的结果：

1.打开图生图，把上面结果丢进去。

2.ControlNet还是丢进去同一张底图。

退出时机要看你的图色是否达到你的要求。

3.调用Lora模型：

得到结果如下图↓

如果你需要更多的风格，那就回到文生图页面中去生成即可。

当然，这方法目前还不算完美，当前存在的问题是：
1.在图生图的时候，虽然保持了图片图形的不变，但始终会影响整体颜色，正在尝试解决ing...
2.同上，纹理也会造成全图影响。
3.模型会随机消除主体前方的物体。
4.色差：风格图的颜色如果太深，而你的物体本身颜色较浅，这样贴出来可能存在色差，由浅向深要更容易转变。

问题1和问题2的单个图片解决方法是通过绘图或者蒙版调整锁定其只影响主体部分。
批量解决思路是通过Tag词的限制指定或颜色控制插件来进行控制，但还没尝试，不知道能不能行得通。

问题3我理解为ControlNet的线条锁定问题，后续会尝试通过消除底线来尝试看看能否解决该问题。

自动多角度调整这个目前我还没有想到解决方法，现在我自己暂时是通过多角度图片或3D模型控制替换关键词来解决。

暂时就这些，我也只是小白，不足之处还请多多包涵。