文中图片除标示原图外,其余均为SD生成,仅用于学习交流,禁止商用,禁止违法用途。
因没有多余的图片内容,也没有网络图片可用,只能将就这四张图片来练(原图都还有色差)。
第一次尝试快速练模,抠图后400步,过拟合严重,失败。
第二次尝试快速练模,抠图后200步,欠拟合,失败。
第三次在更改思路后,尝试另一种炼丹方式,不抠图,步数至4000+,过拟合严重,失败。
第四次在更改思路后,尝试第三种炼丹方式,步数至1000+,纹饰仍然无法准确识别位置,失败。
第五次尝试第四种炼丹方式,步数至600,纯色可用,复杂花纹还是不行,且存在颜色污染。
第六次尝试第五种炼丹方式,步数至2000+,结果还算勉强能用(图在原图下面)。
loss值需要稳定在0.6-0.8。
原图↓
最近一次的炼丹生成结果(底模:basil mix)↓
底模切回chilloutmix_NiPrunedFp32后,站姿效果则更接近实物。
不过因为训练集中缺少各种姿态,所以在形态变化后,是否依旧符合实物结果未知。
另一个问题是没有对手部做优化,所以模特架的粗细直接被应用到了手上,看着像男性的手臂和手。
结果:
4张图片的训练结果在只使用Lora的情况下,还没法做到100%复现。
最终结果只能说是近似,能引流,但不能作为产品实物宣传图。
在调整lora组合的过程中,在部分调用和上色这个位置始终存在一定的问题。
下一次测试将在优化训练集标签后再次进行。