最近换脸非常流行,无论是roop还是reactor还是faceswap,都掀起了AI换脸的热潮。
然而,对于AI绘画爱好者来说,最稳定的换脸,依然是LoRA,也就是所谓的“炼丹”。
LoRA的逻辑是通过大量的图片训练,生成稳定的微调模型,在配合AI绘画大模型,可以实现自己想要的效果。
但是,炼丹有个巨大的门槛,炼丹工具相对专业,从打标到图片剪裁处理,操作非常繁琐。
有个叫EasyPhoto的插件,能够“一键式炼丹”,只需要上传照片,剩下的交给插件处理。
这个插件的基本原理是自动打标、自动训练LoRA,特别适合入门选手,只需要上传足够多的照片即可。
需要提醒的是,最好是8G甚至12G以上显存,32G以上内存,否则容易爆显存爆内存。
1、EasyPhoto的安装
EasyPhoto基于WebUI,在扩展--从网址安装
输入:http://github.com/aigc-apps/sd-webui-EasyPhoto
然后点击安装,安装成功后重启启动器。
2、主要界面说明
左侧上传图片(Upload Photos)部分,上传5-15张照片为宜。不过考虑到我们有些照片头部拍的不够清晰,EasyPhoto可能无法用于训练,可以适当多传,比如20张、30张都可以。如果上传错了,可以用Clear Photos删除。
右侧是选择大模型作为训练底模,系统配置较低(如显存8G甚至更低)建议选择SD1.5大模型,系统配置较高(如显存12G甚至24G)建议选择SDXL1.0大模型。
推荐选择适合亚洲人的大模型,本文选择XXMix_9realisticSDXL_v1。
相对来说,SDXL1.0大模型更能理解自然语言,方便出图。
如果对LoRA训练比较熟悉,可以微调参数,如果不熟悉,直接使用默认即可,不影响最终使用。
3、开始训练
点击Start Training,系统开始自动训练。
EasyPhoto会先自动下载一些模型,请保持网络畅通(无需科学上网)。
模型下载完毕后,自动进入炼丹过程。
大约半小时到一小时左右(看配置,如果是4090可能只需要十几分钟),会完成LoRA训练。
注意这个过程中确保内存、显存不被占用(尤其是内存),否则容易爆。
训练结束后,会生成一个(其实是5个,经过自动评分后选择最优的那个)LoRA文件,这个LoRA可以放到lora目录里正常使用,也可以在EasyPhoto界面进行花式应用。
4、EasyPhoto的花式应用
在训练的基础上,可以用内置模板一键生成各种风格的照片,特别适合证件照、艺术照等风格。
需要注意的是,第一次在该界面使用的时候,EasyPhoto会自动下载ip-apdater、InstantID等插件(无需科学上网)。
因为InstantID插件对显存的要求是16G起步,所以此处如果小于16G显存,容易爆显存。
5、LoRA的使用
EasyPhoto训练好的LoRA会自动拷贝到model\lora目录下,视同普通lora使用。
6、总结
8G可进行SD1.5的训练,12G可进行SDXL1.0的训练,生成可以使用的LoRA。
16G可完整的使用EasyPhoto全部功能。