大家好,我是夏代Key,今天要教会大家如何使用Stable Diffusion在不需要任何网络参考图的情况下,完成一个人物的设计。
提前声明:本文为进阶教程,需要掌握与了解大量插件使用,但不对任何工具进行教学,不过为了各位小伙伴更容易学会完成,操作,我会在下方附上对应需要学习的视频,供各位小伙伴进行参考。
这里预先先默认所有小伙伴都已经安装软件,如果还有小伙伴不了解自己应该如何安装软件,可以点击秋葉aaaki大佬的视频,点击前往下方两个视频进行安装。
让我们直接步入正题吧:
1.安装Controlnet插件与Openpose模型,这里可以全程跟着秋葉aaaki大佬进行学习。
2.了解Lora模型的使用,大家还是跟着秋葉aaaki大佬进行学习。
3.下载CharTurnerBeta - Lora模型,并学会使用三视图生成,这里可观看大江户战士的视频。
注:目前三视图生成服饰着装并不稳定,可能需要大量抽卡,直到找到一张人设(脸部与发型)较为稳定的三视图即可。
注1:不同底模对于三视图生成效果都有不同影响,如果设置与大江户战士一致,而多次生成出的图片都带有背景,可以考虑切换底模,这里我使用的是MixProV3模型。
注2:选择合适的画风很重要,后续Lora训练也与这个息息相关,各位可前往C站(www点Civitai点com)自己下载自己喜欢的模型。
1.追求精益求精或需要保存角色服饰的小伙伴,可以打开局部重绘或PS进行修图。
在某些特定情况下,使用局部重绘效果不一定好,这时我们可以打开PS
例:下方我框选的位置可以通过PS的套索工具框选出来对背景进行填充
以下为填充效果,大家不要怕损坏图片本来的人物结构,下面会进行重修(PS:细心的小伙伴可能发现最左边的背影,怎么穿着黑丝呢,想换成白丝可以吗?答案是可以,但想要保持腿型一致很难,最终我选择摆烂,有更好方法的小伙伴可以在评论区给我留言)
填充后,如果各位想进一步进行修图可以使用seed进行高清重绘,或是使用图生图界面进行进一步修复,要使用插件。
2.学习使用插件进行修复,小伙伴们可以跟着メ純銀ぐ碎冄大佬进行学习。
大家学习完成后可以跟随我进行设置
3.调整参数:这里给小伙伴们一个概念,重绘幅度越高,角色的随机性也就越高,包括动作结构都有可能改变,所以我推荐三设图的重绘幅度不超过0.5,如果想一定程度的进行改变可以选择0.2-0.4最为稳妥。
而迭代步数过低,修复会看不出效果,迭代步数越高,拟合程度越严重。但,低重绘幅度可以解决这一切,这里推荐我推荐使用较低的重绘幅度与较高的采样步数进行搭配,如:0.15重绘幅度与150迭代步数。可以生成以下的图片:
注1:如果修复过程中发现角色发色和瞳色不一致,可在tag栏输入发色与瞳色(缺点是可能改变服饰配色)。
注2:如修复过程中出现黑图/点击后不生成图片/生成过程中突然中止 并生成模糊图,这代表的你的显卡显存不足,建议降低分辨率或更改部分算法。
1.首先打开PS进行抠图,因为三视图的训练集较少,小伙伴们需要尽可能的将脸部与身体都单独截取,这里我选择了十张图,尽量分辨率保持一致。
2.Lora训练,这里还是得感谢我们的赛博菩萨,秋葉老师。
3.掌握一些Lora训练技巧,也很重要,尤其是打Tag,大家可以查看另一位赛博佛祖的视频。
4.正式开始训练时,因为我们只有10张图,所以训练步数要尽可能的多(但太多会拟合,所以适中即可,我推荐20步上下),我训练时40步,并训练了10轮,后续生成时有些拟合,所以小伙伴们可以减少一些训练步数,以降低拟合。
注:
不要选择太大分辨率与过高步数!!
不要选择太大分辨率与过高步数!!
不要选择太大分辨率与过高步数!!
1.这里经过实验选择0.6-0.8权重最为合适,首先我们来试一试半身像的效果
感觉还不错,我再来试一试全身的效果
改下服饰颜色试一试
什么?你发现袜子不见了,别着急,这是因为我在打Tag环节中保留了短袜的White_socks标签,所以需要手动输入后更改。
让我们给她条袜子吧
而场景与姿势,也可以通过tag进行更改,让我们添加(black thighhighs,dress,sit),改变服饰并且切换坐姿。
接下来使用(white thighhighs,white dress,sit),生成白丝坐姿
最后使用(swimsuit,bare legs,lying),生成泳装照并躺下
PS:背景模糊是因为我上诉所说的过拟合导致,小伙伴们要记得降低训练步数。
我们的人设生成(初级版)就算大功告成了。
但,到此为止了吗?
还没有结束!第一版跑出的Lora缺陷很多,也因为训练集过小,导致我为了训练效果会加大训练量最终过拟合。小伙伴们需要通过第一版的Lora继续生成各种姿势与服饰的白色背景图片(可以根据自己的需求更改),增加足够多的训练集样本后,后续可以选择融合第一版的Lora,或是重新进行Lora炼成,到那时才算是真正的大功告成。
AI绘图发展到今天,离不开互联网开源精神,同时也希望各位学会之后不要在各位老师(画师)或是公司美术面前 骑脸 输出。
我相信AI绘图这门技术,首先能够造福很多独立游戏与资金并不充裕的小型游戏公司,后续必将能惠及更多动画公司与整个游戏业界,而AI始终是人类掌握的工具,所以大家不必排斥与抵触,新的技术必将诞生新的岗位。
以上,感谢小伙伴们耐心观看,希望各位小伙伴能有所收获。
特别鸣谢各位开源大佬,以及赛博菩萨的教学。