低显存（4g）训练LoRA模型的一些经验+自训练四季夏目LoRA模型分享

多图预警；段首懒得空两格，见谅。

模型和图片（放进法术解析就能看咒语）会放在评论区置顶，在云平台上训练模型花了我一个疯狂星期四，求个小小的赞和评论应该不过分吧QAQ。

先说清楚，选择好合适的素材集在云平台上训练是一分钱不用花的，具体请看文中的引用教程，花了money是因为我人傻走弯路。

在玩了galgame之后，就有一种想要夏目更多地踩我的冲动，然后就想到了ChatGPT+VITS的整活，不过ChatGPT使用麻烦（虽然现在已经搞定了），VITS模型训练又比较麻烦（galgame剧本提取不出来），所以就想到了AI绘画。

幸运的是，b站上有很多打包好的懒人包，点开即用，笔者用的是up主秋葉aaaki的整合包。

        首先，我尝试着自己组合各种tag，来把枣子姐画出来，然而结果是这样的：

可以看到，头花？有了。头饰？有了。middle breast也差不多，但是画风不像啊。

于是我用了网上找到的柚子社画风的模型，并且由于枣子姐的美人痣太戳我xp了，我就在mole under eyes上打了好几托括号，结果变雀斑了，再加上负面tag没打好的原因，肢体也开始降san了(由于审核的原因，这个图删掉了）

接着继续尝试改进，首先是又换了一个模型，跑了一堆图出来，能看的也有，但是都不太符合我对枣子姐的幻想（（嘿嘿嘿））

(这里夹掉了一张nsfw，效果也不是很好，就不补了)

后来又换了好几个但还是不满意

我逐渐理解，想要画出自己想要的效果（人物），可能只能自己训练模型，但是我的显卡是GTX1650（据说当时被称为智商检测卡，4年前的中端配置显卡吧），显存只有4G。而训练embedding至少需要6g以上的显存。再说，embedding的训练需要大量素材，枣子姐虽然人气高，p站上也有较多插画（精选的大部分都是nsfw。。。），但应该是喂不饱训练素材量的。

直到我打开新世界的大门：LoRA模型

附上LoRA模型的教程

在这里也附上秋葉aaaki （简直是kamisama）的最新答疑

第一次训练模型，数据集非常非常粗糙，粗糙到什么程度呢，直接把插画或者立绘（贴吧有收集这方面资源的大佬）丢进去图像预处理，然后再丢进云平台训练。

这样训练出来的效果当然不好。第一次训练用的是镜像文件自带的model，大概是6k步还是3k步（忘了），然后在使用LoRA生图的时候好像用的是pastelmix粉彩（蜡笔模型？），出来的效果是这样的：

这个应该是用了柚子社画风的大模型

效果是有的，但是一言难尽，当时我还没有尝试去调教LoRA模型的权重，一般来说权重为1的话效果不是很好（也有可能是我训练的模型比较烂）。

随后我又训练了一个跑了2w3step的模型，但是由于没有调教权重，出图效果也不好，我当时还以为是步数不够，tag不好，一直在调整。直到我用跑了7w步的模型（错误率大概在2%）也无济于事，我才将好几个LoRA一起用，然后调整权重，经过不断调教左右，发现LoRA模型的权重大概在0.5~0.7之间是最好的，能产出比较好的图片：

这个模型是以b站up主Toooajk做的矢车菊模型为底模训练的，不过产图时用的model也忘了，大概率是pastelmix吧

发带已经比较稳定了，这时候我发现了元素法典的文档，并采用了里面的风魔法，画出了比较好的效果

在经过一系列的调试魔法，现在枣子姐的形象大概稳定了下来，接下来就是慢慢靠近原画风，慢慢让她画出不同动作不同场景的作品，同样，在以下图片中都是借鉴元素法典里的魔法来调整效果的。

后来由于操作失误，不小心把存着的13个版本枣子姐的style给删了。。。只能从头开始慢慢调试，同时也尝试新风格新背景新动作。特别提醒一下，如果存的style太多，千万不要自己在文件表格里面删减，不然报错之后全部style都没了。（血泪史）

于是又开始产出掉san的图

但是从开头翻到这里，其实人物特征效果是越来越好的。

一开始我陷入了一个误区，就是把原图直接丢进去，让图像预处理进行分割，训练出来的模型效果不太好（也有可能是操作不当，权重给太高，渣机懒得尝试了）

在之后的训练里，我把立绘的图一张一张裁剪，把头部各表情剪出来，同时将其在训练集中复制粘贴好几次，这样原画风的图片占比就比较多，插画的占比比较少。然后把每一套衣服剪一下，再适当添加nsfw的素材进去。这样素材及总共应该有六百多张图。不过其实对于LoRA模型来说，不需要这么多素材，也不需要这么多步数。我也可能是多此一举了，今天早上刚跑完的模型，是我基于原本跑了7w步的模型继续训练了10w步产生出来的。。。错误率大概在1%左右，应该已经陷入局部最优出不来了。

我还做了一些其他尝试，例如图生图，在这里推荐pose studio，可以摆各种各样的姿势，然后截图拿去图生图。

当然，不要跑太复杂的姿势。。。。不然又要掉san了

4g显存能跑多大的图？我跑1024x768是没有问题的。在提示词里面最好不要多个LoRA模型一起用，因为那样会占很多显存，我三个混用的时候，跑960x640都会给我爆显存。

唉，跑了这么多图，看了这么久，感觉又越改越不像了

写在最后

祝大家能顺利跑出自己的老婆，夏目我先抱走了（滑稽）。

欢迎大家在评论区留下批评和建议，如果本文违反了转载规定或侵犯他人劳动成果，我会立刻删除本文！

这些都是这几天实践出来的结果，但是可能有些说法和实际情况不太一样，文中有不恰当的地方请各位斧正，我会虚心接受并及时修改。（除了"夏目我先抱走了"这句话）

最后要感谢b站和贴吧上各路大佬的努力，有了他们提供的技术帮助，才能让一个小白可以点击几下鼠标就能完成训练模型，本地部署sd这些复杂的事情。有相关问题可以在秋葉aaaki大大的主页寻找教程，资料真的很完备！