【AI绘画】彩奈（黑+白混合）Lora模型与正则化的讨论
摘要
本专栏将向你展示一个笔者目前认为泛化性与还原性基本达到要求的彩奈模型，模型中包含了差异较大的两个人物风格，并且在满足还原性的情况下，实现了衣服的混穿（但仍有一定瑕疵）。同时本专栏也会用具体图片向你证明正则化图片确有其用。结尾展示了几张笔者认为很好看的图片。
关键词：LoRA模型、泛化性、黑白彩奈、正则化探讨、碧蓝档案
序言
彩奈（又名阿罗娜）是游戏碧蓝档案中的向导 NPC 和广告牌娘。
其通常形象为白蓝主题，但在前不久的剧情中推出了反转形象--黑色彩奈。黑白彩奈可视为同一个人，但黑彩奈在设计上刻意追求了反差、对比（衣服、光环、眼睛等等），这使得两个彩奈在人物形象上存在诸多相似处的同时，又有着极为明显的不同，可以说是矛盾与对立的统一。
这直接导致了在lora模型中混用二者存在一定困难，同时训练过程中的tag的处理也存在一定考究。笔者认为这是一个非常好的研究案例。
如果周末有空，看的人多的话，可能会出一期新手向图片与tag处理的视频（我猜没空XD）
以下图片的模型在正则化下训练完成，保留了全部体征tag。
正文
（一）还原性
首先还原性成果展示
训练集展示
各位觉得效果如何呢？
笔者个人认为已经达到了要求。
——————————————————————————————
（二）泛化性
接着笔者删除去了全部衣服的tag，保留了各自的体征tag
如何？这些衣服均不存在与训练集。
当然，你想保留衣服，换个人也是可以的。
是不是感觉有了一定的泛化性？
不止如此！
——————————————————————————————
（三）风格混搭
通过合适的训练tag，学习率，和采用正则化避免过拟合，最后加上精心的tag魔法吟唱，
两个彩奈实现了风格的互换。
当然，这其中还有一些瑕疵，比如
不能画全身（推测训练集给的全身图像太少了）
如果一个风格的人物元素调用太多，会影响另一个风格的衣服元素（可能text过拟合了）
——————————————————————————————
（五）正则化的讨论
今天我注意到一位Up青龙圣者讲了正则化的正确作用，他的视频也做得很不错，推荐大伙去看看，【正则化和卷积应用】。
我的经验是，正则化对人物的训练确实是有作用的，你也可以从我上文图片可以看出拟合效果是很令人满意的。
同时，其避免过拟合的特性也使得学习率在不要过于离谱的情况下不会出坏图，这是很适合于新手的。
这里我给出两张XYZ调试图片，每张都有27mb，我将其上传到百度网盘。（怎么生成的？有什么用？可以去看青龙圣者的视频，他的视频质量很不错）
一张是黑彩奈，一张是白彩奈，X轴为8,10,12....32,34个epoch模型；Y轴为0.6,0.7,0.8,0.9的lora权重。两张的生成均使用了各自的体征tag，同时我强行加上了训练集中没有的full body和labcoat（白大褂），观察其的拟合与泛化特性。
这里我可以告诉大家，第14个epoch是拟合拐点，第28个epoch是泛化拐点（怎么看的？看青龙视频！），好模型要从15~27选，我后续有空会说要怎么看这个图和loss。
结尾
最后在放一些图，觉得本专栏对你有用的，或者图片好看的，不妨点个三连吧。
by Happy_WSH