终于有时间测试lora了,之前总有人吐槽说我生成的阿米娅不像阿米娅,蓝毒不像蓝毒,我说那是因为没加Lora,现在澄清一下,加了Lora也不像 。
咳咳,言归正传,总所周知,Lora是画面控制杀手锏之一,据说只要加了Lora,就能画出自己喜欢的角色,喜欢的画风,还有各种不能说的姿势……总之,Lora的出现避免了之前通过tag控制画面的土办法,真正做到了指哪打哪的效果。
实际上,很多小伙伴在初次使用Lora时都会遇到各种各样的问题,这些问题反映到画面上就是:
我的买家秀怎么和卖家秀差的这么大??
很多时候,出图质量不高的原因是因为我们根本没有正确使用Lora,很多人以为只要把Lora往那一放就万事大吉了,结果直接导致古神诞生。那么应该如何使用Lora呢?
在使用Lora前我们应该先认识Lora的构成,一个Lora在tag中一般由四部分构成:Lora标识,Lora名称,Lora权重,触发词;
拿<lora:ArknightsBagpipe_bagpipev11:0.7>,bagpipe \(arknights\),official style,举例:
lora:Lora标识符,说明该tag是个Lora;
ArknightsBagpipe_bagpipev11:Lora名称,说明该tag所使用的Lora;
0.7:Lora权重,说明该Lora影响画面比重,一般为0.7—0.9;
bagpipe \(arknights\),official style:触发词,用以触发该Lora;
其中最容易被我们忽视的就是触发词,因为当你点击Lora时,他不会随Lora的tag词条一起出现在tag框里,而是需要我们手动输入,网上很多分享的Lora往往只有一个Lora文件或几张示意图,而不会附带触发词,这也是我们Lora使用不达预期的一个重要原因。
另外还有很多因素也会影响Lora的效果,譬如模型啊,tag啊,采样步数啊,使用与训练Lora或者作者推荐的模型参数往往可以达到较好的出图效果,这些参数在c站都可以查到,但是如果不能魔法上网,或者说作者没给参数,那怎么办呢?
我会从多个角度出发,去测试一个lora的特性,以及适合它的参数,这样大家就不必为用不好Lora而烦恼啦。
虽然但是还是要叠个甲,本测试结果仅针对相同条件下的测试,对其他不同参数的测试仅供参考,得出结论仅基于测试结果,不代表实际结果。
而且要注意的是,我的测试目标为在条件有限(没有底模,没有tag,没有参数)的情况下给出能最大限度发挥出Lora效果的参数,只要不画出古神,能固定出人物即算成功,如果追求更进一部的画面效果,还是建议上c站使用与Lora作者相同的配置。
废话说了那么多,让我们进入正题吧!
这是一个阿米娅的Lora,优点是覆盖了阿米娅的所有皮肤。
使用default outfit(原皮);newsgirl(报童);fresh fastener(见习联结者);summer outfit(泳装);planter(播种者)触发词可以实现不同皮肤的阿米娅。
这个模型在使用时推荐搭配其他tag食用,在第一次测试中,因为没加其他tag,仅使用Lora描述人物,得到的结果是这样的:
可以看出,虽然似乎确实能看出不同皮肤的阿米娅,但是其之间的差距还是蛮小的。因此,建议每个皮肤触发词配合配套的tag一起使用,效果会好上很多,推荐tag会和lora和图包一起在文末放上链接。(其实就是每个皮肤反推了一下tag,大家自己也能写)
另外,上图展现出的另一个重要的点,就是Lora的权重千万步能超过1!!!,最好也不要使用1,保持在0.7—0.9之间即可,不然会出现严重的古神!!!
这个Lora还有一个特点,就是画面背景会随着Lora权重的增加而变得简单:
从两张测试表都能发现这一特点。
另外,就算使用tag描述,不加Lora和加了Lora确实效果还是大不一样,这就是为什么再怎么用tag描述,AI也还是无法理解角色(除非特别火的),想复刻特定人物就只能用Lora。
很明显可以看出,在很多特定元素和小细节方面,确实只有Lora才可以还原,比如阿米娅的驴耳朵,深蓝色耳机,袜子上的红色条纹,袖子上的白色字眼(虽然不知道写的是啥),这些细节单纯使用tag很难还原。
在用于测试的三个模型(anything立绘,cutesmix,opk)中,这个lora均表现出了良好的适应性,说明该Lora可适用于大部分二次元模型。
下面放几张例图:
这是另一个amiya的Lora,相比上面那个,这个仅支持原皮,虽然也可以通过tag实现其他皮肤,但效果就要大打折扣。
这个模型的触发词是1girl,基本等于没有触发词,另外作者也没有给出训练用的底模是什么,好在从测试结果来看,这个Lora和一般模型的相性还算不错。
图例:
另外注意的是,使用该Lora最好将迭代步数调至40以上,在低迭代步数下该Lora的效果会稍微变差。
风笛的Lora表现得差强人意,首先是这一个。可以很明显地看到,随着Lora权重的提高,画面的画风逐渐偏离了原模型的画风,换句话说,原模型的画风被Lora“夺舍”了。可见作者在训练Lora的时候应该是不小心把画风也给训练过来了,这也就是为什么我在模型测试中不使用Lora的原因。
有没有可能是模型用得不对呢?作者训练使用的底模是SD1.5,我还特意去下载试了一下,发现是个写实模型,出图效果极为诡异,这里就不放图了,怕吓着大家。作者推荐的模型则是abyssorangemix3AOM3和cetusmix,我也同样测试了一下,效果确实会好上一点,但也没有好太多。
那既然是会改变画风的模型,权重自然不能太高,推荐在0.6—0.7左右,可以稍微保持一点原模型画风,为了补偿权重低,也必须使用配套的tag进行画面控制,我使用的推荐tag已经打包好放在文末链接中,大家也可以直接使用tag反推自己根据需要修改。
这个模型有两个触发词:
bagpipe \(arknights\)(原皮)
bagpipe \(queen no. 1\) \(arknights\)(皇后一号)
可以实现风笛原皮和皮肤的切换,同时作者提到使用official style和official alternate costume也能实现皮肤的切换。
该Lora图例:
这三个图例均是使用cetusmix生成,其他两个模型生成效果较差就不放图了,该Lora的模型适配性不强,在使用该Lora的时候推荐搭配合适的模型使用。
这位更是重量级Lora,他的问题比上一个更加严重,风笛Lora都是这样的吗?
两个问题:随着权重的提高,画面会发白,线条和色块会变粗变大,另外就是,它也喜欢改变原模的画风。
作者训练使用的底模还是SD1.5(这不会是默认底模吧),作者也没有给出他例图所使用的模型,但好在这个Lora的模型适应性还算不错,倒也不必这么纠结于模型选择(反正都是那副样子),触发词两个:原皮:bagpipe\(origin\) 赛车服:bagpipe\(race_queen\),作者在他的图例中将两个触发词都一并写了,可能是想实现两种服装的融合风格?
推荐权重在0.5—0.7左右,配套tag同上个模型,建议越多越好。
图例:
这是一个格拉尼的Lora,效果非常不错,居然不火,难道是格拉尼人气太低了?
首先,这个Lora模型适应性非常强,几乎不挑底模,用于测试的三个模型均表现出了优秀的出图效果。
其次,这个Lora不会改变原模型的画风,这点相当重要。
然后,这个Lora的tag适应性也极强,基本不用多余tag的适配,仅凭其Lora本身就足以还原格拉尼。
再者,这个Lora的作者除了原皮(触发词:blueuniformgrani,)和美妙时光(触发词:greenjacketgrani,)外,还贴心地多加了一组触发词(othergrani)用于其他服装的格拉尼。
这个Lora由于不需要其他辅助tag就能画出格拉尼,建议将权重拉到0.8—1,并且推荐tag也没有必要写了,但作者提到,如果想实现裤子外侧镂空这类特殊效果的画话,还是需要一点tag帮助的,各位可自行尝试。
所以不火的原因真的是因为没人厨格拉尼吗?
例图:
这是一个推王的Lora,但是我并没有在c站上找到它的信息,那就只能摸黑测试了。
其实推王的lora并没有多大用处,因为仅靠tag也能复原90%的推王,从上图可以看出,加了Lora前后最大的区别可能就是胸前的黑色爪型标志了,那么,如果不加tag,仅凭Lora能画出推王吗?
留下了lion ears, animal ears, lion, brown eyes等tag,似乎还是能画出推王的,服饰就不太像了,如果只写一个1girl呢?
??????人呢??????
再画两幅,甚至再加了一个1girl也没有用。
最后把场景tag删了,只留1girl,才又画出人,不过已经和推王没什么关系了。
由此可见,这个tag十分鸡肋,有tag吧,不需要加Lora,没tag吧,加了Lora也没用……
但流程还是要走的,这个Lora权重上升也会导致画面过曝,和相关度过高的效果有点相似,建议权重0.5—0.7,基本上0.6的时候胸前的黑爪标志已经能画出来,就没必要再提高权重了。配合该Lora使用的tag依然打包放在文末链接中,需要自取。底模方面无所谓,本来也没指望这个靠这个Lora画推王。
图例:
这版本号一看就是作者的恶趣味……
这是一个优秀的蓝毒Lora,无需额外tag即可获得优秀的还原效果,对于底模也不大挑剔,一个字:好!推荐权重在0.6—0.8之间,触发词为:blue poison。
图例:
另一个蓝毒Lora,测试表就不做了,为什么?因为它的触发词有亿点长,作者是这么说的:
EI-Original Outfit-精1= ”OriginalOutfit1, hood, blue jacket, shorts, pouch, belt, pantyhose, black camisole vest, white shirt,“,
EII-Original Outfit-精2= ”OriginalOutfit2, hood, blue jacket, shorts, pouch, belt, white shirts, thighhighs, thigh strap, suspenders,“
ShoalBeat-浅滩律动= ”ShoalBeat, ringed neck choker, shorts, leggings, braids, off shoulder jacket, sports bra, hairband, “
- prompts required in low weights 在低权重时需要的词条=“symbol-shaped eyes”
就是说,这个模型可以实现三个皮肤的效果,但是得加上后面那一堆触发词。
这都不是触发词了好嘛,这不就是直接加tag控制嘛!!
话虽这么说,只要能画出来也无所谓,权重0.6—0.8,效果还是相当不错的。
图例:
这是我第一次使用Lora,很多地方写的不好或者说没有测试到位还请大家见谅。在我看来,Lora的使用很讲究技巧,而现在网上分享的Lora质量也良莠不齐,因此,我更倾向于提高使用Lora的下限而不是上限,作为一个Lora,能让他成功地画出他的人物,而不是什么古神,这就已经成功了大半,追求更高的质量,则需要其他条件支持。并且,大家手里可能会有几百个Lora,但很难有几百个模型,我追求的,是能让大家以最小的成本跑出效果不错的图,也算是一种难民攻略吧。有时候我也会觉得我的图包质量会比其他的分享低很多,一来是我的硬件配置不足以支撑我产出高质量图片,我的时间也不允许,一天12小时高强度跑图,一张1024*768图要5分钟,一天也就能产出200来张,还没有算查资料,写,改tag的时间,还要剔除一些实在不能用的图片;因此很多差强人意的图片我也往往保存下来;二是我认为,授人以鱼不如授人以渔,我最初的目的也是本着学习的心态写的专栏,如果想要追求高质量,其实最后都会收敛到那么几个模型,那么几个参数上。而我的想法是能够让大家根据自己的需要去生成自己想要的图片。
顺便说一句,像opk这种画风独特的模型,一般不要用Lora,效果会不大好。
本期Lora,测试图,参数和图包链接:
链接:https://pan.baidu.com/s/1R6gz5xXVg9EXv1gfhp9SIw?pwd=vl2k
提取码:vl2k
本期测试用模型专栏链接:
往期测评:
素叶锦时 2023-04-24