刚刚接触AI绘画的时候,有朋友咨询我,能用一本小说画本子不?
我想了想,说,比较难,因为要先把小说转换成提示词,AI的提示词比较复杂,每一页画面都要深思熟虑,而且还很容易出现画面人物形象变化过大的情况。
随着技术的不断迭代,尤其是SDXL发布后,这个愿望似乎变得不太难了。
首先,SDXL对自然语言的理解非常强大(当然,还是要先翻译成英文),几乎不需要刻意的通过调整权重来生成想要的画面;
其次,roop等插件可以“固定”住主角的脸,从而方便的生成同一角色不同场景的画面。
再次,基于SDXL的模型、LoRA资源也越来越多,绘本风格的LoRA已经非常好用。
比如,有个LoRA就叫Picture-Story Book For Children XL,专门用来进行故事绘本的编制。
什么?
你有个朋友想画别的本子?
是这种吗?不要急,文末附下载。
我们继续聊Picture-Story Book For Children XL,这个LoRA训练了大量的绘本素材,可以画出色彩缤纷的画面,适合学龄前儿童。
作者在C站的介绍如下:
不需要触发词,装上就用。训练的时候加了很多花花和小星星进去,所以如果想达到更好的童话效果可以试试这几个词。
“flower, star, magical”
后续也许会改进提示词的可控性,大概可能会做一些不同风格类型的绘本风。过于惊悚的画风不会考虑。
如果有人能够用这个模型去做一些有趣的儿童故事,欢迎分享,我会给我家孩子看的。
模型:
sdxl_bluePencilXL_v009
提示词:
Valley, butterfly, forest, girl carrying a pink backpack
<lora:picbookXLlorAV1:0.6>
提示词:
At the end of the valley is a village with towering towers and clouds in the sky, <lora:picbookXLlorAV1:0.6>
提示词:
Farmers in the fields are harvesting crops, tractors, autumn trees, and children on the roadside, <lora:picbookXLlorAV1:0.6>
提示词:
Rocket Launch Towers in the Valley, <lora:picbookXLlorAV1:0.6>
提示词:
Space flight, spaceship, girl in spacesuit, <lora:picbookXLlorAV1:0.6>
提示词:
A girl in a spacesuit, shaking hands with aliens <lora:picbookXLlorAV1:0.6>
LoRA下载:
1、绘本Picture-Story Book For Children XL
https://www.123pan.com/s/ueDeVv-z80I.html 提取码:lgyh
2、文章开头提到的美女绘本风格LoRA是fashion girl
https://www.123pan.com/s/ueDeVv-L80I.html 提取码:lgyh
注意事项,两个LoRA均为SDXL版本,无法在SD1.5使用。