AI学习笔记|Stable Diffusion的图生图（control初阶）

《尼尔：机械纪元》里有一个女机器人，叫YoRHa No. 2 Type B，又叫夜刃二号B型、寄叶二号B型。

她是B型尤尔哈智能机械人，B指的是Battle，也就是战斗型。

编辑切换为居中

我不玩游戏，也不太关心这部作品的动画化，但是，谁又能拒绝一个身穿蕾丝拿着长刀的美少女机器人呢？

在C站上，甚至有很多关于她的模型和lora。

让我怦然心动的是无意间在C站看到的一张图片。

编辑

经过真人模型重新渲染的YoRHa2b，已经不是杀人机器的模样，而是一个温柔的少女形象。背后是人类的末世和废墟，眼睛里是希望。

但按照原作者提供的数据，根本无法复现这张图片，甚至完全不相干。大概率是他写错了模型名字，我尝试了数十个模型都无法画出这张图，就没有办法了吗？

这个时候，我们就可以尝试一下Stable Diffusion的“图生图”和“控制网络”功能。

1、选择一个近似的模型。

经常使用Stable Diffusion的，看到一张图后，会大致知道使用哪个模型可能复现。

比如这张图，脸部非常干净，没有多少细节，那么它一定不是真人模型，是介于动漫模型和真人模型之间的一种过渡模型。

可以尝试dosmix或者realdosmix这种“伪”真人模型（经过多次尝试，realdosmix模型比较合适）。

用动漫类的模型会有其他惊艳的效果，如下图，本文不再探讨。

2、用“图生图”功能反推提示词。

在图生图功能处，上传这张照片。

然后选择“反推提示词”，所谓反推提示词，是让AI识别这张图片，给它打上标签（其实这个功能细思极恐，AI已对图像的识别能力已经非常强大）。

Stable Diffusion提供了两种反推提示词的工具，经过多次尝试，我个人感觉，DeepBooru反推提示词更好用一些。

反推提示词如下：

1girl, black_blindfold, black_dress, black_gloves, black_hairband, black_legwear, blindfold, breasts, building, cleavage, cleavage_cutout, clothing_cutout, dress, feather-trimmed_sleeves, feather_trim, gloves, hairband, juliet_sleeves, long_sleeves, medium_breasts, mole, mole_under_mouth, no_blindfold, pink_lips, pod_\(nier_automata\), puffy_sleeves, robot, ruins, short_hair, silver_hair, standing, sword, thighhighs, thighhighs_under_boots, vambraces, weapon, white_leotard, yorha_no._2_type_b

它甚至知道这张照片的主人公是yorha2b！

3、控制网络提取图片细节

直接用这组反推提示词，生成的图并不是十分满意，还需要做“精修”，最好的办法是结合“控制网络”。

所谓控制网络，是让AI提取原图的边缘，新生成的图片在这个边缘之内引导生成，可以极大的和原图接近。

把反推提示词输入文生图后，再选“控制网络”。

注意红框中的几个选项：

点了“启用”，控制网络才会有用。后面的guess mode建议开启，意思是让AI自由发挥一下，如果批量生成图片，最后几张会是它guess的，往往很惊艳。

预处理器选择canny，模型选择control_canny-fp16。

权重尽量接近1，也可以直接选1，canny low threshold和Canny high threshole越小，细节越多（越接近原图），建议在20-100之间选取并尝试，多试验几次选择自己满意的效果，此处我分别选30和150效果比较不错。

然后点击预览，可以看到系统提取的细节。

4、选择lora

为了面部更好看，选择japaneseDollLikeness，权重0.3即可。

4、生成图片

点击生成后，系统会在原图的细节框架之下，生成新的照片，结果和原图非常接近。

但是，我们发现有些细节不是想要的，比如尤哈尔2b穿的是长裙，而生成的有点太少。

于是我改了下提示词，增加上(((black_long_skirt))),(light_smile),((tight fitting skirt))三组提示词，意思是给尤哈尔2b穿上黑色长裙，还是紧身的，然后让她莞尔一笑。

最后系统生成的图片是这样，虽然不能说和原图一模一样，但是非常接近我想象中的场景了。

在此基础上，可以继续换装、更换背景，以及调整姿势等，就需要其他一些工具和技巧了。

本文用到的模型及下载：

realdosmix

https://www.123pan.com/s/ueDeVv-Nk0I.html提取码:lgyh

japaneseDollLikeness_v15.safetensors：

https://www.123pan.com/s/ueDeVv-Ok0I.html提取码:lgyh