Stable Diffusion 汽车绘图初探二（进阶创作）

一、前言

之前由于存放SD的硬盘坏了，所有文件都没了，所以一直没有更新第二期的内容。前段时间换了新的硬盘后，重新下载了秋葉aaaki大佬的SD整合包，发现新的版本里有些菜单的中文翻译变了，不过并不影响使用，我们接着往下讲。

上一期的文章“Stable Diffusion 汽车绘图初探一（基础创作）”讲了如何使用SD进行文生图和图生图的基础操作。这一期里我们来尝试一种非常有趣的创作方式，通过简单的草图来生成结果，看看SD能够给大家带来怎样的惊喜。

二、开工

如图1所示，我使用Rhinoceros软件构建了一个非常简单模型场景，用来模拟一辆硬派敞篷越野车。

选择真实系模型“cyberrealistic_v31”作为基础SD模型，“vae-ft-mse-840000-ema-pruned”作为VAE模型。正向提示词中填入“futuristic vehicle, roadster, off-road, rainforest background, reptile style, finely detailed, LED lights,  a computer rendering, minimalism, octane render, 4k ”。尝试在这个草图的基础上产生一辆以雨林为背景的带有爬行动物风格特征的敞篷越野车。

反向提示词中填入“worst quality, low quality, normal quality low-res, normal quality, bad_prompt, bad_prompt2, monochrome, grayscale, cropped, text, jpeg artifacts, signature, watermark, username, EasyNegative, sketch, cartoon, drawing, anime, duplicate, blurry, semi-realistic, out of frame, worst quality, ugly,  low quality, deformed, multiple objects"

迭代步数（Steps）：30；采样方法（Sampler）：“DPM++ 2M Karras”；分辨率：512*512；批次：1；单批数量：4；提示词引导系数 (CFG Scale)：7.5；重绘幅度 (Denoising strength)：0.85

采用以上参数，重绘幅度采用0.85，这个数值相对较高，目的是让结果的方向能够更丰富。生成了一批4张图，如图2所示。

可以看到结果与原图差异很大，其中一张车的方向反了，还有两张颜色也不对。这种情况在文生图中也很常见，即便是你在提示词中加入色彩的描述，有时也得不到想要的结果。另外就是提示词中的雨林背景没有生成。

针对这种情况，我们可以引入ControlNet插件来改进生成的结果。关于ControlNet的介绍和下载可以参考秋葉aaaki的介绍视频。大佬最新的SD整合包已将ControlNet整合在内了。

如上图所示，在界面下方点击打开ControlNet的页面，将草图粘贴进去作为生成内容的参考原图，勾选“启用”。在预处理器这里选择“canny”。 canny是边缘检测处理器，需配合canny的模型才能发挥作用。假如你点开模型一栏里面是空的，说明你的SD整合包中并未将ControlNet的模型导入，需重新下载模型导入后使用，具体可见上述视频介绍。

canny的主要功能就是检测参考原图的轮廓边缘，Canny Low Threshold和Canny High Threshold的数值可以控制采样的深度，具体怎么发挥作用我也不太清楚，只知道这两个数值越低，参考图的轮廓和细节就越复杂，这里先采用默认参数。

Preprocessor Resolution采用与图生图一致的512；控制权重默认1，这个数值越大ControlNet影响生成内容的权重就越大；引导介入步数0，在生成图一开始时就介入发挥影响；引导终止步数1，介入影响直到最后。

Control Mode有三个选项，分别是“均衡”，“更注重提示词”，“更倾向于让 ControlNet 自由发挥”。我们选择“更倾向于让 ControlNet 自由发挥”，目的是让结果更加符合草图的特征，其他参数都使用默认，生成结果如图4。

这显然不是我们想要的结果，不过也可以看到ControlNet在其中发挥的作用很大。将控制权重改为0.5，Control Mode改为均衡，再次生成如图5的结果。

可以看出与图4相比，ControlNet做了些妥协，但是还不够。将Control Mode改为更注重提示词，控制权重改为0.8。生成结果如图6。

这时我们发现结果似乎朝着理想的方向发展了，虽然有两张图的车身颜色发生了变化，这是正常的，因为canny控制的主要是轮廓和细节，对色彩没有影响。我们把图6中左下的结果发送到图生图，以该图为基础继续往下走。

注：上述步骤在实际使用过程中通常需要不断调整参数反复进行，直至获取自己满意的结果。

接着关闭ControlNet，回到图生图。为了让优化造型风格，我们引入一个能够体现技术风格的产品设计Lora模型（见上一篇文章介绍），在正向提示词中加入 <lora:eddiemauroLora2(Tech):0.8>；将分辨率改为960*960（如果显卡性能一般还是建议继续使用512*512）。修改提示词引导系数 (CFG Scale)和重绘幅度 (Denoising strength)等参数多批次生成直到得到满意的结果。

在反复出图的过程中，由于正向提示词中一直有“rainforest background”，所以偶尔在某一批次的图中你可能会发现一张带有雨林背景的图，如图7。但出现背景的概率并不高，品质也不一定理想。车身上还有一些奇怪的标志和文字，这时候我们可以人为进行一些干预。

在Photoshop软件中使用污笔修复画笔工具去除车身上的标志和文字，同时在选定车型的背景中放入一些蕨类植物的图片（图片可以不断复制，改变大小和角度使其呈现出多样性），如图8所示。这些图最好是抠出来带透明背景的图，这样有助于图片更好地融入背景中。如不具备抠图能力，也可以使用一些比较粗糙的带边缘的图，这样可能需要训练更多的步骤才能获得满意的结果。

将该图复制到局部重绘页面，使用画笔将画面中车身以外的部分全部盖住，蒙版区域内容处理选择“原图”，将重绘幅度 (Denoising strength)改为0.65，生成图片。

注：假如不使用局部重绘，使用类似的参数直接用图生图也能获得较好的背景，但车身主体也会改变造型。

从结果可以看出生成的背景与主体融合度还是比较高的，不过车身边缘轮廓还是有点失真。

反复修改提示词引导系数 (CFG Scale)和重绘幅度 (Denoising strength)，直至获得理想的背景，发送到图生图。将重绘幅度 (Denoising strength)改为0.4，适当添加修改正向提示词，继续重绘，直至获得满意的结果。如图11所示，可以看到在多次图生图之后，车身与背景已经很好地融合在了一起，甚至能够透过挡风玻璃看到背景及反光。

如果预想的背景不是上述这类复杂的环境，而是比较单调的环境比如沙漠或者冰川，我们甚至可以尝试手绘简单轮廓的方式来进行引导，如图12。

通过巧妙运用ControlNet，我们可以令生成的结果更符合预期，同时更加精致。作者之前测试生成了上千张图，本来可以分享更多的内容，但由于硬盘损坏，只有少数留在聊天记录里的图得以存留，下图是侥幸保留下来的一个使用简单模型草图生成结果的过程案例。

三、总结

在使用SD进行创作时，适时的运用传统的绘图工具比如Photoshop介入修改，比如去除瑕疵，使用液化工具调整局部轮廓造型，添加背景引导图等，往往可以起到事半功倍的效果。因此在AI绘图中，创作者具备基本的设计技能还是非常重要的。ControlNet的引入能够对引导结果往预期方向发展起关键作用。除了使用canny预处理器使结果与参考图轮廓和细节更加接近以外，ControlNet还有很多强大的功能，作者目前也只是尝试了少数几种功能，后续还需要不断学习。另外，通过不同的SD基础模型和Lora模型，我们可以用本期内容所介绍的方法生成更多不同风格的作品。以下是作者创作的部分案例，图上标注有所使用的SD基础模型和Lora模型名称可供参考。

最后，谢谢大家的支持和关注！