说来之前对AI生成图片一直没什么兴趣,一方面GTX 1060的性能实在堪忧,另一方面也懒得去搞这些。虽然到现在英特尔对SD的优化依旧堪忧,但Direct ML版本的出现让I卡起码可以跑得动制图了。特定优化版本要开WSL 2我也懒得折腾那些,只能用Windows版傻瓜式用一用。
B站大佬“独立研究员-星空”制作集成了I卡和A卡可用的Stable Diffusion包,具体在这个视频的介绍里。需要注意的是,整个压缩包的大小在8.85GB左右。包含了一个基础的训练包。还有这边有个整包的FAQ,如果有问题的话可以来这里找一下答案。
想AI制图就不得不提训练包了,其中civitai.com基本上就是个AI制图的集散地。首页的Models选项就是由别人训练好的模型,以.safetensors
结尾并且通常在数GB大小。想玩好AI制图,训练模型必不可少。不同的模型有不同的对应关键字训练量,只有训练量大,才有丰富的关键字识别来增加随机变量减少相似度。并且不同模型有不同的训练侧重点,找到自己喜欢的模型配合好“咒语”才能生成出好看的图片。
有些训练模型如果是.safetensors
结尾的,可以直接放进models\Stable-diffusion
文件夹下。然后在网页里选择你要用的模型即可。如果切换模型后总是爆显存,可以在页面最下边点击重启WebUI,反正这玩意的BUG不少。VAE为整个Stable Diffusion的色调插件,除非模型有要求,一般默认即可。至于咒语相关各种玄学和随机性与相互作用,只能自己摸索经验。最简便的就是去Civitai.com上查找类似的咒语。
着重说一下生成页面的设置。
采样方法(采样器)我个人比较喜欢 DPM++ 2M SDE Karras ,速度比较快,效果也还不错。
采样迭代步数在36至46之间。这个数值也是靠摸索,太少太多都不好。
面部修复似乎没什么用,至少我现在没感觉到什么用处。平铺/分块也是一样。
高清修复强烈推荐使用。放大算法如果是偏真人选择R-ESRGAN 4x+,动漫二次元可以选择Anime6B或者AnimeVideo。开启高清修复的主要好处是可以大幅降低面部画崩的概率。至于高清修复采样次数我个人使用10次,重绘幅度默认就好。放大倍率只能是2,高了必爆显存。
高和宽别多想,512x512默认就好。
生成批次可以调,但每批数量别多想,调成2也会爆显存。如果有批量生成图片的需求只要调生成批次就好,爆显存的概率低一些。
提示词相关性与迭代步数关联,具体效果可以网上找相关文章。
一切准备妥当,就可以点生成按钮,静待过程。以上设置生成一张图大概要2分钟左右,高清修复就要占一半以上。如果只是看个大概风格不考虑脸部画崩的问题,可以关闭高清修复功能来减少生成所需要的时间。至于下边的Tiled Diffusion、分块VAE等功能可以不用设置,除非你懂这些是做什么的。
此项基本上用来放大生成图。Upscaler 1开启的效果已经很不错了,具体超分算法推荐和高清修复一样的选项。如果1024x1024分辨率的图,默认4倍超分到4000x4000左右个人觉得够用。至于GFPGAN之类的选项我个人没有试过,也不太清楚调整之后会有什么效果。
生成的图片都保存在outputs
文件夹内,目录下还有若干子文件夹:
extras-images
为附加功能生成的图片。比如生成完使用附加功能放大后的图片都保存在这里。
img2img-grids
为图生图队列的集合图。
img2img-images
为图生图的结果图片文件。
txt2img-grids
为文生图队列的集合图。
txt2img-images
为文生图的结果图片文件。
以上文件夹除extras-images
外,均会按照你使用的当天日期生成一个文件夹,方便寻找。
即使设置妥当,爆显存也有一定的玄学问题。比如上文提到的切换训练模型生成时会爆、大分辨率这种看一眼都觉得会爆之外,生成图片随时随地花式There is not enough GPU video memory available也是软件的一部分。生成图片的时候最好不要使用频繁修改显存的软件,能缩小到托盘最好。边生成边看视频这种事情最好不要做,有可能不报错也会让生成的图片变成纯黑色。
总体来看如果设置没出格,但总是爆显存可以尝试关闭控制台重新打开来达到重置的目的。
生成后尽量不要动设置,比如使用了某个生成批次就一直使用该设置。不要一会儿6个一会儿9个。
显存小的话可以考虑使用低一些的显存模式启动,可能有一些优化。
玄学很多,可以把爆显存的问题当作一个日常。
Stable Diffusion生成的PNG文件均包含生成信息。其中原生图有正向关键词与反向关键词、生成参数与模型使用等。超分图有超分信息。
网页面板中的“图片信息”项可以查看具体的生成信息。最后当你掌握了以上要点,有了咒语就可以体验爆显存和生成图交织的快感了。
KWE26 2023-05-29
学术Fun 2023-07-23
北大BIM老龙 2023-07-21