SDXL刚刚发布的时候,对于小显存用户来说简直是一场灾难。
我12G显存的3060动不动爆掉,很难心平气和的跑出满意的画面。
好在stable diffsion是开源产品,很多开发者夜以继日的对程序进行优化。一边是comfyUI路线,大大减轻了显存压力,8G甚至6G显卡也可以跑图;一边是Fooocus路线,作者是ControlNet的创作者,在底层重构了跑图效率,实现了8G显卡快速跑图;以性能较差闻名的WebUI(作者用一块4090当然不愁性能),也在11月份进行了一次大的更新,大幅优化了显存使用,基本不再爆显存。
尤其是Turbo和LCM两种加速工具的出现,出图速度得到了质的飞跃。
只不过,4G小显存用户正在咬牙切齿,毕竟,再优化,依然门槛不低,他们只能使用SD1.5。
如果你使用秋叶一键包启动器,会发现最近的版本显示有一个奇怪的“分支”:琥珀青叶FP8先行版。
据作者“琥珀青叶”称:
首先SD1的时候FP16存下来是2G,SDXL因为参数变多了FP16也要5G,这样很多显卡就hold不住了。 所以青叶做了个事情,就是load的时候用FP8放在显存里,这样SDXL存在显存是2.5G。但是在每一层运算的时候把对应的FP8转到FP16,所以整个计算流程看起来是是一致的。同时整个流程的显存占用也下来的。
虽然从FP16到FP8看起来精度损失很大,实际上微乎其微,按照作者的说法,只是一个“四舍五入”的损失。
已经有网友在4G的笔记本上测试通过,这真是一个振奋人心的好消息。
根据已有消息,4G显存可跑图,6G显存可训练。
感兴趣的可以先更新到先行版尝鲜,求稳的可以再等等,正式版应该很快就能上架。