上次刚吹嘘了小米的1秒100张大模型,没想到在小米的大模型完善之前,字节又推出了基于Lightning技术的Hyper大模型,几乎和小米的速度相当,并且提供了1步、2步、4步和8步出图的LoRA,可以直接用在普通的大模型上。
经过实测,8步出图的LoRA,基本上相当于原来30步左右的出图质量。
这也意味着,原有大模型在不做任何改动的情况下,能大幅提高出图速度。
在AI绘画方面,字节的技术真的算是遥遥领先。
尽管SD的核心主创人员离职跑路,但留下的这个开源架构,足以让它继续发扬光大。
字节提供了两个大模型,四个SDXL的LoRA模型和四个SD1.5的LoRA模型,并提供了comfyUI下的三个工作流。
让我们逐个体验下。
目前暂时只支持comfyUI。
1、模型下载
免翻墙镜像下载:
https://hf-mirror.com/ByteDance/Hyper-SD/tree/main
网盘下载(本文提到的模型、LoRA、插件和工作流均已打包好):
https://pan.quark.cn/s/f8353d8c6943
2、模型拷贝到指定位置
两个Unet模型拷贝到model\Stable-diffusion 目录
四个LoRA模型拷贝到model\lora 目录
3、安装Hyper-SD插件
插件安装地址:https://github.com/fofr/ComfyUI-HyperSDXL1StepUnetScheduler
如果安装失败,可以下载网盘的ComfyUI-HyperSDXL1StepUnetScheduler 文件夹,拷贝至ComfyUI\custom_nodes\
然后重启启动器。
4、加载工作流
(1)加载1步Unet工作流,该工作流使用字节自己的大模型,不需要使用LoRA。
这是一个偏动漫风格的大模型,请选择Hyper-SDXL-1step-Unet-Comfyui.fp16.saftetnsors,
可以实现一步出图。
和普通的工作流相比,多了一个一步出图的Hyper节点。
(2)使用一步出图的LoRA工作流
字节准备了四个LoRA,可以使用加载字节LoRA的工作流来给普通的大模型提速。
和普通工作流相比,该工作流增加了用来加载字节LoRA的节点:
需要注意的是,这四个LoRA并不适配所有的大模型。尤其是pony系列,兼容性不好,基本不可用。
但基于SDXL1.0原生大模型的模型,基本都可以用。
一步出图的质量还算可以。
如果需要精益求精,4步、8步基本上就相当于该大模型30步左右的画质了。
这样就大大提高了出图速度。
最后强调一遍:
网盘下载(本文提到的模型、LoRA、插件和工作流均已打包好):
https://pan.quark.cn/s/f8353d8c6943