当前位置:首页|资讯|字节跳动|AI绘画|LoRA

字节跳动推出AI绘画大模型:一秒出图!

作者:铁华团的黄金船发布时间:2024-04-28


上次刚吹嘘了小米的1秒100张大模型,没想到在小米的大模型完善之前,字节又推出了基于Lightning技术的Hyper大模型,几乎和小米的速度相当,并且提供了1步、2步、4步和8步出图的LoRA,可以直接用在普通的大模型上。

经过实测,8步出图的LoRA,基本上相当于原来30步左右的出图质量。

这也意味着,原有大模型在不做任何改动的情况下,能大幅提高出图速度。

在AI绘画方面,字节的技术真的算是遥遥领先。

尽管SD的核心主创人员离职跑路,但留下的这个开源架构,足以让它继续发扬光大。

字节提供了两个大模型,四个SDXL的LoRA模型和四个SD1.5的LoRA模型,并提供了comfyUI下的三个工作流。

让我们逐个体验下。

目前暂时只支持comfyUI。

1、模型下载

免翻墙镜像下载:

https://hf-mirror.com/ByteDance/Hyper-SD/tree/main

网盘下载(本文提到的模型、LoRA、插件和工作流均已打包好):

https://pan.quark.cn/s/f8353d8c6943

2、模型拷贝到指定位置

两个Unet模型拷贝到model\Stable-diffusion 目录

四个LoRA模型拷贝到model\lora 目录

3、安装Hyper-SD插件

插件安装地址:https://github.com/fofr/ComfyUI-HyperSDXL1StepUnetScheduler

如果安装失败,可以下载网盘的ComfyUI-HyperSDXL1StepUnetScheduler 文件夹,拷贝至ComfyUI\custom_nodes\

然后重启启动器。

4、加载工作流

(1)加载1步Unet工作流,该工作流使用字节自己的大模型,不需要使用LoRA。

这是一个偏动漫风格的大模型,请选择Hyper-SDXL-1step-Unet-Comfyui.fp16.saftetnsors,

可以实现一步出图。

和普通的工作流相比,多了一个一步出图的Hyper节点。

(2)使用一步出图的LoRA工作流

字节准备了四个LoRA,可以使用加载字节LoRA的工作流来给普通的大模型提速。

和普通工作流相比,该工作流增加了用来加载字节LoRA的节点:

需要注意的是,这四个LoRA并不适配所有的大模型。尤其是pony系列,兼容性不好,基本不可用。

但基于SDXL1.0原生大模型的模型,基本都可以用。

一步出图的质量还算可以。

1步

如果需要精益求精,4步、8步基本上就相当于该大模型30步左右的画质了。

2步

8步

这样就大大提高了出图速度。

最后强调一遍:

网盘下载(本文提到的模型、LoRA、插件和工作流均已打包好):

https://pan.quark.cn/s/f8353d8c6943




Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1