在Sora发布的时候,StabilityAI默默的发布了StableCascade,随后发布了Stable Diffusion 3(暂未放出开源程序),中间字节跳动发布了基于Stable Diffusion 的SDXL-Lightning大模型。
其中最为低估的,是StableCascade。
在AI绘画领域,一直有闭源和开源两大阵营,开源领域以Stable Diffusion为领导者。大量的爱好者投入到各种插件和大模型开发中,有一定“折腾”能力的选手,能够熟练的应用Stable Diffusion,生成AI图片的效果远远强于闭源工具。
我猜StabilityAI公司想要把强大的Stable Diffusion 3闭源,结果发布的时候就赶上了Sora,只能在两周后宣布开源。
而StableCascade本来是想用作开源的最强版本。
不过,StableCascade大模型的训练门槛比较高,差不多要45G显存起步,是绝大多数普通爱好者(4090大概是上限)无法企及的算力,所以迄今为止,发布的大模型比较少。
一个是著名的中国helloworld系列模型,一个是CounterSushi,这是一个动漫大模型。
作者在C站没什么名气,只在SD1.5时代发布过一个下载量区区几百个的模型,但效果非常华丽。
StableCascade版的大模型依然保持了华丽的特点,并具备了SC的强大能力。
其实,对于我来说,SC模型有两大优点:
一是画面细腻;
二是对自然语言的理解更好了。
和半智障状态的SD1.5相比,SDXL已经能够非常流利的理解自然语言,而SC更是在上一层楼。
今天让我们体验下这个SC动漫大模型的效果。
一般来说,10G以上的显存,才能很好的跑的动SC大模型.... ....
门槛又高了,不过对于AI画图不是特别沉浸的同学来说,云电脑或许是不错的选择。
目前我的12G显存的3060还能勉强跑的动。
一、下载并安装模型
StableCascade使用的模型分四种:
1、A模型
stage_a.safetensors
拷贝至 ComfyUI\models\vae
2、B模型、C模型
这是“真正”的大模型,和Stable diffusion不同的是,StableCascade的大模型做了b和c。
为了适应不同配置的机器,对大模型还做了量化,bf16和lite是量化版本,实测3060 12G能很好的跑得起bf16版本,这样就有了两组。
b模型和c模型都放在:ComfyUI\models\unet
再次提醒,注意路径
3、clip模型
model.safetensors
拷贝至 ComfyUI\models\clip
二、升级comfyUI,配置工作流
最新版本(2月17日发布)的comfyUI是支持StableCascade工作流的,如果使用秋叶一键包,请升级到最新版。
然后下载我改好的工作流,该工作流非原创,来自网友传播,经过微调。
其中关键节点配置:
1、b模型,UNET加载器
第一个UNET加载器配置b模型,建议量化bf16版本,如果显存足够大可以试试无量化版本,如果显存比较小可以试试lite版本。
2、c模型,UNET加载器
第二个UNET加载器配置c模型,建议量化bf16版本,如果显存足够大可以试试无量化版本,如果显存比较小可以试试lite版本。
3、CLIP加载器
配置下载好的clip模型,如果不能正常显示,请核查第二部分的路径是否安装正确(安装后需要重启启动器)。
4、VAE加载器
VAE加载器配置a模型。
5、采样器
两个采样器的参数略有不同,第一个用20步,CFG用4;第二个用10步,CFG用11。
工作流下载:
https://www.123pan.com/s/ueDeVv-oMuI.html
模型下载:
https://www.123pan.com/s/ueDeVv-kMuI.html
三、样图
经测试,B模型使用全量普通版本和lite量化版本区别不大。
参数建议,
B模型配置:
步数推荐5步;
CFG,1.5;
采样器,euler a。
C模型配置:
步数推荐40步;
CFG,2;
采样器,euler a。
1、科幻风格的战斗少女
提示词:
aesthetic, fire, 1girl, epic portrait, sci-fi, detailed surroundings, little details, wearing sexy costume, hyperdetailed, 4k, high quality, masterpiece, detailed face, beautiful eyes, shadow play, scenery, in candyland
2、落日的余晖
提示词:
1girl with black ponytail hair, orange eyes, streetwear clothing, in Radioactive wasteland, happy, relaxed, detailed
3、一个帅气的男孩
提示词:
1guy with orange wavy hair, orange eyes, Cyberpunk punk clothing, inside Wizard's laboratory, shy, detailed
4、牛角少女
提示词:
1girl, sexy girl, demon horns, purple, red, sci-fi, dnd clothes, good composition, magic, beautiful, short white hair
5、月光下的魔法少女
提示词:
A photo of a blonde, blue-eyed cute Wizard girl standing on a moonlit night. A colorful, sparkling halo appears and colors the scene. She wears a wizard hat with gold embroidery and luxurious blue robes, creating a mysterious atmosphere.,blue moon
6、弹吉他的女孩
提示词:
1girl, ((cinematic light)), colorful, hyper detail, dramatic light, intricate details, best quality, (wallpaper, masterpiece, best quality, ultra-detailed, best shadow), (detailed background:1.4), (beautiful detailed face, beautiful detailed eyes), high contrast, (best illumination, an extremely delicate and beautiful),(girl:1.5), solo, black skirt, blue eyes, electric guitar, guitar, headphones, holding, holding plectrum, instrument, long hair, music, one side up, pink hair, playing guiter, pleated skirt, black shirt, indoors ((caustic)), dynamic angle,beautiful detailed glow,full body, cowboy shot,
手指还是很惊艳的,SD1.5和SDXL都用了相当长的时间,才勉强处理好手指。
C站地址:
https://civitai.com/models/314325/countersushi-stable-cascade
网盘下载:
https://www.123pan.com/s/ueDeVv-TsuI.html
本文工作流下载:
https://www.123pan.com/s/ueDeVv-j2uI.html