最近有一个糟糕的消息:Stable Diffusion的核心开发者宣布辞职。
这就有两种可能,一是这家公司支离破碎,从此Stable Diffusion项目陷入一蹶不振;二是被“好人家”收购,从而再上新台阶。
让我感到揪心的是,刚刚发布的SD3还继续开源吗?
在忐忑不安的等待中,一个非常优秀的动漫大模型迎来了新版本。
它叫 Animagine XL V3.1 。
这个模型主打动漫风格,在C站非常受欢迎,下载量稳居前三。考虑到Anything动漫大模型积累了SD1.5时代的下载量,Animagine XL 其实是下载量排名第二的SDXL动漫大模型。
作者在C站称:
Animagine XL 3.1 是 Animagine XL V3 系列的一个更新,它增强了前一个版本 Animagine XL 3.0。这个以动漫为主题的开源文本到图像模型已经改进,能够生成更高质量的动漫风格图像。它包括了更广泛的知名动漫系列角色,优化了数据集,并引入了新的美学标签以更好地创造图像。Animagine XL 3.1 建立在 Stable Diffusion XL 基础上,旨在成为动漫粉丝、艺术家和内容创作者的宝贵资源,通过生成准确和详细的动漫角色表现。
模型细节:
- 开发者:Cagliostro 研究实验室
- 合作伙伴:SeaArt.ai
- 模型类型:基于扩散的文本到图像生成模型
- 模型描述:Animagine XL 3.1 从文本提示生成高质量的动漫图像。它具有增强的手部解剖学、改进的概念理解和高级提示解释能力。
- 许可证:Fair AI Public License 1.0-SD
- 基于 Animagine XL 3.0 微调
使用指南:
- 标签排序:为了获得最佳结果,建议遵循结构化提示模板,因为我们就是这样训练模型的:
1女孩/1男孩,角色名,来自哪个系列,其他所有内容任意顺序。
- 特殊标签:Animagine XL 3.1 使用特殊标签将结果引向质量、评级、创作日期和美学。虽然模型可以在没有这些标签的情况下生成图像,但使用它们可以帮助获得更好的结果。
质量修饰符:
- 质量标签现在考虑评分和后置评分,以确保平衡的质量分布。我们精炼了标签以获得更大的清晰度,例如将“高质量”更改为“极佳质量”。
质量修饰符 | 评分标准
------------ | -------------
杰作 | > 95%
最佳质量 | > 85% & ≤ 95%
极佳质量 | > 75% & ≤ 85%
良好质量 | > 50% & ≤ 75%
普通质量 | > 25% & ≤ 50%
低质量 | > 10% & ≤ 25%
最差质量 | ≤ 10%
评级修饰符:
- 我们还简化了评级标签,以简化和清晰,旨在建立可以跨不同模型应用的全球规则。例如,标签 'rating: general' 现在只是 'general','rating: sensitive' 已简化为 'sensitive'。
评级修饰符 | 评级标准
------------ | -------------
安全 | 通用
敏感 | 敏感
nsfw | 可疑
明确,nsfw | 明确
年份修饰符:
- 我们还重新定义了年份范围,以更准确地引导结果朝向特定的现代或复古动漫艺术风格。这次更新简化了范围,专注于与当前和过去时代的相关性。
年份标签 | 年份范围
-------- | -------------
最新 | 2021 至 2024
近期 | 2018 至 2020
中期 | 2015 至 2017
早期 | 2011 至 2014
最旧 | 2005 至 2010
美学标签:
- 我们通过美学标签增强了我们的标签系统,以根据视觉吸引力细化内容分类。这些标签是从专门针对动漫数据训练的 ViT(视觉变换器)图像分类模型的评估中得出的。为此,我们使用了模型 shadowlilac/aesthetic-shadow-v2,在内容经过训练之前评估其美学价值。这确保了每一片内容不仅相关和准确,而且视觉上也有吸引力。
美学标签 | 分数范围
-------- | -------------
非常美学 | > 0.71
美学 | > 0.45 & < 0.71
不悦目 | > 0.27 & < 0.45
非常不悦目 | ≤ 0.27
推荐设置:
- 为了引导模型生成高美学图像,使用负面提示,如:
nsfw、lowres、(差)、文本、错误、更少、额外、缺失、最差质量、jpeg 伪影、低质量、水印、未完成、不悦目、最旧、早期、色差、签名、额外数字、艺术错误、用户名、扫描、[抽象]。
- 为了获得更高质量的结果,将提示前置词,如:
杰作、最佳质量、非常美学、absurdres。
建议使用较低的无分类器引导(CFG Scale)大约在 5-7 之间,采样步骤低于 30,并使用欧拉祖先(Euler a)作为采样器。
多方面分辨率:
- 该模型支持以下尺寸生成图像:
尺寸 | 宽高比
---- | --------
1024 x 1024 | 1:1 正方形
1152 x 896 | 9:7
896 x 1152 | 7:9
1216 x 832 | 19:13
832 x 1216 | 13:19
1344 x 768 | 7:4 水平
768 x 1344 | 4:7 垂直
1536 x 640 | 12:5 水平
640 x 1536 | 5:12 垂直
致谢:
- 没有以下个人和组织提供的宝贵贡献和支持,Animagine XL 3.1 的开发和发布将不可能实现:
SeaArt.ai:我们的合作伙伴和赞助商。
Shadow Lilac:提供美学分类模型 aesthetic-shadow-v2。
Derrian Distro:为他们定制的学习率调度器,改编自 LoRA Easy Training Scripts。
Kohya SS:为他们全面的培训脚本。
Cagliostrolab 合作者:为他们致力于模型训练、项目管理和数据策划。
早期测试者:为他们宝贵的反馈和质量保证努力。
NovelAI:为他们创新的美学标签方法,这成为我们实施的灵感来源。
感谢大家的支持和专业知识,推动动漫风格图像生成的界限。
限制:
- 虽然 Animagine XL 3.1 在动漫风格图像生成方面代表了一个重大进步,但承认其限制很重要:
动漫专注:该模型专门设计用于生成动漫风格的图像,不适合创建真实照片。
提示复杂性:该模型可能不适合期望从简短或简单提示中获得高质量结果的用户。训练重点是概念理解而不是美学提炼,可能需要更详细和特定的提示来实现期望的输出。
提示格式:Animagine XL 3.1 针对 Danbooru 风格的标签而不是自然语言提示进行了优化。为了获得最佳结果,鼓励用户使用适当的标签和语法格式化他们的提示。
解剖学和手部渲染:尽管在解剖学和手部渲染方面取得了改进,但仍可能存在模型在这些领域产生次优结果的情况。
数据集大小:用于训练 Animagine XL 3.1 的数据集包含大约 870,000 张图像。结合前一次迭代的数据集(1.2 百万),总训练数据约为 2.1 百万张图像。虽然相当大,但这个数据集大小在“终极”动漫模型的范围上可能仍然有限。
NSFW 内容:Animagine XL 3.1 被设计为生成更平衡的 NSFW 内容。然而,需要注意的是,即使没有明确的提示,模型仍可能产生 NSFW 结果。
通过承认这些限制,我们旨在为 Animagine XL 3.1 的用户提供透明度并设定现实的期望。尽管存在这些限制,我们相信该模型在动漫风格图像生成方面代表了一个重大的进步,并为艺术家、设计师和爱好者提供了一个强大的工具。
许可证:
- 基于 Animagine XL 3.0,Animagine XL 3.1 遵循 Fair AI Public License 1.0-SD 许可证,与 Stable Diffusion 模型的许可证兼容。关键点:
修改共享:如果你修改了 Animagine XL 3.1,你必须共享你的更改和原始许可证。
源代码可访问性:如果你的修改版本是网络可访问的,提供一个方式(如下载链接)供其他人获取源代码。这也适用于衍生模型。
分发条款:任何分发必须在这个许可证或其他具有类似规则的许可证下进行。
合规性:不合规必须在 30 天内修复以避免许可证终止,强调透明度和遵循开源价值观。
选择这个许可证旨在保持 Animagine XL 3.1 的开放性和可修改性,与开源社区精神一致。它保护了贡献者和用户,鼓励了一个协作、道德的开源社区。这确保了模型不仅从社区输入中受益,也尊重了开源开发自由。
最后,Cagliostro Lab 服务器向公众开放 https://discord.gg/cqh9tZgbGc
请随意加入我们的 Discord 服务器。
如果你想捐款或请我们喝咖啡,你可以在这里捐款
非常感谢你 ^_^
1、明日香和朗枪
提示词:
1girl, souryuu asuka langley, neon genesis evangelion, rebuild of evangelion, lance of longinus, cat hat, plugsuit, pilot suit, red bodysuit, sitting, crossed legs, black eye patch, throne, looking down, from bottom, looking at viewer, outdoors, masterpiece, best quality, very aesthetic, absurdres
这大概是重度EVA爱好者才能看懂的图。
2、春丽
提示词:
masterpiece, best quality, very aesthetic, absurdres, 1girl,Chun_li,black hair,Double bun,ENERGY WAVE, (8k,fine shadows, cinematic, cinematic lighting, ultra high resolution, high quality, extrmely detailed, details, highres, anime style), (sharp edges), (dynamic composition),
3、性感的脚趾头
提示词:
best quality,very aesthetic,masterpiece, 1girl,rias gremory,high school dxd,feets,foot focus,barefoot,toes,nsfw,
这个模型手指和脚趾都训练的非常好,大概率会出好手好脚。
4、完美的手指头
提示词:
1girl, mori calliope \\(new year\\), hololive, solo, :3, looking at viewer, outdoors, cinematic angle, waving, masterpiece, best quality, very aesthetic, absurdres
5、兔女郎
提示词:
god light, 1girl, animal ears, solo, dress, black dress, blue eyes, amiya (arknights), rabbit ears, long hair, white background, sword, holding, hair ornament, weapon, flower, simple background, looking at viewer, brown hair, breasts, holding sword, hair flower, holding weapon, black flower, red ribbon, veil, bare shoulders, choker, ribbon, medium breasts, bangs, alternate costume, hair between eyes, from side, rose, upper body, strapless, very long hair, hair ribbon, black rose, closed mouth, wrist cuffs, strapless dress, looking to the side, sidelocks, animal ear fluff, rabbit girl, detached sleeves, black choker, frills, wlop
6、hayami saori
提示词:
1girl, hayami saori, spy x family, leaning back against a wall. (white borders:1.2), "â¤ï¸"., masterpiece, best quality, very aesthetic, absurdres
7、最终幻想IX
提示词:
1boy, Zidane Tribal, Final Fantasy IX, solo, blonde hair, sidelocks, long hair, low ponytail, blue bowtie, sleeveless, blue pants, lying on back, on grass, hands behind of head, resting head, light smile, closed eyes, meadow, shadow of a tree, (masterpiece, best quality:1.2), very aesthetic, absurdres, official art, extremely detailed wallpaper, beautiful detailed background, rating: general,
8、原神
提示词:
1girl, dodoco (genshin impact), jumpy dumpty, klee (genshin impact), , genshin impact, ;d, ahoge, backpack, bag, bare legs, barefoot, bloomers, bomb, brown gloves, brown scarf, cabbie hat, clover print, coat, explosion, explosive, gloves, hair between eyes, hat, hat feather, hat ornament, light brown hair, long hair, looking at viewer, low twintails, one eye closed, open mouth, orange eyes, outstretched arms, pointy ears, randoseru, red coat, scarf, shade, sidelocks, smile, solo, spread arms, standing, standing on one leg, twintails, underwear, v-shaped eyebrows, masterpiece, best quality, very aesthetic, absurdres
9、yuri
提示词
hires, absurdres, closeup, 2girls, yuri, night time, lights, soft lights, clinging closely, BREAK 1girl, kiana kaslana, honkai \(series\), scratching head, smile, blushing, shy, night time, depth of field, cinematic lighting, masterpiece, best quality, winter clothes, BREAK 1girl, raiden mei, honkai \(series\), smile, closed eyes, winter clothes
10、梦幻兔女郎
提示词:
1girl, female, dark skin, lips, long hair, rabbit ears, white hair chromatic aberration aesthetic, viera, tall, a woman with white hair, beautifully backlit, a detailed painting, fantasy art,
11、高铁站的aoi ch
提示词:
elf, 1girl, aoi ch., shushing, torn clothes, grin, solo, silver hair, hair over one eye, two side up, blue eyes, lace gloves, train station, masterpiece, very aesthetic, absurdres
C站地址:
https://civitai.com/models/260267/animagine-xl-v31
网盘下载:
https://www.123pan.com/s/ueDeVv-NUuI.html