当前位置:首页|资讯|AI绘画|Stable Diffusion

【模型介绍】会用Embedding模型,助你绘出精彩(SD1.5版)

作者:虎赳虎叔虎AI发布时间:2023-11-27

Embedding介绍

Embedding模型,英文意思是:嵌入。通常我们称之为文本嵌入(也叫词嵌入)。我们这里探讨的Embedding是一种用于提高AI绘画效果的技术,它可以将一组图片的特征提取出来,保存为一个小文件,然后在生成图片时,通过输入关键词来激活这个文件,从而实现风格的转换或人物的还原。Embedding文件一般以.pt或.safetensors为后缀,大小只有几十K或几个M,可以同时调用多个文件进行混合。Embedding文件需要基于一款模型来生成和使用,比如Stable Diffusion。

打个比方,基础大模型是一本新华字典的话,那么Embeddings就是一片片小书签,Embeddings本身不包含信息,只是一个标记。它能够精准地为你指向个别字、词的含义,从而实现用简短的单词来表达更多的含义。

Embedding模型的使用

通俗理解,embedding 模型是额外的自定义 tag。首先将下载的Embedding模型文件,放到相应的文件夹内。

对于 webui 使用者:{你的 webui 安装目录}/embeddings/ 文件夹内;在你的Stable Diffusion文件夹的根目录中,你会看到一个“embeddings”的文件夹,没错,这个文件夹就是用来存放Embedding模型的。

对于 ComfyUI 使用者: {你的 ComfyUI 安装目录}/models/embeddings/ 文件夹内。

在 webui 中,其调用方式和触发方式与一般提示词无异,即,您可以通过在 webui 的提示词框内输入您 embedding 模型的文件名(不包含扩展名)触发。例如,假设您的 embedding 模型文件名为 "abc.safetensors"或是“abc.pt”,则您只需要在提示词框内输入 "abc" 即可触发。触发词即这个模型文件的文件名

用 ComfyUI 触发 embedding 则稍微不同,您需要在触发时,在 webui 的基础上为触发词添加前缀 "embedding:"。例如,假设您的 embedding 模型文件名为 "abc.safetensors",则您只需要在提示词框内输入 "embedding:abc" 即可触发。

作为提示词tag,它也是可以有不同权重值的写法,但一般情况下不做权重值改变。使用时,只中后,在提示词编辑区,写入该模型的触发词即可生效。

使用在正向提示词中

Embeddings可以为我们指向某一种特定的形象,从某种角度来说,算是一个LoRA的简易版,因为如果将某一特定的角色的形象特征描述整合到一个Embeddings中,那么也可以在一定程度上用这个Embeddings的触发词,就可以实现带有这个形象特征描述的人物。但也因为训练量不大,使得个性化特征的表现上不如同主题的 lora 模型稳定,因此在正面提示词中使用的方式并不广泛。

示例:正向提示词带“mbe11ucci的Embedding与否的对比

beautiful woman\(mbe11ucci:0.99\),happy512,((full body)),ray tracing,(best quality),((masterpiece)),(highres),original,extremely detailed 8K wallpaper,(an extremely delicate and beautiful),intricate detail,artbook,

Negative prompt: EasyNegative,bad_prompt_version2,ng_deepnegative_v1_75t,badhandv4,bad-hands-5,badquality,(Worst quality,low quality,lowres:1.2),nsfw,error,cropped,jpeg artifacts,out of frame,watermark,signature,

Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2842849748, Size: 768x512, Model hash: e9d3cedc4b, Model: realisticVisionV40_v40VAE, Denoising strength: 0.7, Clip skip: 2, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, ADetailer model: face_yolov8s.pt, ADetailer confidence: 0.3, ADetailer dilate erode: 4, ADetailer mask blur: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding: 32, ADetailer version: 23.11.0, Hires upscale: 2, Hires steps: 9, Hires upscaler: Latent, TI hashes: "mbe11ucci: 36fe1843eb9a, happy512: 4fa643103a06, EasyNegative: 66a7279a88dd, bad_prompt_version2: 6f35e7dd816a, ng_deepnegative_v1_75t: 54e7e4826d53, badhandv4: 5e40d722fc3d, bad-hands-5: aa7651be154c", Version: v1.6.0

这里我们介绍一组有趣有效的用于人物情绪面部表情的Embedding模型,这组SCG Emotions Pack模型,包含了开心、微笑、露齿笑、大笑、紧张、吃惊、忧郁、生气、悲伤等不同情绪下的面部表情。不过体验了下,效果是有,需要注意权重值的调整。

更多的是在反向提示词中使用

通常我们更多的使用Embedding模型是在反向提示词中,在SD中,大多数情况下,Embedding都是用在反向提示词中,用于避免画面的质量、构图、色彩以及人物的肢体结构等问题的出现。

比如:EasyNegative、ng_deepnegative_v1_75t、badhandv4FastNegativeV2、UnaestheticXL、NegativeXL等。目的也是能够用尽可能少的token来表达更多的信息内容。

需要注意的是,SDXL 1.0 模型发布后,之前的 SD1.5 的负面提示词 Embedding 并不能和 SDXL 大模型配合使用,接下来,我们给大家分别推荐和介绍适用于SD1.5版本和SDXL版本的一些好用Embedding模型。

 

适用于SD1.5的Embedding模型

所有提到的模型,我们在文末提供百度网盘链接

【1】EasyNegative(可通用)

EasyNegative是目前使用率极高的一款负面提示词 embedding 模型,可以有效提升画面的精细度,基本上都作为反向提示词必带的一个Embedding使用。

C站地址:https://civitai.com/models/7808

【2】Deep Negative_v1_75t(可通用)

文件名:ng_deepnegative_v1_75t

Deep Negative 可以提升图像的构图和色彩,减少扭曲的面部、错误的人体结构、颠倒的空间结构等情况的出现。在这个Embedding的迭代过程中,还有一个版本也值得关注就是16T的版本,触发词:ng_deepnegative_v1_16t,可以提升构图水平。

需要注意的是,这个Embedding的使用后,你依然需要在反向提示词中使用有如:最差的质量,低质量,标志,文字,水印,用户名等这些用于提升图片质量的负面tag,当然,与其他的负面嵌入一起使用也是可以的。

C站地址:https://civitai.com/models/4629

示例:我们在锁定正向提示词和种子的情况下,改变Embedding来观察效果。上下两张图的区别在于,下面的那张多用了一个ng_deepnegative_v1_75t的Embedding。

基础模型:majicmixRealistic_v6

正向提示词:

muscular male,bara,facial hair,upper body,face focus,business suit,(best quality),(masterpiece),ray tracing,(highres),original,extremely detailed 8K wallpaper,(an extremely delicate and beautiful),intricate detail,artbook,

反向提示词:

EasyNegative,ng_deepnegative_v1_75t,(nsfw),(naked),(worst quality, low quality:1.3),(Worst quality,low quality,lowres:1.2),(normal quality:2),((monochrome)),((grayscale)),skin spots,veins,acnes,skin blemishes,age spot,mutated hand,malformed limbs,cropped,jpeg artifacts,signature,watermark,text,username,

【3】badhandv4(动漫风格)

badhand4 是一款专门针对手部进行优化的负面提示词 embedding 模型,能够在对原画风影响较小的前提下,减少手部残缺、手指数量不对、出现多余手臂的情况,适合动漫风大模型。

C站地址:https://civitai.com/models/16993

此外,作者还将badhandv4 移植到了 SDXL 格式的 embedding 上,C站地址:

https://civitai.com/models/144327

用于 以 SDXL 为底的动漫模型,帮助优化所使用模型生成图像的:

  • 基础质量。包括增加 清晰度对比度 和 饱和度 至普遍认可的美学水平,(较强地)缓解严重内容崩坏扭曲杂乱

  • 人物肢体。包括改善人体结构面部 和 手部,效果因模型而有所差异;

【4】Fast Negative(可通用)

文件名:FastNegativeV2

Fast Negative 也是一款非常强大的负面提示词 embedding 模型,它打包了常用的负面提示词,能在对原画风和细节影响较小的前提下提升画面精细度,动漫风和写实风的大模型都适用。

C站地址:https://civitai.com/models/71961

示例:我们再做一个比对,就是将只挂了2个通用的Embedding的二次元出图与加挂了badhandv4和FastNegativeV2的出图作比对,大家看前后对比效果,特别是手部和画风影响

基础模型:abyssorangemix3AOM3_aom3a1b

正向提示词:

muscular male,bara,facial hair,upper body,face focus,business suit,(best quality),(masterpiece),ray tracing,(highres),original,extremely detailed 8K wallpaper,(an extremely delicate and beautiful),intricate detail,artbook,

反向提示词:

EasyNegative,ng_deepnegative_v1_75t,badhandv4,FastNegativeV2,(nsfw),(naked),(worst quality, low quality:1.3),(Worst quality,low quality,lowres:1.2),(normal quality:2),((monochrome)),((grayscale)),skin spots,veins,acnes,skin blemishes,age spot,mutated hand,malformed limbs,cropped,jpeg artifacts,signature,watermark,text,username,

【5】negative_hand-neg(可通用)

在不改变所使用模型的美术风格的情况下,改进图像质量和手等不正确的肢体结构。这种嵌入方式,也不能百分百地改善错误的肢体结构,但的确对手的细节处理有效果。

C站地址:https://civitai.com/models/56519

【6】Bad artist Negative embedding(写实+动漫)

C站地址:https://civitai.com/models/5224

作者做了2个版本:

bad-artist:没有想象的那么强,但用了后绘出非常独特的图像据说。

bad-artist-anime:适用于动画风格

作者建议使用“by”来配合提示词编写,例如:“sketch by bad-artist”,或者“painting by bad-artist”,或者“photograph by bad-artist”等等。

示例:这次我们用photon_v1基础模型,在写实反向提示词中用了Embedding和没有用Embedding的对比

正向提示词

(1girl :1.3),portrait,woman,sister of battle,holding sword,dark background,(black and silver trim, black flower armor:1.5),(hdr:1.4),high contrast,(cinematic:0.85),(muted colors, dim colors, soothing tones:1.3),low saturation,smoke,shining sword,cluster amaryllis,wind,dragon loong spirit behind,perfect anatomy,centered,approaching perfection,(athletic female),detailed face,short hair,white hair,bangs,feminine,nice breasts,beautiful detailed girl,extremely detailed fingers,cute,young,mature face,realistic face,realistic body,armour,

用了Embedding的反向提示词:

EasyNegative,ng_deepnegative_v1_75t,negative_hand-neg,painting by bad-artist,(nsfw),(naked),(worst quality, low quality:1.3),(Worst quality,low quality,lowres:1.2),(normal quality:2),((monochrome)),((grayscale)),skin spots,veins,acnes,skin blemishes,age spot,mutated hand,malformed limbs,cropped,jpeg artifacts,signature,watermark,text,username,

没有挂Embedding的反向提示词:

(nsfw),(naked),(worst quality, low quality:1.3),(Worst quality,low quality,lowres:1.2),(normal quality:2),((monochrome)),((grayscale)),skin spots,veins,acnes,skin blemishes,age spot,mutated hand,malformed limbs,cropped,jpeg artifacts,signature,watermark,text,username,

SD1.5动漫反向:

EasyNegative,ng_deepnegative_v1_75t,badhandv4,FastNegativeV2,negative_hand-neg,painting by bad-artist-anime,(nsfw),(naked),(worst quality, low quality:1.3),(Worst quality,low quality,lowres:1.2),(normal quality:2),((monochrome)),((grayscale)),skin spots,veins,acnes,skin blemishes,age spot,mutated hand,malformed limbs,cropped,jpeg artifacts,signature,watermark,text,username

SD1.5写实反向:

EasyNegative,ng_deepnegative_v1_75t,FastNegativeV2,negative_hand-neg,painting by bad-artist,(nsfw),(naked),(worst quality, low quality:1.3),(Worst quality,low quality,lowres:1.2),(normal quality:2),((monochrome)),((grayscale)),skin spots,veins,acnes,skin blemishes,age spot,mutated hand,malformed limbs,cropped,jpeg artifacts,signature,watermark,text,username



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1