【Ai绘画 | Stable diffusion】进阶教学 | 规则通用图像分割（OneFormer)

作者：小孩酥a发布时间：2023-08-01

2023

08 | 01

前言：Ai肆虐全球的同时，在Ai绘图赛道上，stable diffusion无论在出图质量，适配插件程度，都作为碾压一众的顶流存在，又由于其完全开源，可以本地部署，使得Midjourney都稍逊一筹。所以，作为设计师，对于它的使用掌握尤为重要。为此，我将持续为大家更新SD以及其系列插件的入门和进阶用法。（文章以提供思路为主，不懂的可以留言评论区）

简要介绍

首先，我们要知道在Stable Diffusion中，我们所用到的语义分割控制的作用，当我们在训练大模型的时候，会遇到模型精度不高，场景细节把握不到位的情况，这时候我们可以用Semantic Segmentation或Segment anything来作为seg处理结果，但是它的模型处理效果较为一般，很多场景识别不出来或者精细场景混乱，还需要大量后期Ps处理。

OneFormer作为国内外领先的图像分割神经网络模型，该模型框架的精度更高，无需对每个框架进行单个训练，它在实例分割 (instance segmentation) 、语义分割 (semantic segmentation) 、全景分割 (panoptic segmentation)。这三个子任务都有着大量的算法与模型。且通过一次训练，就可以最大化的进行精准处理，系统化的减少了训练的工作量。

↑上图为OneFomer网页界面

实例分割: (instance segmentation) 任务旨在区分不同的“实例”，例如图像中不同的人物个体。实例分割从某种角度看和物体检测很像，不同的是在这里我们需要的是一个对应类别的二元的分割掩膜，而不是一个检测框。实例也可以称为“物体 (objects)”或“实物 (things)”。需要注意的是，不同的个体可能在图像中是相互重叠的。

语义分割:(semantic segmentation) 区分的是不同的“语义类别”，比如属于人物、天空等类别的各个像素点。与实例分割不同的是，这里我们不需要区分开同一类别下的不同个体，例如这里我们只需要得到“人物”类别的像素级掩膜即可，不需要区分开不同的人。有些类别根本不存在个体的区分，比如天空、草地，这种类别我们称之为“东西 (stuff)”，以此区分开其它类别，称之为“实物 (things)”。请注意这里不存在不同语义类别间的重叠，因为一个像素点只能属于一个类别。（我们在sd中所常用到的分割方式）

全景分割:(panoptic segmentation) 在 2018 年由 Kirillov et al. 提出，目的是为了统一实例分割和语义分割。模型单纯地鉴别出一系列的图像部分，每个部分既有对应的二元掩膜，也有对应的类别标签。这些区分出来的部分，既可以是“东西”也可以是“实物”。与实例分割不同的是，不同部分间不存在重叠。

OneFormer 通过在全景数据集上训练，达到了领先水平。OneFormer 增加了一个文本编码器 (text encoder)，使得模型有了一个基于文本条件 (实例、语义或全景) 的输入。该模型已经收录入Transformers 之中，比其他图像分割神经网络模型更准确，但由于文本编码器的引入，所以速度略慢。下图展示了 OneFormer 的基本结构，它使用 Swin Transformer 或新的 DiNAT 作为骨干网络。（如下图）

使用方法：

一、打开[03]中的OneFomer网页。

二、导入我们所选的图片素材。任务令牌我们选择semantic语义分割。（无需区分同种模型具体类别）

三、模型选择ADE20K。(controlnet支持)

四、子系统我们选择DiNAT-L。（两种子系统均是基于使用Transformers的解码器decoder，DiNAT-L和ADE20K更适配）

五、点击提交。

六、将图片复制到Stable Diffusion中，启用controlnet，因为我们已经生成了mutator，所以预处理器选择none，模型选择sd中的seg，其他的参数同学们可自己调整。

七、如果我们需要更改生成的模型，我们可以将（五）生成的图片放入Ps或者Stable Diffusion内置的Ps中（下载链接放在[03]中，下载步骤放入[04]中。会的同学可跳过[04]中的内容。

八、我们如果需要更改添加场景中物体，我们在Ps中使用的颜色必须能被ADE20K可以识别。为了方便大家的学习与使用，我为大家翻译并整理成ADE20K颜色表，已打包好在[03]中。

↑上图为预览

[注：如果大家想放入人物且具体调整，可以使用openpose。链接放入[03]中，下载步骤放入[04]中。会的同学可跳过[04]中的内容。]

↑上图为openpose使用效果

[02]中出现的插件安装步骤：

· SD内置Ps安装步骤：打开Stable Diffusion，点击扩展（extentions），点击从网址安装（install from URL）,输入git网址，点击安装，重启WebUI，即可使用。

· Openpose动作以及手部检测插件安装步骤：打开Stable Diffusion，点击扩展（extentions），点击从网址安装（install from URL）,输入git网址，点击安装，重启WebUI，即可使用。

· segment anything插件安装步骤：打开SD,点击扩展（extentions），点击从网址安装（install from URL）,输入git网址，点击安装，在网页打开网址，下载大模型，模型大小一共三种（如下图），具体根据自己电脑实际情况而定，下载好之后将模型放入本地文档stable-diffusion-webui\stable-diffusion-webui\extensions\sd-webui-segment-anything\models\sam中，重启WebUI，即可使用。