AI绘画是否可以做到用已有的角色图片（正面）去生成其他的姿势？

举个例子：

输入图：

姿势参考图：

输出图：

可以看到，AI生成的图片，从正面输入图变成了侧脸图。

实现这个功能的，是InstantID插件。这是小红书和北大团队合作的一个AI工具，可以作为插件部署在Stable Diffusion上。

一、instantID在本地的部署和安装

如果你的电脑显卡超过16G，甚至是24G，那么恭喜你，可以在本地安装部署。

当然了，如果只有12G，也不是不可以用，只不过不能流畅的使用全部功能。本文的换脸还是能跑得动的。

（一）WebUI

1、升级ControlNet，至少要到1.1.440版。

2、下载ControlNet使用的模型，模型分两大类。

https://www.123pan.com/s/ueDeVv-v1uI.html

（1）ControlNet模型

分别是ip-adapter_instant_id_sdxl.bin和control_instant_id_sdxl.safetensors。

下载后拷贝至extensions\sd-webui-controlnet\models，比如我的WebUI安装在E:\sd-webui，就需要拷贝至：

E:\sd-webui\extensions\sd-webui-controlnet\models

PS，也可以拷贝至

E:\sd-webui\models\ControlNet

（2）面部识别模型

共计5个，拷贝至以下目录（我的WebUI在E:\sd-webui）

E:\sd-webui\extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2

（二）comfyUI

1、先在comfyUI管理器安装节点

搜索instantID，找到ZHO-ZHO-ZHO大神的插件。

然后进行安装。

这个插件需要大量的模型，这里装完只是第一步。

2、相关模型安装

（1）IP-Adapter模型

IP-Adapter是腾讯团队开发的适配器模型，能和ControlNet很好的组合使用，控制人物的姿态。

共有两个，分别是SD1.5和SDXL使用

拷贝至ComfyUI\models\instantid

ip-adapter.bin

ip-adapter_sdxl.bin

需要注意的是，有些SDXL大模型因为训练集的原因，也需要使用ip-adapter.bin，遇到报错提示时可以更换一下IP-Adapter模型。

（2）ControlNet模型

拷贝至ComfyUI\models\controlnet

control_instant_id_sdxl.safetensors

（3）人脸识别和分析模型

antelopev2模型，安装路径：ComfyUI\custom_nodes\ComfyUI_InstantID\models\antelopev2

这组模型和其他换脸插件的insightface模型是通用的，但多两个，insightface模型安装路径：ComfyUI\models\insightface

安装完这些模型，最基本的功能就可以跑起来了，如果你的显卡小于16G，就不用再装其他模型了，因为跑不动！

（4）模型下载

https://www.123pan.com/s/ueDeVv-WYuI.html

二、InstantID在WebUI下的使用

揽睿星舟内置了Instantid用的到的所有插件和模型！

我们选择SD1.7全插件版开机，启动WebUI界面后，可以直接进入配置界面开始使用。

在ControlNet的配置界面，我们需要配置两个页面。

第一个页面：

先上传需要输出的脸型原型，比如一个非常熟悉的美少女。

注意相关参数。

（1）选择启用。

（2）类型选择Instant_ID

（3）预处理器选择instant_id_face_embedding

（4）模型选择ip-adapter_instant_id_sdxl，如果模型这里为空或者报错，则需要检查是否将下载好的模型拷贝到指定位置。

第二个页面：

这里上传想要摆拍的姿势，可以不是需要换脸的画面。instantID会分析这张照片的姿势，然后把第一张的脸型按照这个姿势适配，但不是简单的换脸，除了姿势外，完全不同，相当于重新生成。

（1）注意如果你的显存不足16G，那么这里要选择低显存优化，否则会爆显存。

（2）和第一个页面一样，选择Instant_ID。

（3）预处理器选择instant_id_face_keypoints，模型选择control_instant_id_sdxl。

4、输入提示词，然后点击“生成”。

需要注意的是，提示词不要太复杂，过于复杂的提示词容易使Instant_ID失效。

比如，我输入提示词：

a girl,HDR,UHD,8K,best quality,masterpiece,ultra-fine painting,extreme detail description,Professional,summer  dress,light_smile,

是不是很面熟？

再换一张姿势参考图：

提示词不变，生成如下：

好了，让我们看看一个长得很像神仙姐姐的女孩！

三、InstantID在comfyUI下的安装和使用

ComfyUI对显存的优化更好一些，因此强烈推荐在ComfyUI下使用InstantID插件。

创建基础工作流。

添加节点--InstantID--Apply InstantID。

节点创建好后，分别和大模型、采样器连接。

InstantID处，拖出Load InstantID Model，模型选择ip-adapter.bin（或ip-adapter_sdxl.bin）。

insightface处，拖出InstantID Face Analysis，建议选择CPU。

control_net处，拖出ControlNet模型，选择control_instant_id_sdxl.safetensors

image处连接加载图片，此处连接的是脸部照片。

正反提示词分别接到提示词。

image_kps处连接加载图片，此处连接的是参考姿势，如半身、侧身，生成的图片会在提示词的基础上，参考本图片的姿态。

放一张完整的工作流（基础版）。

1、一个特别像仙女姐姐的美人鱼

提示词：

1girl, underwater, afloat, soft natural lighting, orange hair, off-shoulder dress, aesthetic, film grain texture,analog photography aesthetic,visual storytelling, dynamic composition,looking at viewer,eye contact,

2、一个很像范爷的女生

提示词：

26 y.o. alt girl, eyeshadow, long eyelashes, (messy hair:0.6), film photography aesthetic, long black hair, dynamic composition, skin texture, full body, sharp focus, hard shadows