当前位置:首页|资讯|Stable Diffusion

AI功能探索--使用Stable Diffusion完成假人模特搭配服装上身效果

作者:科技东南风发布时间:2023-10-23

在服装相关的电商业务领域,往往需要请模特拍摄大量服装产品照片,还有场地、模特上身效果,这其中涉及的模特成本、场地成本、拍摄时间成本等问题在传统的无法避免,随着stable diffusion 的快速崛起,使用AI实现假人模特服装上身的效果成为可能,本文通过实践讲解服装换装操作流程,力求AI对人物换装以完成低成本方案,本文使用本地化安装的Stable Diffusion Web UI(以下简称SD) 及相关的扩展组件进行AI模特换装的实验。

本教程演示使用SD由假人模特搭配特定服装完成服装上身效果的操作,不涉及模型训练,仅使用大模型配合图生图的方式完成换装

图生图

操作中需要准备的素材有--

假人模特

 


连衣裙抠图后的透明底素材,保存为PNG格式

 


在PS里制作服装的蒙版,黑色为蒙版遮罩部分,保存为PNG格式

 


假人模特与连衣裙合成后的连衣裙模特,保存为PNG格式

 


准备完成后打开SD,上传图生图需要的素材,选择模型、设置各生成参数:

打开图生图,切换到局部重绘(上传蒙版)

依次上传连衣裙模特、蒙版-排除连衣裙,然后配置

大底模:Chilloutmix-Ni-pruned-fp32-fix

VAE模型:vae-ft-mse-840000-ema-pruned

蒙版模糊:5

仅蒙版模式的边缘预留像素:28

采样迭代步数(Steps):35

蒙版模式:重绘蒙版内容

蒙版蒙住的内容:原图

重绘区域:仅蒙版

采样方法:DPM++ SDE Karras

宽高:512x728

提示词相关性:7

重绘幅度:0.6
随机种子这里不选,保持-1

如图

 


然后开启面部修复ADetailer,设置使用mediapipe_face_full插件

正向关键词:

Looking towards the camera,energetic eyes,beautiful eyelashes,cherry lips,bright red lips,Horizontal eyes,Close mouth

反向关键词:

Low quality, poorly drawn face, incorrectly drawn face, redundant face, deformed face, missing face, deformation, blurring, disfigurement, mutation, ugliness, blurry face

其它参数保持默认,如图

 


然后再开启ControlNet,需要开两个插件

第一个是openpose,预处理器选择openpose姿态检测,模型control_v11p_sd15_openpose

接着上传合成后的连衣裙模特图,点预处理器与模型中间的那个爆炸图标,

 


则系统会自动生成好姿势图,其它设置保持默认,如图

 


第二个插件是softedge,预处理器选择softedge_hed,模型选择control_v11p_sd15_softedge,其它参数保持默认,上传连衣裙图片,同样点爆炸图标,生成好衣服的线条,如图

 

最后输入整体生成的关键词,

正向关键词

1girl,solo,young,look at the camera,

反向关键词

(pants:1.7),(clothes:1.6),(cloth:1.6),(panties:1.5),EasyNegative,ng_deepnegative_v1_75t,paintings,sketches,((monochrome)),((grayscale)),(worst quality:2),(low quality:2),(normal quality:2),lowres,skin spots,acnes,skin blemishes,age spot,penis,glans,dick,text,error,extra digits,fewer digits,cropped,watermark,blurry,words,word,logo,cropped,mutation,deformed,jpeg artifacts,twisted hands,fused fingers,poorly drawn hand,poorly drawn face,poorly drawn lowre,poorly drawn finger,poorly drawn leg,extra fingers,extra limbs,extra arms,extra legs,extra leg,extra arm,extra hand,extra limb,malformed limbs,fused fingers,long neck,cross-eyed,mutated hands,bad body,bad proportions,bad feet,bad nipple,bad anatomy,bad hands,gross proportions,missing finger,missing arm,missing leg,amputee,deformed,blurry,disfigured,mutated,ugly,blurry face,out of frame,border,(lace:1.1),lamp,necklace,mirror,paint,animal,chiffon,grenadine,gimp,purfle,disabled body,Eyes that are not level,Excess toes,missing toes,

设置完成后点生成,从多次生成结果中抽卡,比如生成了这张

 


可以看到这张图的人物外形、姿势、服装大体都不错,就是面部与脚尖的细节没有生成好,

这时可以将该使用图生图(手涂蒙版)来修正,下面到了图片修复环节

图生图(手涂蒙版)

使用该功能时,先关闭所有openpose插件,然后在上传的照片中将模特脸部涂上蒙版,黑色为需要修正的部分,只涂脸部五官部分就行,别涂多了,可以把画笔调细一点,涂完后设置生成参数

大底模:Chilloutmix-Ni-pruned-fp32-fix

VAE模型:vae-ft-mse-840000-ema-pruned

蒙版模糊:5

仅蒙版模式的边缘预留像素:28

采样迭代步数(Steps):35

蒙版模式:重绘蒙版内容

蒙版蒙住的内容:填充

重绘区域:仅蒙版

采样方法:DPM++ SDE Karras

宽高:512x728

提示词相关性:7

重绘幅度:0.6 随机种子这里不选,保持-1

整体关键词改成

正向

1girl,solo,young,look at the camera

反向

(pants:1.7),(clothes:1.6),(cloth:1.6),(panties:1.5),EasyNegative,ng_deepnegative_v1_75t,paintings,sketches,((monochrome)),((grayscale)),(worst quality:2),(low quality:2),(normal quality:2),lowres,skin spots,acnes,skin blemishes,age spot,penis,glans,dick,text,error,extra digits,fewer digits,cropped,watermark,blurry,words,word,logo,cropped,mutation,deformed,jpeg artifacts,twisted hands,fused fingers,poorly drawn hand,poorly drawn face,poorly drawn lowre,poorly drawn finger,poorly drawn leg,extra fingers,extra limbs,extra arms,extra legs,extra leg,extra arm,extra hand,extra limb,malformed limbs,fused fingers,long neck,cross-eyed,mutated hands,bad body,bad proportions,bad feet,bad nipple,bad anatomy,bad hands,gross proportions,missing finger,missing arm,missing leg,amputee,deformed,blurry,disfigured,mutated,ugly,blurry face,out of frame,border,(lace:1.1),lamp,necklace,mirror,paint,animal,chiffon,grenadine,gimp,purfle,disabled body

继续打开ADetailer脸部修复,设置脸部修复关键词

Looking towards the camera,energetic eyes,beautiful eyelashes,cherry lips,bright red lips,Horizontal eyes,Close mouth

反向

Low quality, poorly drawn face, incorrectly drawn face, redundant face, deformed face, missing face, deformation, blurring, disfigurement, mutation, ugliness, blurry face

其余配置与之前一样保持默认,点击生成

 


可以看到智能算法在适配脸部的修改方案

 

完成后是这样 


看着可以接受,那接下来就继续修正脚的部分,同样是把刚才生成的图再发送到图生图,

配置与前面一样,包括整体的正反向关键词

蒙版模式:重绘蒙版内容

蒙版蒙住的内容:填充

重绘区域:仅蒙版

确认好配置后,开始涂抹模特脚尖部分

 

这里把不使用ADetaile对脚的部分参与修复,所以把ADetailer脸部修复关闭,直接在整体的关键词里控制,

输入正向关键词

1girl,solo,young,five toe tips,in high-heeled shoes

反向关键词

(pants:1.7),(clothes:1.6),(cloth:1.6),(panties:1.5),EasyNegative,ng_deepnegative_v1_75t,paintings,sketches,((monochrome)),((grayscale)),(worst quality:2),(low quality:2),(normal quality:2),lowres,skin spots,acnes,skin blemishes,age spot,penis,glans,dick,text,error,extra digits,fewer digits,cropped,watermark,blurry,words,word,logo,cropped,mutation,deformed,jpeg artifacts,twisted hands,fused fingers,poorly drawn hand,poorly drawn face,poorly drawn lowre,poorly drawn finger,poorly drawn leg,extra fingers,extra limbs,extra arms,extra legs,extra leg,extra arm,extra hand,extra limb,malformed limbs,fused fingers,long neck,cross-eyed,mutated hands,bad body,bad proportions,bad feet,bad nipple,bad anatomy,bad hands,gross proportions,missing finger,missing arm,missing leg,amputee,deformed,blurry,disfigured,mutated,ugly,blurry face,out of frame,border,(lace:1.1),lamp,necklace,mirror,paint,animal,chiffon,grenadine,gimp,purfle,disabled body,Eyes that are not level,Excess toes,missing toes

其它配置依旧与之前的一样

大底模:Chilloutmix-Ni-pruned-fp32-fix

VAE模型:vae-ft-mse-840000-ema-pruned

蒙版模糊:5

仅蒙版模式的边缘预留像素:28

采样迭代步数(Steps):35

蒙版模式:重绘蒙版内容

蒙版蒙住的内容:填充

重绘区域:仅蒙版

采样方法:DPM++ SDE Karras

宽高:512x728

提示词相关性:7

重绘幅度:0.6 随机种子这里不选,保持-1

然后点生成,经过多次生成抽卡,从中挑选了这张

 

最终模特图定稿

这样整体看起来就比刚开始的好多了,这样就得到不错的成品图了,如果用户对模特图要求不高的这张就可以收货了,如果要求更高的,那就继续对图片做更多调整,如生成更复杂背景、改变光源照射角度、改变光源类型、更改服装颜色、增加图片清晰度等。可以本篇所讲解内部作为基础,对各生成参数做调整,生成更多样式的模特试穿图。需要练习其它服装与模特换装的,可以继续使用我提供的模特图包来练习。如果你的电脑配置未达到SD运行要求的,可以使用在线的云服务器进行换装的操作。推荐使用青椒云桌面,上面的可选云桌面电脑配置强大,网络也很流畅,操作便捷,WIN平台,与使用本地电脑没什么两样。



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1