大家好,我是每天分享AI应用的萤火君!
这几天粘土风格的AI图片、AI视频火了起来,虽然看起来有点丑,不过也丑的可爱,丑的很有味道,大家都很喜欢。看看这两张照片,你能猜出来他们是谁吗?
这篇文章就来分享下粘土风格照片的生成方法,生成工具采用的是当前最红最强的ComfyUI。同时这个工具可以在京东云免费使用,一键启动,不需要复杂的安装部署。
有些同学可能还不了解 ComfyUI,我这里做个简单的介绍:
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具,最近发展势头特别迅猛,但是 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。
有的同学可能之前也接触过 ComfyUI,感觉安装太复杂,操作太麻烦,担心自己搞不定。为此,我专门制作了一个 ComfyUI 的镜像,不用各种安装调试,只需要动动手指,一键启动,就可以拥有一个和我使用的完全一样的 ComfyUI 应用,因为坑我已经都填上了。镜像使用方法请继续阅读下文。
有的同学可能 ComfyUI 玩的已经很溜了,只想要工作流和相关的模型,这些同学请移步文末,获取相关资源。
因为 ComfyUI 需要比较强大的 Nvidia 显卡,很多同学都不具备,为了尽早体验,推荐大家使用云平台。
这里推荐两个云平台,我在上边都定制了专门的 ComfyUI 镜像,内置了常用的SD基础模型、ControlNet模型,以及常用的热门插件、常用的工作流,基本可以做到开箱即用,不用费力地到处下载模型、解决各种报错问题,因为其中的坑基本上都已经被我填完了。使用中遇到问题,也可以直接向我反馈,我都会尽力解决。
特别推荐京东云,因为最近京东云开始大举进入AIGC领域,价格十分美丽,还有很多白嫖活动。使用我定制的京东云镜像,不用执行任何命令,服务器创建成功后即可 鼠标一键开启,马上进入创作。
萤火君特别给大家申请了2个小时的 代金券(给公众号“萤火遛AI”发消息“京东云”即可获取),2个小时可以生成140多张粘土风格的图片,当然你也可以玩玩其它的项目,我在镜像中内置了很多工作流,比如换背景的、生成视频的,等等。先到先得,数量有限,大家抓紧时间领取!
京东云官方地址:https://www.jdcloud.com/
注册登陆就不说了,相信大家应该都能搞定。
领取到代金券后,请在“费用”-“代金券管理”中激活代金券,操作如下图所示。
然后我们就可以去开AI服务器了,访问地址:https://gcs-console.jdcloud.com/instance/list
请按照下边的步骤创建AI服务器:
1、首先在“实例列表”页面点击“创建”:
2、在打开的“购买GCS实例”页面点击“按配置”,这种就是按使用量计费,GCS目前按照分钟计费。页面上没有显示常见的显卡型号,不过经我实际测试,目前配置的是RTX 4090显卡的GPU实例。
3、还是在“购买GCS实例”页面,我们移动到下方,应用这里选择“ComfyUI”,注意其中提到这是“萤火遛AI定制版本”,是萤火君专门给大家定制的,填了很多坑。因为上边已经激活了代金券,所以直接点击“立即购买”就可以了。
4、返回到GCS实例列表页面,等待GCS实例创建成功。
实例启动成功后,状态会显示“运行中”,我们只要依次点击“应用”-“自定义应用”,就可以在浏览器中打开ComfyUI了,不用执行任何技术命令,是不是很爽!
当然如果你要进行一些技术操作,也可以通过实例提供的 JupyterLab 去完成。
目前京东云还没有停止服务器的功能(据打听正在开发中),用完了记得点击“释放”,以免继续扣费。
AutoDL 是我常用的另一个AIGC计算平台,GPU型号更为丰富,重要的是价格也十分美丽。
镜像地址:https://www.codewithgpu.com/i/comfyanonymous/ComfyUI/yinghuoai-ComfyUI
在镜像地址页面,点击右下角的“AutoDL创建实例”:
或者也可以在实例创建页面选择社区镜像:yinghuoai-ComfyUI ,GPU型号建议选择RTX 3090、4090等,性能强劲,出图速度快。
如果你本地显卡很强劲,我之前专门写过一篇教程,可以参考这部署一下:https://mp.weixin.qq.com/s?__biz=MzkxNTUxNjU2OQ==&mid=2247484951&idx=1&sn=640080a52a6edaceb48fe3b888dfe82f&chksm=c15cbbe1f62b32f729b60aa6b1245002c9ac26959d8c57247674e41e05d2fe2c09639798427b&token=1118896649&lang=zh_CN#rd
当然你也可以在云环境按照这篇教程进行部署。
这个工作流我已经内置到了AutoDL和京东云的镜像中,如果你使用镜像创建实例,可以在ComfyUI的“加载”功能中找到这个工作流:点击“加载”右侧的下拉按钮,即可找到。当然你也可以单独下载这个工作流,下载方式见文末。
镜像使用方式如下图所示:
不过你看到的可能是英文,这个镜像已经内置了中文翻译,不过还需要大家点下按钮才能切换,操作如下图所示:
然后我们在工作流的最上方,可以找到一个“加载图像”的节点,选择一张你想要重绘的人物图片:
最后,点击菜单栏中的“添加提示词队列”,静待大约50秒钟,一张粘土风格的图片就新鲜出炉了!
以上都是简单的操作,不需要学习也不需要懂任何技术,大家比着操作就行了,是不是很简单!
授人以鱼,不如授之以渔。想进一步提升自己 ComfyUI 应用能力的同学可以看看我的解读,多学点工作流节点知识,慢慢应用到自己的工作流中,创作出自己独特的作品。
这个工作流主要分成以下几个部分:
这里要加载三种模型:
1、首先是SD基础模型,这里我使用的是SDXL 1.0基础模型,模型能力绝对够用了。
2、然后要加载LoRA模型,LoRA 模型一般是用来生成特定风格的,这里用了两个,都是用来控制粘土风格的。下载方式见文末。
3、然后还要加载一个 IPAdapter 模型,它用来在生成图片时参考某张图片中的内容,我们用在这里就是要保持人物的基本形象不变。这里使用的是增强的 IPAdapter 模型,效果目前最好。
最后要把这几个模型做一个合成。
合成的时候 IPAdapter 需要把人物原图引入进来,这里先对原图做了一个缩放,宽度调整到1024(因为SDXL仅在1024以上表现良好)、高度自适应,然后把缩放后的图片送入 IPAdapter 进行处理。
最后合成的模型就是混合了SD基础模型、LoRA模型和提取了人物形象的 IPAdapter 模型。
为了更好的生成效果,我们还要使用提示词进行引导。
这里的提示词包括三个部分:
1、粘土风基础提示词:这些提示词适配所有的粘土风格图片生成,也就是粘土风的通用提示词。
2、从图片反推提示词:每张参考图片都有不一样的地方,需要在提示词中描述出来。使用这个反推提示词的节点,我们就可以避免自己手动输入的烦恼。
3、反向提示词:这是一些通用的反向提示词,避免一些常见生成缺陷。
ControlNet 是用来进一步控制图片结构的。因为我们只是转换图片的风格,图片的构图都要精准还原,所以这里使用了一个 Canny 控制网,它可以使用参考图片的线稿来控制新生成图片中的元素结构。
一个完整的 ControlNet 需要3个节点:
ControlNet应用:用于定义一个ControlNet,包含ControlNet的所需的各个参数。
ControlNet加载器:用于加载 ControlNet 模型,注意ControlNet模型分成SDXL和SD1.5的,需要和SD基础模型保持一致,不能混用。
ControlNet预处理器:用于从参考图片中提取图片特征,这里使用的Canny预处理器,就是用来提取边缘线稿的。注意这里有个分辨率,它一般需要设置为图片的最短边的像素值。
不同的ControlNet模型需要搭配对应的预处理器器,才能正常发挥作用。
采样器是使用扩散模型生成图片的核心组件,相关节点如下图所示:
采样器需要一个用来生成图片的空间,称为潜空间,因为我们是图生图,所以这个潜空间是通过图片来创建的,对应到图中就是“VAE编码”,它会使用从SD模型中提取的VAE模型对参考图片进行编码,编码的数据放到潜空间中传给采样器进行处理。
复制Latent批次:控制一次生成几张图片,一般一张就行了,显存大的同学可以设置更大的值。
K采样器:生成图片的核心组件,它会使用前边合成的SD模型、ControlNet和提示词的条件,搭配采样算法(采样器、调度器、降噪幅度、CFG、采样步数),在潜空间中进行采样,逐步生成所需的图片。
Lora模型:
https://civitai.com/models/208168/claymate-claymation-style-for-sdxl
https://civitai.com/models/181962/doctor-diffusions-claymation-style-lora
访问不方便的同学,也可以下载我整理的,包括粘土风格使用的ComfyUI工作流、LoRA模型、IPAdapter模型,发消息 粘土风 给公众号 “萤火遛AI” 即可获取。
用好 ComfyUI:
首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。
我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 ComfyUI,创作出满足自己需求的高质量作品。
另外我还创建了一个AI绘画专栏,可以零门槛,全面系统的学习 Stable Diffusion 创作,让创作灵感轻松落地!如有需要请点击链接或下方扫码进入:https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6
以上就是本文的主要内容,如有问题,欢迎留言交流。