使用diffusers实现ControlNet inpaint

作者：maverick_z发布时间：2023-09-28

在Automatic1111的stable-diffusion-webui中，我们可以通过img2img中的inpaint功能，结合ControlNet插件，实现ControlNet控制的图像重绘。...【查看原文】

相关资讯

使用 Diffusers 实现 ControlNet 高速推理

自从 Stable Diffusion 风靡全球以来，人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法，能够允许用户在很大程度上自定义生成过程。通过 ControlNet，用户可以轻松地使用多种空间语义条件信息 (例如深度图、分割图、涂鸦图、关键点等) 来控制生成过程。具体来说，我们可以:将卡通绘图转化为逼真的照片，同时保持极佳的布局连贯性。写实版的 Lofi Girl (上: 原图，下: 新图)进行室内设计。将涂鸦草图变成艺术作品。甚至拟人化著名的 logo

Stable Diffusion 艺术

HuggingFace 2023-03-07

使用 diffusers 训练你自己的 ControlNet

简介ControlNet 这个神经网络模型使得用户可以通过施加额外条件，细粒度地控制扩散模型的生成过程。这一技术最初由 Adding Conditional Control to Text-to-Image Diffusion Models 这篇论文提出，并很快地风靡了扩散模型的开源社区。作者开源了 8 个不同的模型，使得用户可以用 8 种条件去控制 Stable Diffusion 模型（包括版本 1 到 5 ）。这 8 种条件包括姿态估计、深度图、边缘图、素描图等等。ControlNet 博文链接:

Stable Diffusion

HuggingFace 2023-04-04

Ai绘画换头术：ControlNet插件inpaint局部重绘的使用教程

前不久我们讲了Stable Diffusion自带的局部重绘功能，可以实现一键换衣服（教程移步：Stable Diffusion局部绘图的用法，可以实现一键换衣服）这次我们讲的是局部重绘功能结合ControlNet插件inpaint局部重绘模型control_v11p_sd15_inpaint.pth来实现更好的局部重绘效果！此模型可以完美的处理好接缝处的衔接问题，做到毫无违和感。下面我们开始讲解。首先，先把局部重绘模型control_v11p_sd15_inpaint.pth存放到\novelai-we

AI绘画 Stable Diffusion

好奇漫步 2023-05-31

Controlnet+Inpaint让AI模特穿上你家的衣服

欢迎来到觉悟之坡AI绘画教学系列之第30篇。自从上次发布了AI模特文章，就引起了很多小伙伴的关注，有求详细教程的，有联系合作的。很高兴有很多人在持续关注着，也欢迎各路大神，小伙伴们一起来交流探讨，共同完善和提高。今天继续发布第二篇AI模特系列，希望抛砖引玉，和大家一起继续探讨和提高。上次的AI模特教程，是直接使用inpaint功能，来给模特换脸。这次，我们来讲一下openpose+inpaint（局部重绘）功能，来给模特换脸和穿衣服。一. 半身1.首先，假设我们有一个假人穿上我们家卖的t-shirt图。（

AI绘画

觉悟之坡 2023-04-18

【Stable Diffusion教程】 16 Controlnet预处理器合集5（Inpaint、Recolor）

Part 1 Inpaint的原理和实操【基础介绍】InPaint是一项图片修复技术，可以从图片上去除不必要的物体，让我们轻松摆脱照片上的水印、污渍、划痕、标志等瑕疵。一般来讲，图片的Inpaint过程可以理解为两步：1.找到图片中需要重绘的部分，比如上述提到的水印、污渍、划痕、标志等；2.去掉水印、污渍、划痕、标志等，自动填充图片上应该有的内容。【实操部分】SD Inpaint操作打开SD选择图生图点击Inpaint Sketch上传图片遮罩不想要的部分调整图片尺寸点击生成【引导图】CN I

Stable Diffusion

麦克多娜AI 2023-11-14

近期资讯

借钱不还居然收支付宝京东大额“逾期催收红包”，真的「欠钱的才是大爷」？

消费金融挖掘最后一块“利润田”，给逾期不还的老赖们送出大额减免“逾期催收红包”

新识研究所 2024-12-26

工作生活没得怕的！HUAWEI MatePad Pro 13.2 英寸柔光版发售

IT之家 2024-12-26

甲子光年 2024-12-26

洗浴中心做自助餐，吊打高端餐厅

消费者不爱正经吃饭了。

红餐网 2024-12-26

三星获美补贴“缩水”背后：取消先进封装产能规划，重点关注 2nm

IT之家 2024-12-26

电影消费券遭明星粉丝“薅羊毛” 优惠补贴变追星工具？

电影消费券本是拉动观影需求、刺激电影市场复苏的惠民政策，如今却成了部分粉丝的“追星工具”。

36氪的朋友们 2024-12-26

从《寂静岭》到《时间旅者：重生曙光》，恐怖游戏是怎样“吓人”的？

看不见的东西，往往比直接摆在面前的更吓人。

触乐 2024-12-26

OPPO明年上半年将推三种尺寸旗舰机，Find X8 Ultra有望最早登场

IT之家 2024-12-26

使用diffusers实现ControlNet inpaint

推荐体验

相关资讯

使用 Diffusers 实现 ControlNet 高速推理

使用 diffusers 训练你自己的 ControlNet

Ai绘画换头术：ControlNet插件inpaint局部重绘的使用教程

Controlnet+Inpaint让AI模特穿上你家的衣服

【Stable Diffusion教程】 16 Controlnet预处理器合集5（Inpaint、Recolor）

近期资讯

借钱不还居然收支付宝京东大额“逾期催收红包”，真的「欠钱的才是大爷」？

工作生活没得怕的！HUAWEI MatePad Pro 13.2 英寸柔光版发售

Token已死？AI认知的新范式正在崛起

Cybertruck二手车堆积如山，为支持特朗普，特斯拉被迫“双标”｜海外日报

增程车的2024：火热的销量，不确定的下半场

洗浴中心做自助餐，吊打高端餐厅

三星获美补贴“缩水”背后：取消先进封装产能规划，重点关注 2nm

电影消费券遭明星粉丝“薅羊毛” 优惠补贴变追星工具？

从《寂静岭》到《时间旅者：重生曙光》，恐怖游戏是怎样“吓人”的？

OPPO明年上半年将推三种尺寸旗舰机，Find X8 Ultra有望最早登场

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响