使用diffusers实现ControlNet inpaint

作者：maverick_z发布时间：2023-09-28

在Automatic1111的stable-diffusion-webui中，我们可以通过img2img中的inpaint功能，结合ControlNet插件，实现ControlNet控制的图像重绘。...【查看原文】

相关资讯

使用 Diffusers 实现 ControlNet 高速推理

自从 Stable Diffusion 风靡全球以来，人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法，能够允许用户在很大程度上自定义生成过程。通过 ControlNet，用户可以轻松地使用多种空间语义条件信息 (例如深度图、分割图、涂鸦图、关键点等) 来控制生成过程。具体来说，我们可以:将卡通绘图转化为逼真的照片，同时保持极佳的布局连贯性。写实版的 Lofi Girl (上: 原图，下: 新图)进行室内设计。将涂鸦草图变成艺术作品。甚至拟人化著名的 logo

Stable Diffusion 艺术

HuggingFace 2023-03-07

使用 diffusers 训练你自己的 ControlNet

简介ControlNet 这个神经网络模型使得用户可以通过施加额外条件，细粒度地控制扩散模型的生成过程。这一技术最初由 Adding Conditional Control to Text-to-Image Diffusion Models 这篇论文提出，并很快地风靡了扩散模型的开源社区。作者开源了 8 个不同的模型，使得用户可以用 8 种条件去控制 Stable Diffusion 模型（包括版本 1 到 5 ）。这 8 种条件包括姿态估计、深度图、边缘图、素描图等等。ControlNet 博文链接:

Stable Diffusion

HuggingFace 2023-04-04

Ai绘画换头术：ControlNet插件inpaint局部重绘的使用教程

前不久我们讲了Stable Diffusion自带的局部重绘功能，可以实现一键换衣服（教程移步：Stable Diffusion局部绘图的用法，可以实现一键换衣服）这次我们讲的是局部重绘功能结合ControlNet插件inpaint局部重绘模型control_v11p_sd15_inpaint.pth来实现更好的局部重绘效果！此模型可以完美的处理好接缝处的衔接问题，做到毫无违和感。下面我们开始讲解。首先，先把局部重绘模型control_v11p_sd15_inpaint.pth存放到\novelai-we

AI绘画 Stable Diffusion

好奇漫步 2023-05-31

Controlnet+Inpaint让AI模特穿上你家的衣服

欢迎来到觉悟之坡AI绘画教学系列之第30篇。自从上次发布了AI模特文章，就引起了很多小伙伴的关注，有求详细教程的，有联系合作的。很高兴有很多人在持续关注着，也欢迎各路大神，小伙伴们一起来交流探讨，共同完善和提高。今天继续发布第二篇AI模特系列，希望抛砖引玉，和大家一起继续探讨和提高。上次的AI模特教程，是直接使用inpaint功能，来给模特换脸。这次，我们来讲一下openpose+inpaint（局部重绘）功能，来给模特换脸和穿衣服。一. 半身1.首先，假设我们有一个假人穿上我们家卖的t-shirt图。（

AI绘画

觉悟之坡 2023-04-18

【Stable Diffusion教程】 16 Controlnet预处理器合集5（Inpaint、Recolor）

Part 1 Inpaint的原理和实操【基础介绍】InPaint是一项图片修复技术，可以从图片上去除不必要的物体，让我们轻松摆脱照片上的水印、污渍、划痕、标志等瑕疵。一般来讲，图片的Inpaint过程可以理解为两步：1.找到图片中需要重绘的部分，比如上述提到的水印、污渍、划痕、标志等；2.去掉水印、污渍、划痕、标志等，自动填充图片上应该有的内容。【实操部分】SD Inpaint操作打开SD选择图生图点击Inpaint Sketch上传图片遮罩不想要的部分调整图片尺寸点击生成【引导图】CN I

Stable Diffusion

麦克多娜AI 2023-11-14

近期资讯

日本熊本县知事：“台积电熊本厂”JASM 首座晶圆厂已投产

IT之家 2024-12-27

网易云音乐 2024 年度听歌报告被吐槽不准，客服回应

IT之家 2024-12-27

消息称亚马逊要求大卖家“二选一”，亚马逊回应：不符合事实，卖家自主决定

三言科技 2024-12-27

小米张国全：澎湃 OS 2 内部共识了「1+3+8」升级计划

IT之家 2024-12-27

万字长文起底AI副业内幕，2024爆火AI副业方向整理

人人都是产品经理 2024-12-27

AI 大模型：教育变革的新引擎

人人都是产品经理 2024-12-27

DeepSeek V3获众多AI大佬赞誉：高性能低成本是智慧和实用主义的体现

腾讯科技 2024-12-27

OPPO周意保：接下来Find系列节奏会稳定下来，每年春秋季各有一场旗舰发布会

三言科技 2024-12-27

网易云音乐年度听歌报告被吐槽不准

三言科技 2024-12-27

微软再陷反垄断泥潭，Office 捆绑销售安全、云服务策略遭调查

IT之家 2024-12-27

使用diffusers实现ControlNet inpaint

推荐体验

相关资讯

使用 Diffusers 实现 ControlNet 高速推理

使用 diffusers 训练你自己的 ControlNet

Ai绘画换头术：ControlNet插件inpaint局部重绘的使用教程

Controlnet+Inpaint让AI模特穿上你家的衣服

【Stable Diffusion教程】 16 Controlnet预处理器合集5（Inpaint、Recolor）

近期资讯

日本熊本县知事：“台积电熊本厂”JASM 首座晶圆厂已投产

网易云音乐 2024 年度听歌报告被吐槽不准，客服回应

消息称亚马逊要求大卖家“二选一”，亚马逊回应：不符合事实，卖家自主决定

小米张国全：澎湃 OS 2 内部共识了「1+3+8」升级计划

万字长文起底AI副业内幕，2024爆火AI副业方向整理

AI 大模型：教育变革的新引擎

DeepSeek V3获众多AI大佬赞誉：高性能低成本是智慧和实用主义的体现

OPPO周意保：接下来Find系列节奏会稳定下来，每年春秋季各有一场旗舰发布会

网易云音乐年度听歌报告被吐槽不准

微软再陷反垄断泥潭，Office 捆绑销售安全、云服务策略遭调查

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响