在过去的两期内容中,我们探讨了如何安装 ComfyUI 及其在图像生成中的应用。
本期,我们将深入了解如何使用 ComfyUI 对图片进行高清放大. 在开始今天的主题之前,请确保您已经在个人电脑上安装了 ComfyUI。同时,确保您已将 ESRGAN_4x.pth 和 4x-UltraSharp.pth 模型文件放置在项目路径 path\models\ESRGAN 下。这适用于 Stable Diffusion(简称 SD)的模型文件和 ComfyUI 的模型文件。此外,您还需要安装插件“ComfyUI_UltimateSDUpscale”。我已经为大家准备好了相关资料,您可以关注微信公众号“无线理论”,回复关键词“图片放大”来获取这些资料。
接下来,我们将介绍潜空间图片放大技术。这种技术指的是在模型采样完成后,立即运用“潜Latent”功能模块对图像进行放大处理。具体的实现步骤如下:
第一步,运行comfui后先在空白处右键创建一个k采样器,
第二步,从k采样器的模型的接口处拉出一根线,拖到合适的位置并用鼠标左键点击以停止。接下来,选择并加载‘Checkpoint加载器(简易版)’。采用相同的方法,再从k采样器的正面条件和负面条件接口处分别引出线条,拖到适当位置后松开鼠标左键。完成这些步骤之后,选择clip文本编辑器。
第三步,从k采样器的左侧接口“Latent”处拖出一条线,到合适位置后停住,这里我们选中“空Latent”,将两个 CLIP文本编辑器左侧的CLIP插槽引出的线条全部连接到Checkpoint加载器右侧的“CLIP”处。与此同时在k采样器右侧的”Latent”插槽处左键引出一根线条到合适位置停止后,选中“Latent按系数缩放“或者“Latent缩放”,
第四步,如果您想直接在上图中的k采样器右侧Latent插槽查看项目运行后的图片,您需要按照以下步骤操作。首先,从k采样器的右侧Latent插槽处拉出一条线,拖动到合适的位置并停止。接着,选择并加载VAE解码器。然后,在VAE界面的左侧插槽VAE处同样拉出一条线,拖到适当位置并用鼠标左键点击停止并选择VAE加载器。请确保您已经下载了VAE模型;如果您还没有下载,我将在安装包中提供。最后,从VAE解码器右侧插槽处再次拉出一条线,拖到合适的位置后停住。此时,您可以选择“预览图片
第五步,创建二次k采样器,在“Latent按系数缩放“功能模块右侧空白区内,右键再次创建一个k采样器,
接着,您需要用到第二步创建的两个CLIP文本编辑器。从这些编辑器的右侧条件插槽处各自引出一条线条。接着,将这两条线分别连接到第二个k采样器的正面条件和负面条件输入插槽。此外,从第三步中创建的Checkpoint加载器的右侧模型插槽也需要引出一条线条然后将其连接到第二个k采样器的左侧模型插槽处。
第六步,在第三步中创建的“Latent按系数缩放“左侧插槽Latent处引出一根线条连接到第二次创建的k采样器右侧Latent插槽处。
接下来,为了展现在潜空间中经过放大处理的图像,您需要从第二个k采样器的右侧Latent插槽引出一条线条,并将其连接到VAE解码器。在连接VAE解码器之后,接下来的步骤是从VAE解码器的右侧VAE插槽引出另一条线条,并将其连接到您在第三步中创建的Checkpoint加载器的右侧VAE插槽。同时,从VAE解码器的右侧图像插槽处也需要引出一条线条。将这条线引到合适的位置后,选择图片预览选项来查看图像。
第7步,在“Latent按系数缩放“功能块中,需要提前设置图像的潜在空间放大倍率,
设置第二次采样的k采样器的二降噪参数值,
接着在正向条件输入框、负向条件输入框内输入相应的提示词,然后点击”添加提示词队列”按钮,项目即可运行,
项目运行后得到图片如下所示:
当然了,除了从潜在空间内容进行图片的放大外,其实还可以在像素空间进行图片的高清放大。那么什么是像素空间呢,简单来说,像素空间就是经过功能模块VAE解码后的图形元素。那么怎么才能对像素空间内的图像进行一次高分辨率放大呢?
首先,我们回到刚才的工作流来,首先,定位到我们用于第一次采样的k采样器。从该采样器的VAE解码器右侧图像插槽引出一条线条。将这条线条拉到一个合适的位置并停下来。此时,点击鼠标左键并选择“搜索”功能。在搜索栏中,输入或找到“图形通过模型放大”的选项并选中它。
然后,在“图像通过模型放大“功能模块左侧放大模型插槽处左键引出线条到合适位置处后选择”放大模型加载器“,在加载放大模型的功能块内,选择我们之前已经准备好的4x-UltraSharp.pth模型。完成这个步骤后,您需要关注功能模块“图像通过模型放大”的右侧图像插槽。在这里,用鼠标左键从该插槽处引出一条线条,并将其拉到一个合适的位置。在放置好线条之后,选择“预览图像”选项来查看效p果。
其次,通过这样的方法,你只能放大通过提示词生成的图片,而无法将你的图片来进行高清放大,我们只需对如下工作流进行适当修改,
一,需要将这个“空Latent“功能模块删除,然后从”k采样器“左侧Latent插槽处重新引出一根线条到合适位置后停止,然后选择”VAE编码“功能模块,
二,在VAE编码的左侧VAE插槽内引出一根线条连接到Checkpoint加载器右侧的VAE,
三,在VAE编码的左侧图像插槽内引出一根线条到合适位置后选择加载图像,
最后,上传图片需要放大图片,然后点击最右侧按钮“添加提示词队列‘按钮。
以下的图片是放大时用到的输入原图:
而此图是通过放大模型放大后的4倍高清图片。