官方指南 | ComfyUI for Stable Diffusion

特别说明：本篇为翻译

原文来自：https://github.com/comfyanonymous/ComfyUI

中文翻译：-Zho-

ComfyUI

强大且模块化的 stable diffusion 图形用户界面和后端设计

此UI界面是基于图形/节点/流程图设计的，允许您设计和执行stable diffusion的任何流程。以下链接是一些工作流示例，您可以通过这些示例了解到借助 ComfyUI 可以做什么：

ComfyUI 示例：https://comfyanonymous.github.io/ComfyUI_examples/

特征

• 节点/图表/流程图界面，无需编写任何代码即可试验和创建复杂的stable diffusion工作流程。

• 完美支持 SD1.x 和 SD2.x系列模型

• 异步队列系统

• 许多优化：只会重新执行在执行之间发生变化的工作流部分。

• 命令行选项：--lowvram使其在 vram 小于 3GB 的 GPU 上工作（在 vram 较低的 GPU 上自动启用）

• 即使你没有 GPU 也能工作：（--cpu慢）

• 可以加载 ckpt、safetensors和diffusers模型。独立的 VAE 和 CLIP 模型。

• Embeddings/Textual inversion

• Loras（常规、locon 和 loha）

• Hypernetworks

• 从生成的 PNG 文件加载完整的工作流程（带有种子）。

• 将工作流保存/加载为 Json 文件。

• 节点界面可用于创建复杂的工作流，例如用于Hires 修复的工作流或更高级的工作流。

• 分区域合成

• 使用常规模型和修复模型进行重绘

• ControlNet 和 T2I 适配器

• 方法模型（ESRGAN、ESRGAN 变体、SwinIR、Swin2SR 等...）

• unCLIP 模型

• GLIGEN

• 启动非常快

• 完全离线工作：永远不会下载任何东西。

• 用于设置模型搜索路径的配置文件

可以在示例页面上找到工作流示例：https://comfyanonymous.github.io/ComfyUI_examples/

为什么做这个？

我想详细了解 Stable Diffusion 的工作原理。我还想要一些干净而强大的东西，让我可以不受限制地试验 SD。

这是为哪些人做的？

这适用于任何想要使用 SD 制作复杂工作流程或想要了解更多 SD 工作原理的人。该界面紧密遵循 SD 的工作方式，代码应该比其他 SD UI 更易于理解。

快捷键

对于 MacOS 用户，也可以将 Ctrl 替换为 Cmd

安装

Windows系统

有一个适用于 Windows 的便携式独立整合包，可以在 Nvidia GPU 上运行或仅在您的 CPU 上运行。

直接链接下载：https://github.com/comfyanonymous/ComfyUI/releases/download/latest/ComfyUI_windows_portable_nvidia_cu118_or_cpu.7z

只需下载、解压并运行。确保将 Stable Diffusion 主模型（巨大的 ckpt/safetensors 文件）放在：ComfyUI\models\checkpoints

如何在另一个 UI 和 ComfyUI 之间共享模型？

请参阅配置文件以设置模型的搜索路径。在独立的 Windows 构建中，您可以在 ComfyUI 目录中找到此文件。将此文件重命名为 extra_model_paths.yaml 并使用您喜欢的文本编辑器对其进行编辑。

Colab Notebook

要在 colab 或 paperspace 上运行它，您可以在此处使用我的Colab Notebook：https://github.com/comfyanonymous/ComfyUI/blob/master/notebooks/comfyui_colab.ipynb

Link to open with google colab：https://colab.research.google.com/github/comfyanonymous/ComfyUI/blob/master/notebooks/comfyui_colab.ipynb

手动安装（Windows、Linux）

Git 克隆这个仓库。

将你的 SD 主模型（巨大的 ckpt/safetensors 文件）放在：models/checkpoints

把你的 VAE 放在：models/vae

在撰写本文时，pytorch 的 python 版本高于 3.10，因此请确保您的 python/pip 版本为 3.10。

AMD GPU（仅限 Linux）

AMD 用户如果还没有安装 rocm 和 pytorch，可以使用 pip 安装，这是安装稳定版的命令：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/rocm5.4.2

英伟达

Nvidia 用户应使用此命令安装 torch 和 xformers：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 xformers

故障排除

如果您收到“Torch not compiled with CUDA enabled”错误，请使用以下命令卸载 Torch：

pip uninstall torch

并使用上面的命令再次安装它。

依赖关系

通过在 ComfyUI 文件夹中打开终端来安装依赖项，然后：

pip install -r requirements.txt

在此之后，您应该安装了所有内容，然后可以继续运行 ComfyUI。

其他

Mac/MPS：代码中有基本支持，但在有人给出一些安装说明之前，您只能靠自己了。

我已经安装了另一个用于 Stable Diffusion 的 UI，我真的必须安装所有这些依赖项吗？

不需要。如果您安装了另一个 UI 并使用它自己的 python venv，您可以使用该 venv 来运行 ComfyUI。你可以打开你最喜欢的终端并激活它：

source path_to_other_sd_gui/venv/bin/activate

或者在 Windows 上：

使用 Powershell："path_to_other_sd_gui\venv\Scripts\Activate.ps1"

使用 cmd.exe："path_to_other_sd_gui\venv\Scripts\activate.bat"

然后您可以使用该终端运行 Comfyui 而无需安装任何依赖项。请注意，根据 SD UI，venv 文件夹可能被称为其他名称。

运行

python main.py

对于 AMD 6700、6600 和其他处理器

如果遇到问题，请尝试使用此命令运行它：

HSA_OVERRIDE_GFX_VERSION=10.3.0 python main.py

注

• 只有具有所有正确输入的输出图形部分才会被执行。

• 只有从每次执行到下一次执行变化的图形部分才会被执行，如果您两次提交相同的图形，则只有第一个会被执行。如果您更改图表的最后一部分，则只会执行您更改的部分和依赖于它的部分。

• 在网页上拖动生成的 png 或加载一个 png 将为您提供完整的工作流程，包括用于创建它的种子。

• 您可以使用 () 来更改单词或短语的强调，例如：(good code:1.2) 或 (bad code:0.8)。() 的默认强调是 1.1。要在实际提示中使用 () 字符，请将它们转义为 \( 或 \)。

• 您可以使用 {day|night}，用于通配符/动态提示。使用此语法，每次您对提示进行排队时，“{wild|card|test}”将由前端随机替换为“wild”、“card”或“test”。要在您的实际提示中使用 {} 字符，请将它们转义为：\{ 或 \}。

• 要在文本提示中使用textual inversion concepts/embeddings，请将它们放在models/embeddings目录中，并像这样在 CLIPTextEncode 节点中使用它们（您可以省略 .pt 扩展名）：embedding:embedding_filename.pt

Fedora

要在 Fedora 上获取 Python 3.10： dnf install python3.10

然后你可以：

python3.10 -m ensurepip

这将让您使用：pip3.10 安装所有依赖项。

如何提高生成速度？

确保使用常规加载程序/加载检查点节点来加载检查点。它会根据您的 GPU 自动选择正确的设置。

您可以设置此命令行设置以在某些交叉注意力操作中禁用向上转换为 fp32，这将提高您的速度。请注意，这很可能会在 SD2.x 模型上为您提供黑色图像。如果您使用 xformers，此选项不会执行任何操作。

--dont-upcast-attention

支持和开发渠道

矩阵空间：https://app.element.io/#/room/%23comfyui_space%3Amatrix.org（类似于discord但开源）。

（图片均来自官方主页）