ComfyUI
https://github.com/comfyanonymous/ComfyUI
最强大和模块化的稳定扩散 GUI 和后端。这个界面将让您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散流水线。
特性
- 使用节点/图形/流程图界面实验和创建复杂的稳定扩散工作流,无需编写任何代码。
- 完全支持 SD1.x、SD2.x 和 SDXL
- 异步队列系统
- 许多优化:仅在执行之间更改的工作流部分重新执行。
- 命令行选项:–lowvram,可在显存小于 3GB 的 GPU 上工作(在显存较低的 GPU 上自动启用)
- 即使没有 GPU,也可以使用 –cpu 进行工作(速度较慢)
- 可以加载 ckpt、safetensors 和 diffusers 模型/检查点。独立的 VAEs 和
CLIP 模型。 - 嵌入/文本反演
- Loras(常规、locon 和 loha)
- 超网络
- 从生成的 PNG 文件中加载完整工作流程(带种子)。
- 将工作流程保存/加载为 Json 文件。
- 节点界面可用于创建复杂的工作流程,例如高分辨率修复或更高级的工作流程。
- 区域组合
- 使用常规和修复模型进行修补。
- ControlNet 和 T2I-Adapter
- 放大模型(ESRGAN、ESRGAN 变体、SwinIR、Swin2SR 等)
- unCLIP 模型
- GLIGEN
- 模型合并
- 使用 TAESD 进行潜在预览
- 启动速度非常快。
- 完全离线工作:永远不会下载任何内容。
- 配置文件用于设置模型的搜索路径。
安装
Windows
在发布页面上有一个适用于 Windows 的独立便携式版本,适用于在
Nvidia GPU 上运行或仅在 CPU 上运行。
只需下载、使用 7-Zip 解压缩并运行。确保将稳定扩散的检查点/模型(巨大的 ckpt/safetensors 文件)放在:ComfyUI\\models\\checkpoints
中。
请参阅配置文件以设置模型的搜索路径。在独立的 Windows 版本中,您可以在 ComfyUI 目录中找到此文件。将此文件重命名为
extra_model_paths.yaml,并使用您喜欢的文本编辑器进行编辑。
Jupyter Notebook
要在 paperspace、kaggle 或 colab 等服务上运行,请使用我的 Jupyter Notebook。
手动安装(Windows、Linux)
克隆此存储库。
将您的 SD 检查点(巨大的 ckpt/safetensors 文件)放在:models/checkpoints 中
将您的 VAE 放在:models/vae 中
注意:pytorch 尚不支持 python 3.12,因此请确保您的 python 版本为 3.11 或更早版本。
AMD GPU(仅限 Linux)
如果您尚未安装 rocm 和 pytorch,则 AMD 用户可以使用 pip 安装它,这是安装稳定版本的命令:
pip install torch torchvision torchaudio –index-url
https://download.pytorch.org/whl/rocm5.6
这是安装具有 ROCm 5.7 的夜间版本的命令,可能具有一些性能改进:
pip install –pre torch torchvision torchaudio
–index-url https://download.pytorch.org/whl/nightly/rocm5.7
NVIDIA
NVIDIA 用户应使用以下命令安装
pytorch:
pip install torch torchvision torchaudio
–extra-index-url https://download.pytorch.org/whl/cu121
模型和常用插件
链接:https://pan.baidu.com/s/1PXGtY_m06tHsQ3yr8lSaZg?pwd=mlab
故障排除
如果出现“Torch not compiled with CUDA enabled”错误,请使用以下命令卸载 torch:
pip uninstall torch
然后使用上述命令重新安装。
依赖项
通过在 ComfyUI 文件夹中打开终端并执行以下命令来安装依赖项:
pip install -r requirements.txt
安装完成后,您应该已经安装了所有依赖项,可以继续运行 ComfyUI。
其他
Intel Arc
Apple Mac Silicon
您可以在任何最新版本的 macOS 上安装 ComfyUI。
安装 pytorch nightly。有关说明,请阅读 Apple
Developer 指南中的在 Mac 上加速的
PyTorch 训练(确保安装最新的 pytorch nightly)。
按照 Windows 和 Linux 的 ComfyUI 手动安装说明进行操作。
安装 ComfyUI 的依赖项。如果您已经安装了其他稳定扩散 UI,您可能可以重用依赖项。
运行命令 python main.py –force-fp16 启动 ComfyUI。请注意,只有安装了最新的 pytorch nightly,–force-fp16 才能正常工作。
注意:请记得根据 ComfyUI 手动安装中所讨论的,将您的模型、VAE、LoRAs 等添加到相应的 Comfy 文件夹中。
DirectML(Windows
上的 AMD 显卡)
pip install torch-directml
然后可以使用以下命令启动 ComfyUI:python
main.py –directml
我已经安装了另一个稳定扩散 UI,我真的需要安装所有这些依赖项吗?
不需要。如果您已经安装并使用了另一个 UI,并且具有自己的
python 虚拟环境,您可以使用该虚拟环境来运行 ComfyUI。您可以打开您喜欢的终端并激活它:
source path_to_other_sd_gui/venv/bin/activate
或者在 Windows 上:
- Powershell:
path_to_other_sd_gui\\venv\\Scripts\\Activate.ps1 - cmd.exe:
path_to_other_sd_gui\\venv\\Scripts\\activate.bat - 然后,您可以使用该终端来运行 ComfyUI,而无需安装任何依赖项。请注意,根据 SD UI 的不同,venv 文件夹的名称可能会有所不同。
运行
python main.py
对于不受 ROCm 官方支持的 AMD 显卡,请尝试使用以下命令运行:
对于 6700、6600 和可能其他 RDNA2 或更早版本:HSA_OVERRIDE_GFX_VERSION=10.3.0
python main.py
对于 AMD 7600 和可能其他 RDNA3 显卡:HSA_OVERRIDE_GFX_VERSION=11.0.0 python main.py
注意事项
- 只有具有所有正确输入的输出的图形部分才会被执行。
- 仅会执行从每次执行到下一次执行发生更改的图形部分。如果提交相同的图形两次,只会执行第一个图形。如果您更改了图形的最后部分,只会执行您更改的部分以及依赖于它的部分。
- 在网页上拖动生成的
png 或加载它将给您包括用于创建它的种子在内的完整工作流程。 - 您可以使用 () 来更改单词或短语的强调,例如:(good code:1.2) 或 (bad code:0.8)。() 的默认强调值为 1.1。要在实际提示中使用 () 字符,请使用 ( 或
\\ 进行转义。 - 您可以使用
{day|night} 进行通配符/动态提示。使用此语法,\”{wild|card|test}\” 将在每次排队提示时由前端随机替换为 \”wild\”、\”card\” 或 \”test\”。要在实际提示中使用 {} 字符,请使用 { 或 \\ 进行转义。 - 动态提示还支持 C 风格的注释,例如 // comment 或 /* comment */。
- 要在文本提示中使用文本反演概念/嵌入,请将它们放在 models/embeddings 目录中,并在 CLIPTextEncode 节点中像这样使用它们(您可以省略 .pt 扩展名):
embedding:embedding_filename.pt
如何提高生成速度?
确保使用 regular loaders/Load Checkpoint 节点加载检查点。它会根据您的 GPU 自动选择正确的设置。
您可以设置此命令行设置以禁用某些交叉注意力操作中的上升到 fp32,从而提高速度。请注意,这很可能会导致 SD2.x 模型生成黑色图像。如果您使用 xformers,则此选项不起作用。
–dont-upcast-attention
如何显示高质量的预览?
使用 –preview-method auto 启用预览。
默认安装包含一个分辨率较低的快速潜在预览方法。要启用使用 TAESD 的高质量预览,请下载 taesd_decoder.pth(用于 SD1.x 和 SD2.x)和 taesdxl_decoder.pth(用于 SDXL)模型,并将它们放置在 models/vae_approx 文件夹中。安装完成后,重新启动 ComfyUI 以启用高质量预览。