罗罗编程学习记录
本页内容 展开查看

10.10.2 ComfyUI 工作流与节点编排

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC

覆盖范围

  • ComfyUI 的节点式工作流原理
  • 核心节点类型(模型加载、采样、VAE、条件)
  • 工作流设计与复用
  • 自定义节点开发
  • 批量出图与 API 调用
  • 工作流版本管理

高频题速览

编号 题目 难度 频率
10.10.2-001 ComfyUI 的核心优势? 基础 ★★★★
10.10.2-002 核心节点有哪些? 进阶 ★★★
10.10.2-003 怎么设计工作流? 进阶 ★★★★
10.10.2-004 自定义节点怎么开发? 高级 ★★★
10.10.2-005 怎么批量出图? 基础 ★★★★
10.10.2-006 工作流怎么版本管理? 基础 ★★★
10.10.2-007 ComfyUI API 怎么调用? 进阶 ★★★
10.10.2-008 ComfyUI 显存优化技巧? 进阶 ★★★

10.10.2-001 ComfyUI 的核心优势?

频率 ★★★★ | 难度 基础

一句话结论

ComfyUI 是节点式图像生成工作流工具:用可视化节点连接的方式编排扩散模型流程,比 WebUI 更灵活、更可控、可复现;是专业图像生成工作流的标准工具。

概念解释

  • 节点式:每个步骤是一个节点,连线表示数据流向。
  • 可控性:每一步都可见可调,不像 WebUI 黑盒。
  • 可复现:工作流 JSON 可以保存和分享,完全复现结果。
  • 灵活性:支持任意复杂的流程(多模型、多 ControlNet、后处理)。
  • 对比 WebUI:WebUI 简单易用,ComfyUI 灵活专业。

原理流程

  1. 拖入节点:模型加载、提示词、采样、VAE 解码、保存。
  2. 连线:模型输出 → 采样器,提示词 → 采样器条件。
  3. 点击运行,节点按顺序执行。
  4. 工作流保存为 JSON,可复现。

代码 / 示例

最简单的 ComfyUI 工作流:
  Load Checkpoint (加载模型)
    ├─→ CLIP Text Encode (正向提示词) ──→ KSampler
    ├─→ CLIP Text Encode (负面提示词) ──→ KSampler
    └─→ VAE ──→ KSampler
                    ↓
                VAE Decode → Save Image

常见误区

  • 误区:ComfyUI 比 WebUI 高级;正解:两者定位不同,WebUI 简单快速,ComfyUI 灵活专业。
  • 误区:ComfyUI 学习成本高不值得;正解:复杂工作流(多 ControlNet、局部重绘、高清修复)用 ComfyUI 效率更高。

追问

  • Q:什么时候用 ComfyUI? A:需要复杂工作流、精确控制、批量自动化时用 ComfyUI。
  • Q:ComfyUI 支持 Flux 吗? A:支持,Flux 在 ComfyUI 上有完整的节点支持。

10.10.2-002 核心节点有哪些?

频率 ★★★ | 难度 进阶

一句话结论

核心节点:Load Checkpoint(加载模型)、CLIP Text Encode(提示词编码)、KSampler(采样器)、VAE Decode(VAE 解码)、Save Image(保存图片);掌握这些就能做基础文生图。

概念解释

  • Load Checkpoint:加载模型文件(.safetensors)。
  • CLIP Text Encode:把文本提示词编码为 embedding。
  • KSampler:核心采样器,输入噪声和条件,输出潜空间图像。
  • VAE Decode:把潜空间图像解码为像素图。
  • Save Image:保存输出图片。

原理流程

  1. Load Checkpoint 输出:MODEL, CLIP, VAE。
  2. CLIP Text Encode 用 CLIP 编码提示词。
  3. KSampler 输入 MODEL + 条件 + 噪声,输出 latent。
  4. VAE Decode 用 VAE 把 latent 转为图像。
  5. Save Image 保存。

代码 / 示例

核心节点类型:
  模型类: Load Checkpoint, Load LoRA, Load VAE
  条件类: CLIP Text Encode, ControlNet Apply
  采样类: KSampler, KSampler Advanced
  VAE类: VAE Decode, VAE Encode
  图像类: Load Image, Save Image, Image Scale
  后处理: Image Blur, Image Sharpen

常见误区

  • 误区:节点越多越好;正解:简单工作流用少节点,复杂工作流才需要多节点。
  • 误区:KSampler 只有一个;正解:可以串联多个 KSampler,做多阶段采样。

追问

  • Q:Load Checkpoint 输出三个东西是什么? A:MODEL(扩散模型)、CLIP(文本编码器)、VAE(图像解码器)。
  • Q:噪声在哪设置? A:KSampler 节点里设置种子、步数、CFG。

10.10.2-003 怎么设计工作流?

频率 ★★★★ | 难度 进阶

一句话结论

设计原则:从简单到复杂、模块化(重复的部分做成子图)、参数化(可调参数做成输入节点)、记录版本;好的工作流是可复用、可调整的。

概念解释

  • 从简单开始:先跑通基础文生图,再逐步加 ControlNet、LoRA、后处理。
  • 模块化:把常用组合(如"加载模型+两个提示词")做成子图。
  • 参数化:可调参数(种子、CFG、LoRA 权重)暴露为输入。
  • 命名规范:节点命名清晰,方便后续调整。

原理流程

  1. 基础流程:文生图跑通。
  2. 加功能:加 ControlNet、LoRA、高清修复。
  3. 模块化:重复的部分封装成子图。
  4. 参数化:把可调参数暴露出来。
  5. 保存版本,记录变更。

代码 / 示例

工作流设计步骤:
  1. 基础: 文生图 (Load Checkpoint → CLIP → KSampler → VAE Decode → Save)
  2. 加 LoRA: Load LoRA 节点, 插在 MODEL 和 CLIP 之间
  3. 加 ControlNet: ControlNet Apply 节点, 输入条件图
  4. 加高清修复: 第二个 KSampler + Latent Upscale
  5. 后处理: Image Scale, Sharpen
  6. 保存工作流 JSON

常见误区

  • 误区:一次做复杂工作流;正解:从简单开始,逐步加,每加一步测试一次。
  • 误区:工作流不需要文档;正解:工作流复杂了,自己都忘了为什么这么连,要加注释。

追问

  • Q:怎么做子图? A:框选一组节点 → 右键 → Convert to Group Node,封装成可复用的子图。
  • Q:工作流能分享吗? A:导出为 JSON,别人导入就能用,完全复现。

10.10.2-004 自定义节点怎么开发?

频率 ★★★ | 难度 高级

一句话结论

自定义节点用 Python 写:定义输入输出类型、实现处理函数、注册节点类;ComfyUI 启动时自动扫描 custom_nodes/ 目录下的节点。

概念解释

  • 节点结构:INPUT_TYPES(输入)、RETURN_TYPES(输出)、FUNCTION(处理函数)、CATEGORY(分类)。
  • 注册:写一个类,实现 INPUT_TYPES、RETURN_TYPES、FUNCTION 等静态方法。
  • 目录:放到 custom_nodes/MyNode/ 下,重启 ComfyUI 自动加载。

原理流程

  1. 在 custom_nodes/ 下建目录。
  2. 写 __init__.py,定义节点类。
  3. 实现输入输出和处理函数。
  4. 重启 ComfyUI,新节点出现在菜单里。

代码 / 示例

# custom_nodes/my_node.py
class MyCustomNode:
    @classmethod
    def INPUT_TYPES(cls):
        return {
            "required": {
                "image": ("IMAGE",),
                "scale": ("FLOAT", {"default": 1.0}),
            }
        }
    
    RETURN_TYPES = ("IMAGE",)
    FUNCTION = "process"
    CATEGORY = "My Nodes"
    
    def process(self, image, scale):
        # 处理图像
        result = image * scale
        return (result,)

# 注册
NODE_CLASS_MAPPINGS = {"MyCustomNode": MyCustomNode}

常见误区

  • 误区:自定义节点很复杂;正解:简单节点几十行代码,核心是输入输出定义和处理函数。
  • 误区:自定义节点影响稳定性;正解:节点隔离,出问题的节点不会影响其他节点。

追问

  • Q:怎么调试自定义节点? A:用 ComfyUI 的命令行日志,或在节点函数里 print 调试。
  • Q:社区有现成节点吗? A:有,ComfyUI Registry 有大量社区节点,装模型、后处理、视频都有。

10.10.2-005 怎么批量出图?

频率 ★★★★ | 难度 基础

一句话结论

批量出图方式:UI 里设置 batch count,或用 API 调用;工作流参数化后,通过 API 批量提交不同参数,实现自动化批量出图。

概念解释

  • UI 批量:在 KSampler 节点设置 batch count,一次生成多张。
  • API 批量:通过 ComfyUI API 提交工作流,替换参数,逐张生成。
  • 参数化:工作流的种子、提示词、LoRA 权重做成 API 参数。

原理流程

  1. UI 方式:设置 batch count,一次生成 N 张。
  2. API 方式:脚本调用 ComfyUI API,循环提交不同参数。
  3. 结果:自动保存到 output 目录。

代码 / 示例

# ComfyUI API 批量出图
import json, requests, uuid

# 加载工作流模板
with open("workflow.json") as f:
    workflow = json.load(f)

# 批量生成
for prompt in prompts_list:
    # 修改工作流中的提示词
    workflow["6"]["inputs"]["text"] = prompt
    # 修改种子
    workflow["3"]["inputs"]["seed"] = random.randint(0, 2**32)
    
    # 提交到 ComfyUI
    requests.post("http://localhost:8188/prompt", json={
        "prompt": workflow,
        "client_id": str(uuid.uuid4())
    })

常见误区

  • 误区:UI batch count 越大越好;正解:batch 太大显存不够,OOM,通常 4~8 张一批。
  • 误区:API 批量要等每张完成;正解:可以异步提交多个请求,ComfyUI 自动排队。

追问

  • Q:怎么知道生成完成了? A:用 WebSocket 监听完成事件,或轮询历史 API。
  • Q:怎么自动下载结果? A:生成完成后,用 /view API 下载图片到本地。

10.10.2-006 工作流怎么版本管理?

频率 ★★★ | 难度 基础

一句话结论

工作流版本管理:保存为 JSON 文件、按项目/日期命名、用 Git 管理、记录变更说明;工作流本身就是 JSON,可以像代码一样版本管理。

概念解释

  • 文件保存:工作流导出为 JSON。
  • 命名规范:项目名_日期_版本号.json。
  • Git 管理:工作流 JSON 提交到 Git。
  • 变更记录:每次修改记录改了什么。

原理流程

  1. 工作流调好后,导出 JSON。
  2. 命名:portrait_v1_20260115.json。
  3. 提交到 Git。
  4. 修改后,新版本另存,不覆盖旧版本。

代码 / 示例

工作流文件结构:
  workflows/
    portrait/
      portrait_v1.json      # 第一版
      portrait_v2.json      # 加了 ControlNet
      portrait_v3.json      # 加了高清修复
      README.md             # 说明每个版本的差异

常见误区

  • 误区:工作流不需要版本管理;正解:改着改着就忘了之前怎么调的,版本管理很重要。
  • 误区:直接覆盖保存就行;正解:保留旧版本,方便回滚和对比。

追问

  • Q:工作流里的模型文件也要管理吗? A:模型文件太大,不放进 Git,记录模型名称和版本号即可。
  • Q:怎么分享工作流? A:导出 JSON,发给别人导入即可,但要注意依赖的模型和节点。

10.10.2-007 ComfyUI API 怎么调用?

频率 ★★★ | 难度 进阶

一句话结论

ComfyUI 提供 HTTP API:POST /prompt 提交工作流,GET /history 查结果,GET /view 下载图片;可以用 Python 脚本批量调用,实现自动化。

概念解释

  • 提交:POST /prompt,提交工作流 JSON。
  • 查询:GET /history/{prompt_id},查生成状态。
  • 下载:GET /view?filename=xxx,下载图片。
  • WebSocket:实时监听生成进度。

原理流程

  1. 准备工作流 JSON(API 格式,不是 UI 格式)。
  2. POST /prompt 提交,得到 prompt_id。
  3. 轮询 /history 或 WebSocket 监听完成。
  4. 完成后 GET /view 下载图片。

代码 / 示例

import requests, json

# 提交工作流
response = requests.post("http://localhost:8188/prompt", json={
    "prompt": workflow_api_json,
    "client_id": "test-client"
})
prompt_id = response.json()["prompt_id"]

# 查历史
history = requests.get(f"http://localhost:8188/history/{prompt_id}").json()

# 下载图片
image_data = requests.get(
    "http://localhost:8188/view",
    params={"filename": "output.png", "subfolder": "", "type": "output"}
).content

常见误区

  • 误区:UI 导出的 JSON 直接能用 API;正解:需要用 API 格式(按节点 ID 索引),UI 格式和 API 格式不同。
  • 误区:API 调用和 UI 一样;正解:API 是 JSON 结构,节点 ID 是 key,要理解 API 格式。

追问

  • Q:怎么获取 API 格式的工作流? A:ComfyUI 设置里开启"Enable Dev mode Options",然后点"Save (API Format)"。
  • Q:怎么实时看进度? A:连接 WebSocket,监听 executing/executed 事件。

10.10.2-008 ComfyUI 显存优化技巧?

频率 ★★★ | 难度 进阶

一句话结论

显存优化:用 fp8 量化模型、启用 xformers、分块 VAE、低显存模式;在小显存 GPU 上也能跑大模型,但速度会慢一些。

概念解释

  • fp8 量化:模型权重用 fp8 存储,显存减半。
  • xformers:优化注意力计算,减少显存。
  • 分块 VAE:VAE 解码时分块处理,减少峰值显存。
  • 低显存模式:ComfyUI 启动时加 --lowvram。

原理流程

  1. 启动时加 --lowvram 或 --medvram。
  2. 用 fp8 量化模型。
  3. 启用 xformers 或 sdpa。
  4. 高分辨率用分块 VAE。

代码 / 示例

# ComfyUI 启动优化参数
python main.py --lowvram --use-pytorch-cross-attention

# 模型选择:
# - fp8 量化模型: 显存减半
# - 分块 VAE: 高分辨率时减少峰值显存
# - 顺序加载模型: 用完就释放

常见误区

  • 误区:优化显存会降低质量;正解:fp8 量化在大多数场景下质量损失可接受。
  • 误区:8GB 显存跑不了大模型;正解:加优化参数,8GB 也能跑 Flux fp8。

追问

  • Q:--lowvram 影响速度吗? A:会,因为模型频繁加载卸载,速度变慢,但能跑起来。
  • Q:怎么看显存用了多少? A:nvidia-smi 或 ComfyUI 的任务管理器里看。

待整理清单

  • [ ] 视频生成工作流(AnimateDiff)
  • [ ] 局部重绘(Inpainting)工作流
  • [ ] 高清修复工作流
  • [ ] 自定义节点开发进阶
  • [ ] ComfyUI 集群部署