10.10.2 ComfyUI 工作流与节点编排
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC
覆盖范围
- ComfyUI 的节点式工作流原理
- 核心节点类型(模型加载、采样、VAE、条件)
- 工作流设计与复用
- 自定义节点开发
- 批量出图与 API 调用
- 工作流版本管理
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.10.2-001 | ComfyUI 的核心优势? | 基础 | ★★★★ |
| 10.10.2-002 | 核心节点有哪些? | 进阶 | ★★★ |
| 10.10.2-003 | 怎么设计工作流? | 进阶 | ★★★★ |
| 10.10.2-004 | 自定义节点怎么开发? | 高级 | ★★★ |
| 10.10.2-005 | 怎么批量出图? | 基础 | ★★★★ |
| 10.10.2-006 | 工作流怎么版本管理? | 基础 | ★★★ |
| 10.10.2-007 | ComfyUI API 怎么调用? | 进阶 | ★★★ |
| 10.10.2-008 | ComfyUI 显存优化技巧? | 进阶 | ★★★ |
10.10.2-001 ComfyUI 的核心优势?
频率 ★★★★ | 难度 基础
一句话结论
ComfyUI 是节点式图像生成工作流工具:用可视化节点连接的方式编排扩散模型流程,比 WebUI 更灵活、更可控、可复现;是专业图像生成工作流的标准工具。
概念解释
- 节点式:每个步骤是一个节点,连线表示数据流向。
- 可控性:每一步都可见可调,不像 WebUI 黑盒。
- 可复现:工作流 JSON 可以保存和分享,完全复现结果。
- 灵活性:支持任意复杂的流程(多模型、多 ControlNet、后处理)。
- 对比 WebUI:WebUI 简单易用,ComfyUI 灵活专业。
原理流程
- 拖入节点:模型加载、提示词、采样、VAE 解码、保存。
- 连线:模型输出 → 采样器,提示词 → 采样器条件。
- 点击运行,节点按顺序执行。
- 工作流保存为 JSON,可复现。
代码 / 示例
最简单的 ComfyUI 工作流:
Load Checkpoint (加载模型)
├─→ CLIP Text Encode (正向提示词) ──→ KSampler
├─→ CLIP Text Encode (负面提示词) ──→ KSampler
└─→ VAE ──→ KSampler
↓
VAE Decode → Save Image
常见误区
- 误区:ComfyUI 比 WebUI 高级;正解:两者定位不同,WebUI 简单快速,ComfyUI 灵活专业。
- 误区:ComfyUI 学习成本高不值得;正解:复杂工作流(多 ControlNet、局部重绘、高清修复)用 ComfyUI 效率更高。
追问
- Q:什么时候用 ComfyUI? A:需要复杂工作流、精确控制、批量自动化时用 ComfyUI。
- Q:ComfyUI 支持 Flux 吗? A:支持,Flux 在 ComfyUI 上有完整的节点支持。
10.10.2-002 核心节点有哪些?
频率 ★★★ | 难度 进阶
一句话结论
核心节点:Load Checkpoint(加载模型)、CLIP Text Encode(提示词编码)、KSampler(采样器)、VAE Decode(VAE 解码)、Save Image(保存图片);掌握这些就能做基础文生图。
概念解释
- Load Checkpoint:加载模型文件(.safetensors)。
- CLIP Text Encode:把文本提示词编码为 embedding。
- KSampler:核心采样器,输入噪声和条件,输出潜空间图像。
- VAE Decode:把潜空间图像解码为像素图。
- Save Image:保存输出图片。
原理流程
- Load Checkpoint 输出:MODEL, CLIP, VAE。
- CLIP Text Encode 用 CLIP 编码提示词。
- KSampler 输入 MODEL + 条件 + 噪声,输出 latent。
- VAE Decode 用 VAE 把 latent 转为图像。
- Save Image 保存。
代码 / 示例
核心节点类型:
模型类: Load Checkpoint, Load LoRA, Load VAE
条件类: CLIP Text Encode, ControlNet Apply
采样类: KSampler, KSampler Advanced
VAE类: VAE Decode, VAE Encode
图像类: Load Image, Save Image, Image Scale
后处理: Image Blur, Image Sharpen
常见误区
- 误区:节点越多越好;正解:简单工作流用少节点,复杂工作流才需要多节点。
- 误区:KSampler 只有一个;正解:可以串联多个 KSampler,做多阶段采样。
追问
- Q:Load Checkpoint 输出三个东西是什么? A:MODEL(扩散模型)、CLIP(文本编码器)、VAE(图像解码器)。
- Q:噪声在哪设置? A:KSampler 节点里设置种子、步数、CFG。
10.10.2-003 怎么设计工作流?
频率 ★★★★ | 难度 进阶
一句话结论
设计原则:从简单到复杂、模块化(重复的部分做成子图)、参数化(可调参数做成输入节点)、记录版本;好的工作流是可复用、可调整的。
概念解释
- 从简单开始:先跑通基础文生图,再逐步加 ControlNet、LoRA、后处理。
- 模块化:把常用组合(如"加载模型+两个提示词")做成子图。
- 参数化:可调参数(种子、CFG、LoRA 权重)暴露为输入。
- 命名规范:节点命名清晰,方便后续调整。
原理流程
- 基础流程:文生图跑通。
- 加功能:加 ControlNet、LoRA、高清修复。
- 模块化:重复的部分封装成子图。
- 参数化:把可调参数暴露出来。
- 保存版本,记录变更。
代码 / 示例
工作流设计步骤:
1. 基础: 文生图 (Load Checkpoint → CLIP → KSampler → VAE Decode → Save)
2. 加 LoRA: Load LoRA 节点, 插在 MODEL 和 CLIP 之间
3. 加 ControlNet: ControlNet Apply 节点, 输入条件图
4. 加高清修复: 第二个 KSampler + Latent Upscale
5. 后处理: Image Scale, Sharpen
6. 保存工作流 JSON
常见误区
- 误区:一次做复杂工作流;正解:从简单开始,逐步加,每加一步测试一次。
- 误区:工作流不需要文档;正解:工作流复杂了,自己都忘了为什么这么连,要加注释。
追问
- Q:怎么做子图? A:框选一组节点 → 右键 → Convert to Group Node,封装成可复用的子图。
- Q:工作流能分享吗? A:导出为 JSON,别人导入就能用,完全复现。
10.10.2-004 自定义节点怎么开发?
频率 ★★★ | 难度 高级
一句话结论
自定义节点用 Python 写:定义输入输出类型、实现处理函数、注册节点类;ComfyUI 启动时自动扫描 custom_nodes/ 目录下的节点。
概念解释
- 节点结构:INPUT_TYPES(输入)、RETURN_TYPES(输出)、FUNCTION(处理函数)、CATEGORY(分类)。
- 注册:写一个类,实现
INPUT_TYPES、RETURN_TYPES、FUNCTION等静态方法。 - 目录:放到
custom_nodes/MyNode/下,重启 ComfyUI 自动加载。
原理流程
- 在
custom_nodes/下建目录。 - 写
__init__.py,定义节点类。 - 实现输入输出和处理函数。
- 重启 ComfyUI,新节点出现在菜单里。
代码 / 示例
# custom_nodes/my_node.py
class MyCustomNode:
@classmethod
def INPUT_TYPES(cls):
return {
"required": {
"image": ("IMAGE",),
"scale": ("FLOAT", {"default": 1.0}),
}
}
RETURN_TYPES = ("IMAGE",)
FUNCTION = "process"
CATEGORY = "My Nodes"
def process(self, image, scale):
# 处理图像
result = image * scale
return (result,)
# 注册
NODE_CLASS_MAPPINGS = {"MyCustomNode": MyCustomNode}
常见误区
- 误区:自定义节点很复杂;正解:简单节点几十行代码,核心是输入输出定义和处理函数。
- 误区:自定义节点影响稳定性;正解:节点隔离,出问题的节点不会影响其他节点。
追问
- Q:怎么调试自定义节点? A:用 ComfyUI 的命令行日志,或在节点函数里 print 调试。
- Q:社区有现成节点吗? A:有,ComfyUI Registry 有大量社区节点,装模型、后处理、视频都有。
10.10.2-005 怎么批量出图?
频率 ★★★★ | 难度 基础
一句话结论
批量出图方式:UI 里设置 batch count,或用 API 调用;工作流参数化后,通过 API 批量提交不同参数,实现自动化批量出图。
概念解释
- UI 批量:在 KSampler 节点设置 batch count,一次生成多张。
- API 批量:通过 ComfyUI API 提交工作流,替换参数,逐张生成。
- 参数化:工作流的种子、提示词、LoRA 权重做成 API 参数。
原理流程
- UI 方式:设置 batch count,一次生成 N 张。
- API 方式:脚本调用 ComfyUI API,循环提交不同参数。
- 结果:自动保存到 output 目录。
代码 / 示例
# ComfyUI API 批量出图
import json, requests, uuid
# 加载工作流模板
with open("workflow.json") as f:
workflow = json.load(f)
# 批量生成
for prompt in prompts_list:
# 修改工作流中的提示词
workflow["6"]["inputs"]["text"] = prompt
# 修改种子
workflow["3"]["inputs"]["seed"] = random.randint(0, 2**32)
# 提交到 ComfyUI
requests.post("http://localhost:8188/prompt", json={
"prompt": workflow,
"client_id": str(uuid.uuid4())
})
常见误区
- 误区:UI batch count 越大越好;正解:batch 太大显存不够,OOM,通常 4~8 张一批。
- 误区:API 批量要等每张完成;正解:可以异步提交多个请求,ComfyUI 自动排队。
追问
- Q:怎么知道生成完成了? A:用 WebSocket 监听完成事件,或轮询历史 API。
- Q:怎么自动下载结果? A:生成完成后,用
/viewAPI 下载图片到本地。
10.10.2-006 工作流怎么版本管理?
频率 ★★★ | 难度 基础
一句话结论
工作流版本管理:保存为 JSON 文件、按项目/日期命名、用 Git 管理、记录变更说明;工作流本身就是 JSON,可以像代码一样版本管理。
概念解释
- 文件保存:工作流导出为 JSON。
- 命名规范:项目名_日期_版本号.json。
- Git 管理:工作流 JSON 提交到 Git。
- 变更记录:每次修改记录改了什么。
原理流程
- 工作流调好后,导出 JSON。
- 命名:
portrait_v1_20260115.json。 - 提交到 Git。
- 修改后,新版本另存,不覆盖旧版本。
代码 / 示例
工作流文件结构:
workflows/
portrait/
portrait_v1.json # 第一版
portrait_v2.json # 加了 ControlNet
portrait_v3.json # 加了高清修复
README.md # 说明每个版本的差异
常见误区
- 误区:工作流不需要版本管理;正解:改着改着就忘了之前怎么调的,版本管理很重要。
- 误区:直接覆盖保存就行;正解:保留旧版本,方便回滚和对比。
追问
- Q:工作流里的模型文件也要管理吗? A:模型文件太大,不放进 Git,记录模型名称和版本号即可。
- Q:怎么分享工作流? A:导出 JSON,发给别人导入即可,但要注意依赖的模型和节点。
10.10.2-007 ComfyUI API 怎么调用?
频率 ★★★ | 难度 进阶
一句话结论
ComfyUI 提供 HTTP API:POST /prompt 提交工作流,GET /history 查结果,GET /view 下载图片;可以用 Python 脚本批量调用,实现自动化。
概念解释
- 提交:POST /prompt,提交工作流 JSON。
- 查询:GET /history/{prompt_id},查生成状态。
- 下载:GET /view?filename=xxx,下载图片。
- WebSocket:实时监听生成进度。
原理流程
- 准备工作流 JSON(API 格式,不是 UI 格式)。
- POST /prompt 提交,得到 prompt_id。
- 轮询 /history 或 WebSocket 监听完成。
- 完成后 GET /view 下载图片。
代码 / 示例
import requests, json
# 提交工作流
response = requests.post("http://localhost:8188/prompt", json={
"prompt": workflow_api_json,
"client_id": "test-client"
})
prompt_id = response.json()["prompt_id"]
# 查历史
history = requests.get(f"http://localhost:8188/history/{prompt_id}").json()
# 下载图片
image_data = requests.get(
"http://localhost:8188/view",
params={"filename": "output.png", "subfolder": "", "type": "output"}
).content
常见误区
- 误区:UI 导出的 JSON 直接能用 API;正解:需要用 API 格式(按节点 ID 索引),UI 格式和 API 格式不同。
- 误区:API 调用和 UI 一样;正解:API 是 JSON 结构,节点 ID 是 key,要理解 API 格式。
追问
- Q:怎么获取 API 格式的工作流? A:ComfyUI 设置里开启"Enable Dev mode Options",然后点"Save (API Format)"。
- Q:怎么实时看进度? A:连接 WebSocket,监听 executing/executed 事件。
10.10.2-008 ComfyUI 显存优化技巧?
频率 ★★★ | 难度 进阶
一句话结论
显存优化:用 fp8 量化模型、启用 xformers、分块 VAE、低显存模式;在小显存 GPU 上也能跑大模型,但速度会慢一些。
概念解释
- fp8 量化:模型权重用 fp8 存储,显存减半。
- xformers:优化注意力计算,减少显存。
- 分块 VAE:VAE 解码时分块处理,减少峰值显存。
- 低显存模式:ComfyUI 启动时加
--lowvram。
原理流程
- 启动时加
--lowvram或--medvram。 - 用 fp8 量化模型。
- 启用 xformers 或 sdpa。
- 高分辨率用分块 VAE。
代码 / 示例
# ComfyUI 启动优化参数
python main.py --lowvram --use-pytorch-cross-attention
# 模型选择:
# - fp8 量化模型: 显存减半
# - 分块 VAE: 高分辨率时减少峰值显存
# - 顺序加载模型: 用完就释放
常见误区
- 误区:优化显存会降低质量;正解:fp8 量化在大多数场景下质量损失可接受。
- 误区:8GB 显存跑不了大模型;正解:加优化参数,8GB 也能跑 Flux fp8。
追问
- Q:--lowvram 影响速度吗? A:会,因为模型频繁加载卸载,速度变慢,但能跑起来。
- Q:怎么看显存用了多少? A:nvidia-smi 或 ComfyUI 的任务管理器里看。
待整理清单
- [ ] 视频生成工作流(AnimateDiff)
- [ ] 局部重绘(Inpainting)工作流
- [ ] 高清修复工作流
- [ ] 自定义节点开发进阶
- [ ] ComfyUI 集群部署