10.10.1 图像生成(SD/Flux、ControlNet、LoRA)
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC
覆盖范围
- 扩散模型基本原理
- Stable Diffusion 与 Flux 的差异
- ControlNet 控制图像生成
- LoRA 微调模型风格
- 采样参数(步数、CFG、种子)
- 图像生成的工程实践
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.10.1-001 | 扩散模型的基本原理? | 进阶 | ★★★★ |
| 10.10.1-002 | SD 和 Flux 有什么区别? | 基础 | ★★★★ |
| 10.10.1-003 | ControlNet 怎么控制图像? | 进阶 | ★★★★ |
| 10.10.1-004 | 图像 LoRA 怎么训练和使用? | 进阶 | ★★★ |
| 10.10.1-005 | 采样参数怎么调? | 基础 | ★★★★ |
| 10.10.1-006 | 图像生成的显存怎么估算? | 进阶 | ★★★ |
| 10.10.1-007 | 提示词工程有什么技巧? | 基础 | ★★★★ |
| 10.10.1-008 | 批量出图怎么工程化? | 进阶 | ★★★ |
10.10.1-001 扩散模型的基本原理?
频率 ★★★★ | 难度 进阶
一句话结论
扩散模型通过两个过程工作:前向过程逐步给图片加噪声直到纯噪声,反向过程从噪声逐步去噪还原出图片;训练时学习去噪过程,生成时从随机噪声开始逐步去噪得到新图片。
概念解释
- 前向扩散:逐步加高斯噪声,T 步后变成纯噪声。
- 反向去噪:训练一个 UNet 模型,学习从噪声中预测原始图片。
- 生成:从随机噪声开始,用训练好的模型逐步去噪 T 步,得到新图片。
- 条件控制:用文本 embedding 控制生成方向,这就是 text-to-image。
原理流程
- 训练:取真实图片,逐步加噪,训练模型预测每一步的噪声。
- 生成:从纯随机噪声开始,用模型逐步去噪。
- 每一步:模型根据当前噪声和文本条件,预测去掉的噪声。
- 重复 T 步,得到清晰图片。
代码 / 示例
扩散模型流程:
训练:
真实图 x0 → 加噪 → x1 → ... → xT (纯噪声)
训练模型 ε(x_t, t, text) 预测噪声
生成:
随机噪声 xT → 去噪一步 → x_{T-1} → ... → x0 (清晰图)
每步: x_{t-1} = 去噪(x_t, t, text_embedding)
常见误区
- 误区:扩散模型是变分自编码器;正解:扩散模型是基于马尔可夫链的概率模型,和 VAE 不同。
- 误区:步数越多越好;正解:步数太多边际收益递减,20~50 步通常足够。
追问
- Q:为什么叫扩散? A:前向过程像烟雾扩散一样,信号逐渐消失在噪声中。
- Q:Stable Diffusion 为什么快? A:它在潜空间(latent space)做扩散,不是在像素空间,计算量大幅减少。
10.10.1-002 SD 和 Flux 有什么区别?
频率 ★★★★ | 难度 基础
一句话结论
Stable Diffusion(SD)是基于潜空间扩散的经典模型,生态成熟,速度快;Flux 是 Black Forest Labs 推出的新一代图像生成模型,质量更高、提示词理解更好,但模型更大、速度更慢。
概念解释
- SD 1.5/SDXL:经典模型,生态成熟,ControlNet/LoRA 丰富,速度快。
- Flux:新一代,用 Transformer 架构,提示词理解更好,质量更高。
- 速度:SD 快(几秒钟一张),Flux 慢(十几秒到几十秒)。
- 生态:SD 生态最丰富,Flux 生态在快速发展。
原理流程
- SD:UNet 架构,潜空间扩散。
- Flux:Transformer(DiT)架构,更高质量。
- 选择:速度优先用 SD,质量优先用 Flux。
代码 / 示例
SD vs Flux 对比:
维度 SDXL Flux
---------- ---------------- ----------------
架构 UNet Transformer (DiT)
质量 好 更好
提示词理解 一般 更好
速度 快 (5-10s) 慢 (15-30s)
显存 6-12 GB 12-24 GB
生态 丰富 快速发展
常见误区
- 误区:Flux 完全替代 SD;正解:SD 生态成熟、速度快,很多场景还是 SD 更实用。
- 误区:Flux 不需要 ControlNet;正解:Flux 也有 ControlNet 和 LoRA,生态在发展。
追问
- Q:什么时候用 SD? A:批量出图、快速预览、需要丰富 LoRA 生态的场景。
- Q:什么时候用 Flux? A:最终出图、高质量要求、复杂提示词的场景。
10.10.1-003 ControlNet 怎么控制图像?
频率 ★★★★ | 难度 进阶
一句话结论
ControlNet 通过额外的条件输入(边缘图、深度图、姿态图等)控制图像生成的结构和布局:在扩散模型基础上增加一个条件分支,让生成的图片遵循指定的结构。
概念解释
- 条件输入:边缘检测(Canny)、深度图、人体姿态、分割图等。
- 原理:复制一份 UNet,用零初始化,让它学习条件输入到特征的映射。
- 控制方式:生成时同时输入文本和条件图,模型既遵循文本又遵循结构。
- 常用:OpenPose(姿态)、Canny(边缘)、Depth(深度)、Lineart(线稿)。
原理流程
- 准备条件图:从参考图提取边缘/深度/姿态。
- 生成时:文本 prompt + 条件图一起输入。
- ControlNet 分支处理条件图,注入到 UNet 主干。
- 生成的图片结构遵循条件图。
代码 / 示例
ControlNet 控制类型:
- Canny: 边缘轮廓, 控制构图
- OpenPose: 人体姿态, 控制人物动作
- Depth: 深度图, 控制空间关系
- Lineart: 线稿上色
- Seg: 分割图, 控制区域布局
- Tile: 分块放大, 保持细节
常见误区
- 误区:ControlNet 只能用一种控制;正解:可以叠加多个 ControlNet,同时控制姿态和深度。
- 误区:ControlNet 会降低质量;正解:ControlNet 只是增加结构约束,适当调整权重不会明显降低质量。
追问
- Q:ControlNet 权重怎么调? A:权重 0~1,太高会僵硬,太低控制不够,通常 0.6~0.8 合适。
- Q:Flux 有 ControlNet 吗? A:有,Flux 的 ControlNet 生态在发展中。
10.10.1-004 图像 LoRA 怎么训练和使用?
频率 ★★★ | 难度 进阶
一句话结论
图像 LoRA 通过少量训练图(10~20 张)微调模型,学习特定风格或人物;训练好的 LoRA 是几十 MB 的小文件,推理时加载即可,不需要重新训练整个模型。
概念解释
- 训练数据:10~20 张特定风格或人物的图片。
- 训练:冻结主干,只训练 LoRA 旁路(和文本 LoRA 类似)。
- 使用:推理时加载 LoRA,用权重调节强度。
- 应用:特定画风、角色、产品形象。
原理流程
- 准备 10~20 张同风格图片。
- 打标签(caption)。
- 用 LoRA 训练脚本微调。
- 推理时加载 LoRA,调整权重(0.6~1.0)。
代码 / 示例
图像 LoRA 训练:
数据: 10-20 张图片
标签: 每张图配描述文本
训练: 冻结主干, 只训练 LoRA 旁路
输出: ~50-200 MB 的 LoRA 文件
使用:
prompt: "a photo of <mycharacter>, ..."
LoRA 权重: 0.8 (0.5 弱, 1.0 强)
常见误区
- 误区:LoRA 训练数据越多越好;正解:10~20 张精心挑选的图就够了,太多反而过拟合。
- 误区:LoRA 加载越多越好;正解:多个 LoRA 叠加会互相干扰,通常 1~2 个最合适。
追问
- Q:LoRA 权重多少合适? A:0.6~0.8 通常自然,1.0 太强可能过拟合。
- Q:怎么训练好的 LoRA? A:数据要一致(同一风格、同一角色)、标签要准确、训练步数要合适。
10.10.1-005 采样参数怎么调?
频率 ★★★★ | 难度 基础
一句话结论
关键参数:采样步数(20~50 步)、CFG Scale(提示词遵循度,通常 5~7)、种子(控制可复现)、分辨率(宽高比);不同模型参数范围不同,需要试调。
概念解释
- 采样步数:去噪步数,越多越精细但越慢,20~50 步通常够。
- CFG Scale:提示词遵循度,太高会过饱和,太低不遵循提示词,5~7 合适。
- 种子:随机数种子,相同种子+相同参数=相同图片。
- 分辨率:生成图片大小,影响显存和细节。
原理流程
- 步数:30 步通常够,Flux 可能需要 20~30 步。
- CFG:SD 用 5~7,Flux 用 3.5 左右。
- 种子:固定种子用于复现,随机种子用于探索。
- 分辨率:按目标用途选,如 1024×1024。
代码 / 示例
常用参数:
SDXL:
步数: 30
CFG: 6.5
采样器: DPM++ 2M Karras
分辨率: 1024x1024
Flux:
步数: 20-30
CFG: 3.5
采样器: Euler
分辨率: 1024x1024
常见误区
- 误区:步数越多越好;正解:超过一定步数后边际收益很小,30 步和 100 步差别不大。
- 误区:CFG 越高越好;正解:CFG 太高会导致画面过饱和、颜色异常,5~7 合适。
追问
- Q:采样器有什么区别? A:不同采样算法收敛速度和质量不同,DPM++ 2M Karras 是常用选择。
- Q:种子有什么用? A:固定种子可以复现结果,也可以用相同种子微调提示词看变化。
10.10.1-006 图像生成的显存怎么估算?
频率 ★★★ | 难度 进阶
一句话结论
显存 = 模型权重 + VAE + 中间激活值;SDXL 约 6~12 GB,Flux 约 12~24 GB;分辨率越高、步数越多,显存越大;量化(fp8/INT8)可以减少显存。
概念解释
- 模型权重:UNet/Transformer + CLIP text encoder + VAE。
- 中间激活:去噪过程中的中间特征,随分辨率和步数增长。
- 分辨率:1024×1024 比 512×514 显存大很多。
- 量化:fp8 量化可以减半显存。
原理流程
- SDXL fp16:约 6~8 GB。
- Flux fp16:约 12~16 GB。
- 加 ControlNet 和 LoRA:增加 1~3 GB。
- 高分辨率(2K):再加 2~4 GB。
代码 / 示例
显存估算:
SDXL 1024x1024 fp16: ~8 GB
SDXL 1024x1024 fp8: ~5 GB
Flux 1024x1024 fp16: ~16 GB
Flux 1024x1024 fp8: ~10 GB
+ ControlNet: +2 GB
+ 2048x2048: +4-6 GB
常见误区
- 误区:模型大小就是显存需求;正解:中间激活值也占显存,分辨率越高激活越多。
- 误区:量化后效果差很多;正解:fp8 量化在大多数场景下效果可接受,显存减半。
追问
- Q:怎么在 8GB 显卡上跑 Flux? A:用 fp8 量化版本,降低分辨率,或用 Cloud 推理 API。
- Q:批量生成怎么优化显存? A:逐张生成(不并行),用完释放,用 xformers 等优化注意力。
10.10.1-007 提示词工程有什么技巧?
频率 ★★★★ | 难度 基础
一句话结论
图像提示词技巧:主体+风格+细节+质量词,用逗号分隔,权重用括号控制;Flux 更理解自然语言,SD 需要关键词堆砌;负面提示词用于排除不想要的元素。
概念解释
- 结构:主体描述 + 风格 + 细节 + 质量修饰。
- 权重:(word:1.2) 增强,(word:0.8) 减弱。
- 负面提示:排除不想要的(模糊、畸形、多余手指)。
- Flux:自然语言描述更好,不需要关键词堆砌。
原理流程
- 主体:a photo of a cat。
- 风格:in Van Gogh style。
- 细节:orange tabby, sitting on windowsill, sunset light。
- 质量:high quality, detailed, 8k。
- 负面:blurry, deformed, ugly。
代码 / 示例
SD 提示词示例:
"a photo of a young woman, red hair, freckles,
(detailed skin:1.2), studio lighting, soft focus,
8k, highly detailed"
负面提示词:
"blurry, deformed hands, extra fingers, ugly, low quality"
Flux 提示词示例:
"A young woman with red hair and freckles,
photographed in a studio with soft lighting,
shallow depth of field, professional portrait photography"
常见误区
- 误区:提示词越长越好;正解:Flux 理解自然语言,太长反而稀释重点;SD 关键词堆砌更有效。
- 误区:负面提示词不重要;正解:负面提示词能有效减少常见缺陷(多指、模糊)。
追问
- Q:怎么写好提示词? A:多试,建立自己的提示词库,记录什么提示词出什么效果。
- Q:提示词太长有什么影响? A:太长会稀释每个词的权重,关键信息不突出,建议控制在 50 词以内。
10.10.1-008 批量出图怎么工程化?
频率 ★★★ | 难度 进阶
一句话结论
批量出图流程:准备提示词列表 → 批量调度 → 逐张生成 → 筛选和后处理 → 版本管理;工程化关键点:控制并发、管理显存、记录参数、自动筛选。
概念解释
- 提示词管理:用表格/CSV 管理批量提示词。
- 批量调度:逐张生成,控制显存。
- 后处理:裁剪、放大、加水印。
- 版本管理:记录每次生成的参数和种子。
原理流程
- 准备提示词列表(CSV 或表格)。
- 逐张加载模型,生成图片。
- 保存图片 + 参数(种子、步数、LoRA 权重)。
- 人工筛选或自动筛选。
- 后处理(裁剪、放大)。
代码 / 示例
# 批量出图伪代码
import pandas as pd
prompts = pd.read_csv("prompts.csv") # prompt, seed, lora_weight
for _, row in prompts.iterrows():
image = pipeline(
prompt=row["prompt"],
seed=row["seed"],
num_inference_steps=30,
lora_weights={"my_lora": row["lora_weight"]}
)
image.save(f"output/{row['id']}.png")
# 记录参数
save_params(row["id"], row)
常见误区
- 误区:批量生成可以并行;正解:GPU 显存有限,并行多张会 OOM,通常逐张生成。
- 误区:批量生成不需要记录参数;正解:记录种子和参数,方便复现和筛选。
追问
- Q:怎么自动筛选好图? A:用 CLIP 评分或人工筛选,自动筛选准确率有限,重要场景还是人工。
- Q:怎么管理大量生成的图片? A:按项目/日期分类,文件名包含 ID 和参数,方便检索。
待整理清单
- [ ] 图像生成 API 调用(Midjourney/DALL·E/SD API)
- [ ] 图生图(img2img)的用法
- [ ] 高清修复(Hires.fix)
- [ ] 面部修复(Face Restore)
- [ ] 图像生成的版权与合规