罗罗编程学习记录
本页内容 展开查看

10.10.1 图像生成(SD/Flux、ControlNet、LoRA)

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC

覆盖范围

  • 扩散模型基本原理
  • Stable Diffusion 与 Flux 的差异
  • ControlNet 控制图像生成
  • LoRA 微调模型风格
  • 采样参数(步数、CFG、种子)
  • 图像生成的工程实践

高频题速览

编号 题目 难度 频率
10.10.1-001 扩散模型的基本原理? 进阶 ★★★★
10.10.1-002 SD 和 Flux 有什么区别? 基础 ★★★★
10.10.1-003 ControlNet 怎么控制图像? 进阶 ★★★★
10.10.1-004 图像 LoRA 怎么训练和使用? 进阶 ★★★
10.10.1-005 采样参数怎么调? 基础 ★★★★
10.10.1-006 图像生成的显存怎么估算? 进阶 ★★★
10.10.1-007 提示词工程有什么技巧? 基础 ★★★★
10.10.1-008 批量出图怎么工程化? 进阶 ★★★

10.10.1-001 扩散模型的基本原理?

频率 ★★★★ | 难度 进阶

一句话结论

扩散模型通过两个过程工作:前向过程逐步给图片加噪声直到纯噪声,反向过程从噪声逐步去噪还原出图片;训练时学习去噪过程,生成时从随机噪声开始逐步去噪得到新图片。

概念解释

  • 前向扩散:逐步加高斯噪声,T 步后变成纯噪声。
  • 反向去噪:训练一个 UNet 模型,学习从噪声中预测原始图片。
  • 生成:从随机噪声开始,用训练好的模型逐步去噪 T 步,得到新图片。
  • 条件控制:用文本 embedding 控制生成方向,这就是 text-to-image。

原理流程

  1. 训练:取真实图片,逐步加噪,训练模型预测每一步的噪声。
  2. 生成:从纯随机噪声开始,用模型逐步去噪。
  3. 每一步:模型根据当前噪声和文本条件,预测去掉的噪声。
  4. 重复 T 步,得到清晰图片。

代码 / 示例

扩散模型流程:
  训练:
    真实图 x0 → 加噪 → x1 → ... → xT (纯噪声)
    训练模型 ε(x_t, t, text) 预测噪声

  生成:
    随机噪声 xT → 去噪一步 → x_{T-1} → ... → x0 (清晰图)
    每步: x_{t-1} = 去噪(x_t, t, text_embedding)

常见误区

  • 误区:扩散模型是变分自编码器;正解:扩散模型是基于马尔可夫链的概率模型,和 VAE 不同。
  • 误区:步数越多越好;正解:步数太多边际收益递减,20~50 步通常足够。

追问

  • Q:为什么叫扩散? A:前向过程像烟雾扩散一样,信号逐渐消失在噪声中。
  • Q:Stable Diffusion 为什么快? A:它在潜空间(latent space)做扩散,不是在像素空间,计算量大幅减少。

10.10.1-002 SD 和 Flux 有什么区别?

频率 ★★★★ | 难度 基础

一句话结论

Stable Diffusion(SD)是基于潜空间扩散的经典模型,生态成熟,速度快;Flux 是 Black Forest Labs 推出的新一代图像生成模型,质量更高、提示词理解更好,但模型更大、速度更慢。

概念解释

  • SD 1.5/SDXL:经典模型,生态成熟,ControlNet/LoRA 丰富,速度快。
  • Flux:新一代,用 Transformer 架构,提示词理解更好,质量更高。
  • 速度:SD 快(几秒钟一张),Flux 慢(十几秒到几十秒)。
  • 生态:SD 生态最丰富,Flux 生态在快速发展。

原理流程

  1. SD:UNet 架构,潜空间扩散。
  2. Flux:Transformer(DiT)架构,更高质量。
  3. 选择:速度优先用 SD,质量优先用 Flux。

代码 / 示例

SD vs Flux 对比:

维度        SDXL              Flux
----------  ----------------  ----------------
架构        UNet              Transformer (DiT)
质量        好                更好
提示词理解  一般              更好
速度        快 (5-10s)        慢 (15-30s)
显存        6-12 GB           12-24 GB
生态        丰富              快速发展

常见误区

  • 误区:Flux 完全替代 SD;正解:SD 生态成熟、速度快,很多场景还是 SD 更实用。
  • 误区:Flux 不需要 ControlNet;正解:Flux 也有 ControlNet 和 LoRA,生态在发展。

追问

  • Q:什么时候用 SD? A:批量出图、快速预览、需要丰富 LoRA 生态的场景。
  • Q:什么时候用 Flux? A:最终出图、高质量要求、复杂提示词的场景。

10.10.1-003 ControlNet 怎么控制图像?

频率 ★★★★ | 难度 进阶

一句话结论

ControlNet 通过额外的条件输入(边缘图、深度图、姿态图等)控制图像生成的结构和布局:在扩散模型基础上增加一个条件分支,让生成的图片遵循指定的结构。

概念解释

  • 条件输入:边缘检测(Canny)、深度图、人体姿态、分割图等。
  • 原理:复制一份 UNet,用零初始化,让它学习条件输入到特征的映射。
  • 控制方式:生成时同时输入文本和条件图,模型既遵循文本又遵循结构。
  • 常用:OpenPose(姿态)、Canny(边缘)、Depth(深度)、Lineart(线稿)。

原理流程

  1. 准备条件图:从参考图提取边缘/深度/姿态。
  2. 生成时:文本 prompt + 条件图一起输入。
  3. ControlNet 分支处理条件图,注入到 UNet 主干。
  4. 生成的图片结构遵循条件图。

代码 / 示例

ControlNet 控制类型:
  - Canny: 边缘轮廓, 控制构图
  - OpenPose: 人体姿态, 控制人物动作
  - Depth: 深度图, 控制空间关系
  - Lineart: 线稿上色
  - Seg: 分割图, 控制区域布局
  - Tile: 分块放大, 保持细节

常见误区

  • 误区:ControlNet 只能用一种控制;正解:可以叠加多个 ControlNet,同时控制姿态和深度。
  • 误区:ControlNet 会降低质量;正解:ControlNet 只是增加结构约束,适当调整权重不会明显降低质量。

追问

  • Q:ControlNet 权重怎么调? A:权重 0~1,太高会僵硬,太低控制不够,通常 0.6~0.8 合适。
  • Q:Flux 有 ControlNet 吗? A:有,Flux 的 ControlNet 生态在发展中。

10.10.1-004 图像 LoRA 怎么训练和使用?

频率 ★★★ | 难度 进阶

一句话结论

图像 LoRA 通过少量训练图(10~20 张)微调模型,学习特定风格或人物;训练好的 LoRA 是几十 MB 的小文件,推理时加载即可,不需要重新训练整个模型。

概念解释

  • 训练数据:10~20 张特定风格或人物的图片。
  • 训练:冻结主干,只训练 LoRA 旁路(和文本 LoRA 类似)。
  • 使用:推理时加载 LoRA,用权重调节强度。
  • 应用:特定画风、角色、产品形象。

原理流程

  1. 准备 10~20 张同风格图片。
  2. 打标签(caption)。
  3. 用 LoRA 训练脚本微调。
  4. 推理时加载 LoRA,调整权重(0.6~1.0)。

代码 / 示例

图像 LoRA 训练:
  数据: 10-20 张图片
  标签: 每张图配描述文本
  训练: 冻结主干, 只训练 LoRA 旁路
  输出: ~50-200 MB 的 LoRA 文件

使用:
  prompt: "a photo of <mycharacter>, ..."
  LoRA 权重: 0.8 (0.5 弱, 1.0 强)

常见误区

  • 误区:LoRA 训练数据越多越好;正解:10~20 张精心挑选的图就够了,太多反而过拟合。
  • 误区:LoRA 加载越多越好;正解:多个 LoRA 叠加会互相干扰,通常 1~2 个最合适。

追问

  • Q:LoRA 权重多少合适? A:0.6~0.8 通常自然,1.0 太强可能过拟合。
  • Q:怎么训练好的 LoRA? A:数据要一致(同一风格、同一角色)、标签要准确、训练步数要合适。

10.10.1-005 采样参数怎么调?

频率 ★★★★ | 难度 基础

一句话结论

关键参数:采样步数(20~50 步)、CFG Scale(提示词遵循度,通常 5~7)、种子(控制可复现)、分辨率(宽高比);不同模型参数范围不同,需要试调。

概念解释

  • 采样步数:去噪步数,越多越精细但越慢,20~50 步通常够。
  • CFG Scale:提示词遵循度,太高会过饱和,太低不遵循提示词,5~7 合适。
  • 种子:随机数种子,相同种子+相同参数=相同图片。
  • 分辨率:生成图片大小,影响显存和细节。

原理流程

  1. 步数:30 步通常够,Flux 可能需要 20~30 步。
  2. CFG:SD 用 5~7,Flux 用 3.5 左右。
  3. 种子:固定种子用于复现,随机种子用于探索。
  4. 分辨率:按目标用途选,如 1024×1024。

代码 / 示例

常用参数:
  SDXL:
    步数: 30
    CFG: 6.5
    采样器: DPM++ 2M Karras
    分辨率: 1024x1024

  Flux:
    步数: 20-30
    CFG: 3.5
    采样器: Euler
    分辨率: 1024x1024

常见误区

  • 误区:步数越多越好;正解:超过一定步数后边际收益很小,30 步和 100 步差别不大。
  • 误区:CFG 越高越好;正解:CFG 太高会导致画面过饱和、颜色异常,5~7 合适。

追问

  • Q:采样器有什么区别? A:不同采样算法收敛速度和质量不同,DPM++ 2M Karras 是常用选择。
  • Q:种子有什么用? A:固定种子可以复现结果,也可以用相同种子微调提示词看变化。

10.10.1-006 图像生成的显存怎么估算?

频率 ★★★ | 难度 进阶

一句话结论

显存 = 模型权重 + VAE + 中间激活值;SDXL 约 6~12 GB,Flux 约 12~24 GB;分辨率越高、步数越多,显存越大;量化(fp8/INT8)可以减少显存。

概念解释

  • 模型权重:UNet/Transformer + CLIP text encoder + VAE。
  • 中间激活:去噪过程中的中间特征,随分辨率和步数增长。
  • 分辨率:1024×1024 比 512×514 显存大很多。
  • 量化:fp8 量化可以减半显存。

原理流程

  1. SDXL fp16:约 6~8 GB。
  2. Flux fp16:约 12~16 GB。
  3. 加 ControlNet 和 LoRA:增加 1~3 GB。
  4. 高分辨率(2K):再加 2~4 GB。

代码 / 示例

显存估算:
  SDXL 1024x1024 fp16: ~8 GB
  SDXL 1024x1024 fp8:  ~5 GB
  Flux 1024x1024 fp16: ~16 GB
  Flux 1024x1024 fp8:  ~10 GB
  + ControlNet:        +2 GB
  + 2048x2048:         +4-6 GB

常见误区

  • 误区:模型大小就是显存需求;正解:中间激活值也占显存,分辨率越高激活越多。
  • 误区:量化后效果差很多;正解:fp8 量化在大多数场景下效果可接受,显存减半。

追问

  • Q:怎么在 8GB 显卡上跑 Flux? A:用 fp8 量化版本,降低分辨率,或用 Cloud 推理 API。
  • Q:批量生成怎么优化显存? A:逐张生成(不并行),用完释放,用 xformers 等优化注意力。

10.10.1-007 提示词工程有什么技巧?

频率 ★★★★ | 难度 基础

一句话结论

图像提示词技巧:主体+风格+细节+质量词,用逗号分隔,权重用括号控制;Flux 更理解自然语言,SD 需要关键词堆砌;负面提示词用于排除不想要的元素。

概念解释

  • 结构:主体描述 + 风格 + 细节 + 质量修饰。
  • 权重:(word:1.2) 增强,(word:0.8) 减弱。
  • 负面提示:排除不想要的(模糊、畸形、多余手指)。
  • Flux:自然语言描述更好,不需要关键词堆砌。

原理流程

  1. 主体:a photo of a cat。
  2. 风格:in Van Gogh style。
  3. 细节:orange tabby, sitting on windowsill, sunset light。
  4. 质量:high quality, detailed, 8k。
  5. 负面:blurry, deformed, ugly。

代码 / 示例

SD 提示词示例:
  "a photo of a young woman, red hair, freckles, 
   (detailed skin:1.2), studio lighting, soft focus,
   8k, highly detailed"
  
负面提示词:
  "blurry, deformed hands, extra fingers, ugly, low quality"

Flux 提示词示例:
  "A young woman with red hair and freckles, 
   photographed in a studio with soft lighting, 
   shallow depth of field, professional portrait photography"

常见误区

  • 误区:提示词越长越好;正解:Flux 理解自然语言,太长反而稀释重点;SD 关键词堆砌更有效。
  • 误区:负面提示词不重要;正解:负面提示词能有效减少常见缺陷(多指、模糊)。

追问

  • Q:怎么写好提示词? A:多试,建立自己的提示词库,记录什么提示词出什么效果。
  • Q:提示词太长有什么影响? A:太长会稀释每个词的权重,关键信息不突出,建议控制在 50 词以内。

10.10.1-008 批量出图怎么工程化?

频率 ★★★ | 难度 进阶

一句话结论

批量出图流程:准备提示词列表 → 批量调度 → 逐张生成 → 筛选和后处理 → 版本管理;工程化关键点:控制并发、管理显存、记录参数、自动筛选。

概念解释

  • 提示词管理:用表格/CSV 管理批量提示词。
  • 批量调度:逐张生成,控制显存。
  • 后处理:裁剪、放大、加水印。
  • 版本管理:记录每次生成的参数和种子。

原理流程

  1. 准备提示词列表(CSV 或表格)。
  2. 逐张加载模型,生成图片。
  3. 保存图片 + 参数(种子、步数、LoRA 权重)。
  4. 人工筛选或自动筛选。
  5. 后处理(裁剪、放大)。

代码 / 示例

# 批量出图伪代码
import pandas as pd

prompts = pd.read_csv("prompts.csv")  # prompt, seed, lora_weight

for _, row in prompts.iterrows():
    image = pipeline(
        prompt=row["prompt"],
        seed=row["seed"],
        num_inference_steps=30,
        lora_weights={"my_lora": row["lora_weight"]}
    )
    image.save(f"output/{row['id']}.png")
    # 记录参数
    save_params(row["id"], row)

常见误区

  • 误区:批量生成可以并行;正解:GPU 显存有限,并行多张会 OOM,通常逐张生成。
  • 误区:批量生成不需要记录参数;正解:记录种子和参数,方便复现和筛选。

追问

  • Q:怎么自动筛选好图? A:用 CLIP 评分或人工筛选,自动筛选准确率有限,重要场景还是人工。
  • Q:怎么管理大量生成的图片? A:按项目/日期分类,文件名包含 ID 和参数,方便检索。

待整理清单

  • [ ] 图像生成 API 调用(Midjourney/DALL·E/SD API)
  • [ ] 图生图(img2img)的用法
  • [ ] 高清修复(Hires.fix)
  • [ ] 面部修复(Face Restore)
  • [ ] 图像生成的版权与合规