罗罗编程学习记录
本页内容 展开查看

10.10.3 视频生成与编辑

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC

覆盖范围

  • 视频生成模型(Sora/Runway/Pika/可灵)
  • 图生视频与文生视频
  • 视频编辑(换脸、风格迁移、局部修改)
  • 视频生成的工程挑战
  • 视频生成的成本与效率
  • 视频生成的版权与合规

高频题速览

编号 题目 难度 频率
10.10.3-001 视频生成有哪些主流方案? 基础 ★★★★
10.10.3-002 文生视频和图生视频的区别? 基础 ★★★
10.10.3-003 视频生成的显存挑战? 进阶 ★★★
10.10.3-004 视频编辑有哪些技术? 进阶 ★★★
10.10.3-005 视频生成的成本怎么算? 基础 ★★★
10.10.3-006 视频生成质量怎么评估? 进阶 ★★★
10.10.3-007 视频生成的版权问题? 基础 ★★★
10.10.3-008 怎么批量生成视频? 进阶 ★★★

10.10.3-001 视频生成有哪些主流方案?

频率 ★★★★ | 难度 基础

一句话结论

主流方案分三类:闭源 API(Sora、Runway、Pika、可灵)、开源模型(AnimateDiff、CogVideoX、HunyuanVideo)、本地工作流(ComfyUI + AnimateDiff);按场景选 API 快速验证或开源自部署。

概念解释

  • 闭源 API:Sora(OpenAI)、Runway Gen-3、Pika、可灵(快手)、即梦(字节)。
  • 开源模型:AnimateDiff、CogVideoX、HunyuanVideo(腾讯)、Wan 2.1(阿里)。
  • 本地工作流:ComfyUI + AnimateDiff 节点,自己控制。
  • 选择:快速验证用 API,生产或定制用开源。

原理流程

  1. 快速验证:调 Runway/可灵 API,几秒钟出视频。
  2. 生产需求:部署开源模型,成本可控。
  3. 定制需求:ComfyUI 工作流,精细控制。

代码 / 示例

视频生成方案:

方案          优势              劣势
------------  ----------------  ----------------
Runway API    质量好, 易用       贵, 按秒计费
可灵 API      国内快, 性价比高   闭源
Sora          质量最好           贵, 受限
AnimateDiff   开源, 可定制       质量一般, 需自己部署
HunyuanVideo  开源, 质量好       显存要求高
ComfyUI 工作流 完全可控          学习成本高

常见误区

  • 误区:视频生成就是文本生成视频;正解:图生视频(一张图动起来)也很常用,且效果更好控制。
  • 误区:开源视频模型质量不行;正解:HunyuanVideo、Wan 2.1 等开源模型质量已经接近闭源 API。

追问

  • Q:视频生成一次能出多长? A:通常 5~10 秒,长视频需要分段生成再拼接,具体以模型为准。
  • Q:视频生成用什么 API 最方便? A:Runway 和可灵都有 REST API,按秒计费,适合快速集成。

10.10.3-002 文生视频和图生视频的区别?

频率 ★★★ | 难度 基础

一句话结论

文生视频从文本描述生成全新视频,自由度高但可控性差;图生视频从一张起始图片生成动态视频,可控性强(构图和主体确定),是更常用的方式。

概念解释

  • 文生视频:纯文本 → 视频,自由度高但构图随机。
  • 图生视频:起始图片 + 文本 → 视频,构图确定,主体确定。
  • 优势:图生视频可控性强,适合产品展示、人物动画。
  • 劣势:图生视频需要先有一张好图。

原理流程

  1. 文生视频:输入 prompt,模型直接生成视频。
  2. 图生视频:先生成一张好图(用 SD/Flux),再让图动起来。
  3. 实际工作流:图生视频更常用,因为可控。

代码 / 示例

文生视频 vs 图生视频:

文生视频:
  输入: "一只猫在草地上奔跑"
  输出: 5秒视频, 但构图和猫的样子随机

图生视频:
  输入: 一张精美的猫的图片 + "这只猫在奔跑"
  输出: 5秒视频, 猫的样子和构图确定

常见误区

  • 误区:文生视频更高级;正解:图生视频更实用,因为可控性强,是产品视频的主流方式。
  • 误区:图生视频只能动一下;正解:可以生成复杂运动(走路、转头、表情变化),具体以模型为准。

追问

  • Q:怎么做产品展示视频? A:先用 Flux 生成产品图,再用图生视频让产品动起来(旋转、展示细节)。
  • Q:视频首尾帧控制? A:有些模型支持首尾帧控制,从起始图到结束图生成过渡视频。

10.10.3-003 视频生成的显存挑战?

频率 ★★★ | 难度 进阶

一句话结论

视频生成比图像生成显存大得多:视频是多帧图像,每帧都要做扩散计算,时间维度也占显存;10 秒 24fps 的视频需要处理 240 帧,显存是图像生成的数倍到数十倍。

概念解释

  • 帧数:5 秒 24fps = 120 帧。
  • 时间维度:视频模型需要处理帧间关系,显存随帧数增长。
  • 分辨率:视频分辨率(如 720p)也影响显存。
  • 优化:分块生成、梯度检查点、fp8 量化。

原理流程

  1. 计算帧数:秒数 × fps。
  2. 每帧的扩散计算,加上帧间时序建模。
  3. 显存 = 模型 + 所有帧的中间特征。
  4. 优化:分块生成、降低分辨率、减少帧数。

代码 / 示例

视频生成显存估算 (示意):
  5秒 24fps 720p:
    模型权重: ~10-20 GB
    帧间特征: ~20-40 GB (随帧数增长)
    总显存:   ~40-80 GB
    → 需要 A100 80GB 或多卡

常见误区

  • 误区:视频生成和图像生成显存差不多;正解:视频生成显存大很多,因为多帧 + 时序建模。
  • 误区:消费级 GPU 跑不了视频模型;正解:用小模型(AnimateDiff)+ 低分辨率,8GB 也能跑短视频。

追问

  • Q:怎么在 16GB 显存跑视频模型? A:用 fp8 量化、降低分辨率、减少帧数、用 ComfyUI 的显存优化。
  • Q:视频生成为什么慢? A:要处理多帧,每帧都要做扩散计算,时间长是正常的。

10.10.3-004 视频编辑有哪些技术?

频率 ★★★ | 难度 进阶

一句话结论

视频编辑技术:换脸(FaceSwap)、风格迁移(风格化整个视频)、局部修改(inpainting 视频)、超分辨率(提升清晰度)、补帧(提升帧率);各有不同的工具和方案。

概念解释

  • 换脸:DeepFaceLab、FaceFusion 等工具。
  • 风格迁移:用 AnimateDiff 或视频风格化模型。
  • 局部修改:视频 inpainting,修改特定区域。
  • 超分:Real-ESRGAN 等提升分辨率。
  • 补帧:RIFE 等模型提升帧率(24→60fps)。

原理流程

  1. 换脸:检测人脸 → 替换目标脸 → 融合。
  2. 风格迁移:逐帧做风格化,保持帧间一致。
  3. 局部修改:遮罩指定区域,只修改该区域。
  4. 超分:逐帧提升分辨率。

代码 / 示例

视频编辑技术:
  - 换脸: FaceFusion, DeepFaceLab
  - 风格迁移: AnimateDiff 风格化
  - 局部修改: 视频 inpainting (ComfyUI)
  - 超分: Real-ESRGAN
  - 补帧: RIFE (24→60fps)
  - 音频替换: 换嘴型匹配新音频

常见误区

  • 误区:视频编辑和图像编辑一样;正解:视频编辑要保持帧间一致性,比图像编辑难。
  • 误区:换脸完全无痕;正解:换脸在光线、角度不匹配时会有痕迹,需要精细调整。

追问

  • Q:视频风格化怎么保持一致? A:用固定种子、同一模型逐帧处理,或用专门的视频风格化模型。
  • Q:怎么提升老视频清晰度? A:用超分模型(Real-ESRGAN)逐帧处理,再补帧。

10.10.3-005 视频生成的成本怎么算?

频率 ★★★ | 难度 基础

一句话结论

API 视频生成按秒计费:Runway 约 $0.05~0.1/秒,可灵约 ¥0.1~0.3/秒;自部署则是 GPU 成本(A100 每小时约 $2~5),量大时自部署更划算。

概念解释

  • API 计费:按生成秒数,不同分辨率和质量等级不同。
  • 自部署成本:GPU 小时费用 + 模型加载时间 + 生成时间。
  • 平衡点:每天生成量超过一定小时数,自部署比 API 便宜。

原理流程

  1. API:5 秒视频 × $0.08/秒 = $0.4。
  2. 自部署:A100 每小时 $3,生成 5 秒视频约 5 分钟 = $0.25。
  3. 量大时自部署划算,量小时 API 方便。

代码 / 示例

成本对比:
  Runway API: ~$0.08/秒
  5秒视频 = $0.4
  
  可灵 API: ~¥0.2/秒
  5秒视频 = ¥1
  
  自部署 A100:
  每小时 $3, 5秒视频约 5 分钟
  成本 = $3 × 5/60 = $0.25

常见误区

  • 误区:API 视频生成很贵;正解:短的 5 秒视频成本几毛钱到几块钱,量小可以接受。
  • 误区:自部署一定更便宜;正解:自部署有 GPU 利用率问题,量少时 GPU 空闲反而浪费。

追问

  • Q:怎么降低视频生成成本? A:先用低分辨率预览,满意了再出高分辨率;批量生成摊薄 GPU 成本。
  • Q:视频生成 API 有免费额度吗? A:大多数平台有免费试用额度,适合先验证效果。

10.10.3-006 视频生成质量怎么评估?

频率 ★★★ | 难度 进阶

一句话结论

视频质量评估维度:视觉质量(清晰度、伪影)、时序一致性(帧间闪烁、抖动)、语义一致性(是否符合 prompt)、运动合理性(运动是否自然);主观评估为主,客观指标为辅。

概念解释

  • 视觉质量:清晰度、伪影、扭曲。
  • 时序一致性:帧间是否闪烁、抖动。
  • 语义一致性:视频内容是否符合 prompt。
  • 运动合理性:运动是否自然,有无异常。

原理流程

  1. 主观评估:人看视频,打分。
  2. 客观指标:FVD(Fréchet Video Distance)、CLIP 分数。
  3. 实际使用:自己看,感觉好就是好。

代码 / 示例

视频质量评估维度:
  - 清晰度: 有没有模糊、伪影
  - 一致性: 帧间是否闪烁、跳变
  - 语义: 是否符合 prompt 描述
  - 运动: 运动是否自然合理
  - 时长: 时长是否准确

常见误区

  • 误区:视频生成质量用图像指标评估;正解:视频有时序维度,要评估帧间一致性。
  • 误区:客观指标能完全代表质量;正解:主观感受最重要,客观指标只是辅助。

追问

  • Q:怎么减少帧间闪烁? A:用更好的模型、减少运动幅度、增加帧数一致性约束。
  • Q:视频生成常见问题? A:闪烁、变形、运动不自然、物体突然出现消失。

10.10.3-007 视频生成的版权问题?

频率 ★★★ | 难度 基础

一句话结论

视频生成的版权风险:训练数据版权(模型是否侵权)、生成内容版权(AI 生成内容的版权归属)、肖像权(生成真人脸)、商用授权;使用前要确认平台条款和法律风险。

概念解释

  • 训练数据:模型训练用的视频是否有版权。
  • 生成内容:AI 生成的视频,版权归属有争议。
  • 肖像权:生成真人脸可能侵犯肖像权。
  • 商用:不同平台对商用有不同授权。

原理流程

  1. 确认平台条款:生成内容能否商用。
  2. 避免真人脸:用虚拟形象或卡通。
  3. 确认训练数据来源:开源模型的训练数据是否合规。

代码 / 示例

版权风险点:
  - 训练数据: 模型是否用了侵权视频
  - 生成内容: AI 生成内容的版权归属
  - 肖像权: 生成真人脸的风险
  - 商用授权: 不同平台的商用条款

常见误区

  • 误区:AI 生成的内容没有版权问题;正解:AI 生成内容的版权在法律上还有争议,商用要谨慎。
  • 误区:开源模型随便用;正解:开源模型也有 LICENSE,有些限制商用。

追问

  • Q:怎么合规商用? A:用明确允许商用的平台(Runway、可灵等),确认生成内容可以商用。
  • Q:生成名人脸有什么风险? A:侵犯肖像权,不要生成真实名人的脸。

10.10.3-008 怎么批量生成视频?

频率 ★★★ | 难度 进阶

一句话结论

批量视频生成:API 方式(批量提交任务,异步等待)、本地方式(ComfyUI 工作流批量跑);关键是异步处理、进度跟踪、错误重试。

概念解释

  • API 批量:提交多个任务,异步轮询结果。
  • 本地批量:脚本调用 ComfyUI API,逐任务生成。
  • 异步:视频生成慢,不要同步等待。
  • 错误重试:生成失败自动重试。

原理流程

  1. 准备任务列表(prompt、起始图、参数)。
  2. 批量提交到 API。
  3. 异步轮询任务状态。
  4. 完成后下载结果。
  5. 失败的重试。

代码 / 示例

# 批量视频生成伪代码
tasks = [
    {"prompt": "场景1", "image": "img1.png"},
    {"prompt": "场景2", "image": "img2.png"},
    # ...
]

# 批量提交
for task in tasks:
    response = api.create_video(task)
    task_id = response["id"]

# 轮询状态
while pending_tasks:
    for task in pending_tasks:
        status = api.get_status(task["id"])
        if status == "completed":
            download_video(task["id"])
            pending_tasks.remove(task)
        elif status == "failed":
            retry(task)
    sleep(10)

常见误区

  • 误区:批量生成可以并行很多;正解:API 有并发限制,本地 GPU 也有限制,要控制并发数。
  • 误区:视频生成很快;正解:视频生成慢,一个 5 秒视频可能要几分钟,批量生成要等很久。

追问

  • Q:怎么批量管理视频任务? A:用任务队列(Celery/RQ),异步处理,记录状态和进度。
  • Q:生成失败怎么办? A:自动重试 2~3 次,还失败就记录下来人工处理。

待整理清单

  • [ ] 视频生成 API 对比(Runway/Pika/可灵)
  • [ ] ComfyUI 视频工作流
  • [ ] 长视频生成方案
  • [ ] 视频音频生成
  • [ ] 数字人视频生成