10.10.3 视频生成与编辑
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC
覆盖范围
- 视频生成模型(Sora/Runway/Pika/可灵)
- 图生视频与文生视频
- 视频编辑(换脸、风格迁移、局部修改)
- 视频生成的工程挑战
- 视频生成的成本与效率
- 视频生成的版权与合规
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.10.3-001 | 视频生成有哪些主流方案? | 基础 | ★★★★ |
| 10.10.3-002 | 文生视频和图生视频的区别? | 基础 | ★★★ |
| 10.10.3-003 | 视频生成的显存挑战? | 进阶 | ★★★ |
| 10.10.3-004 | 视频编辑有哪些技术? | 进阶 | ★★★ |
| 10.10.3-005 | 视频生成的成本怎么算? | 基础 | ★★★ |
| 10.10.3-006 | 视频生成质量怎么评估? | 进阶 | ★★★ |
| 10.10.3-007 | 视频生成的版权问题? | 基础 | ★★★ |
| 10.10.3-008 | 怎么批量生成视频? | 进阶 | ★★★ |
10.10.3-001 视频生成有哪些主流方案?
频率 ★★★★ | 难度 基础
一句话结论
主流方案分三类:闭源 API(Sora、Runway、Pika、可灵)、开源模型(AnimateDiff、CogVideoX、HunyuanVideo)、本地工作流(ComfyUI + AnimateDiff);按场景选 API 快速验证或开源自部署。
概念解释
- 闭源 API:Sora(OpenAI)、Runway Gen-3、Pika、可灵(快手)、即梦(字节)。
- 开源模型:AnimateDiff、CogVideoX、HunyuanVideo(腾讯)、Wan 2.1(阿里)。
- 本地工作流:ComfyUI + AnimateDiff 节点,自己控制。
- 选择:快速验证用 API,生产或定制用开源。
原理流程
- 快速验证:调 Runway/可灵 API,几秒钟出视频。
- 生产需求:部署开源模型,成本可控。
- 定制需求:ComfyUI 工作流,精细控制。
代码 / 示例
视频生成方案:
方案 优势 劣势
------------ ---------------- ----------------
Runway API 质量好, 易用 贵, 按秒计费
可灵 API 国内快, 性价比高 闭源
Sora 质量最好 贵, 受限
AnimateDiff 开源, 可定制 质量一般, 需自己部署
HunyuanVideo 开源, 质量好 显存要求高
ComfyUI 工作流 完全可控 学习成本高
常见误区
- 误区:视频生成就是文本生成视频;正解:图生视频(一张图动起来)也很常用,且效果更好控制。
- 误区:开源视频模型质量不行;正解:HunyuanVideo、Wan 2.1 等开源模型质量已经接近闭源 API。
追问
- Q:视频生成一次能出多长? A:通常 5~10 秒,长视频需要分段生成再拼接,具体以模型为准。
- Q:视频生成用什么 API 最方便? A:Runway 和可灵都有 REST API,按秒计费,适合快速集成。
10.10.3-002 文生视频和图生视频的区别?
频率 ★★★ | 难度 基础
一句话结论
文生视频从文本描述生成全新视频,自由度高但可控性差;图生视频从一张起始图片生成动态视频,可控性强(构图和主体确定),是更常用的方式。
概念解释
- 文生视频:纯文本 → 视频,自由度高但构图随机。
- 图生视频:起始图片 + 文本 → 视频,构图确定,主体确定。
- 优势:图生视频可控性强,适合产品展示、人物动画。
- 劣势:图生视频需要先有一张好图。
原理流程
- 文生视频:输入 prompt,模型直接生成视频。
- 图生视频:先生成一张好图(用 SD/Flux),再让图动起来。
- 实际工作流:图生视频更常用,因为可控。
代码 / 示例
文生视频 vs 图生视频:
文生视频:
输入: "一只猫在草地上奔跑"
输出: 5秒视频, 但构图和猫的样子随机
图生视频:
输入: 一张精美的猫的图片 + "这只猫在奔跑"
输出: 5秒视频, 猫的样子和构图确定
常见误区
- 误区:文生视频更高级;正解:图生视频更实用,因为可控性强,是产品视频的主流方式。
- 误区:图生视频只能动一下;正解:可以生成复杂运动(走路、转头、表情变化),具体以模型为准。
追问
- Q:怎么做产品展示视频? A:先用 Flux 生成产品图,再用图生视频让产品动起来(旋转、展示细节)。
- Q:视频首尾帧控制? A:有些模型支持首尾帧控制,从起始图到结束图生成过渡视频。
10.10.3-003 视频生成的显存挑战?
频率 ★★★ | 难度 进阶
一句话结论
视频生成比图像生成显存大得多:视频是多帧图像,每帧都要做扩散计算,时间维度也占显存;10 秒 24fps 的视频需要处理 240 帧,显存是图像生成的数倍到数十倍。
概念解释
- 帧数:5 秒 24fps = 120 帧。
- 时间维度:视频模型需要处理帧间关系,显存随帧数增长。
- 分辨率:视频分辨率(如 720p)也影响显存。
- 优化:分块生成、梯度检查点、fp8 量化。
原理流程
- 计算帧数:秒数 × fps。
- 每帧的扩散计算,加上帧间时序建模。
- 显存 = 模型 + 所有帧的中间特征。
- 优化:分块生成、降低分辨率、减少帧数。
代码 / 示例
视频生成显存估算 (示意):
5秒 24fps 720p:
模型权重: ~10-20 GB
帧间特征: ~20-40 GB (随帧数增长)
总显存: ~40-80 GB
→ 需要 A100 80GB 或多卡
常见误区
- 误区:视频生成和图像生成显存差不多;正解:视频生成显存大很多,因为多帧 + 时序建模。
- 误区:消费级 GPU 跑不了视频模型;正解:用小模型(AnimateDiff)+ 低分辨率,8GB 也能跑短视频。
追问
- Q:怎么在 16GB 显存跑视频模型? A:用 fp8 量化、降低分辨率、减少帧数、用 ComfyUI 的显存优化。
- Q:视频生成为什么慢? A:要处理多帧,每帧都要做扩散计算,时间长是正常的。
10.10.3-004 视频编辑有哪些技术?
频率 ★★★ | 难度 进阶
一句话结论
视频编辑技术:换脸(FaceSwap)、风格迁移(风格化整个视频)、局部修改(inpainting 视频)、超分辨率(提升清晰度)、补帧(提升帧率);各有不同的工具和方案。
概念解释
- 换脸:DeepFaceLab、FaceFusion 等工具。
- 风格迁移:用 AnimateDiff 或视频风格化模型。
- 局部修改:视频 inpainting,修改特定区域。
- 超分:Real-ESRGAN 等提升分辨率。
- 补帧:RIFE 等模型提升帧率(24→60fps)。
原理流程
- 换脸:检测人脸 → 替换目标脸 → 融合。
- 风格迁移:逐帧做风格化,保持帧间一致。
- 局部修改:遮罩指定区域,只修改该区域。
- 超分:逐帧提升分辨率。
代码 / 示例
视频编辑技术:
- 换脸: FaceFusion, DeepFaceLab
- 风格迁移: AnimateDiff 风格化
- 局部修改: 视频 inpainting (ComfyUI)
- 超分: Real-ESRGAN
- 补帧: RIFE (24→60fps)
- 音频替换: 换嘴型匹配新音频
常见误区
- 误区:视频编辑和图像编辑一样;正解:视频编辑要保持帧间一致性,比图像编辑难。
- 误区:换脸完全无痕;正解:换脸在光线、角度不匹配时会有痕迹,需要精细调整。
追问
- Q:视频风格化怎么保持一致? A:用固定种子、同一模型逐帧处理,或用专门的视频风格化模型。
- Q:怎么提升老视频清晰度? A:用超分模型(Real-ESRGAN)逐帧处理,再补帧。
10.10.3-005 视频生成的成本怎么算?
频率 ★★★ | 难度 基础
一句话结论
API 视频生成按秒计费:Runway 约 $0.05~0.1/秒,可灵约 ¥0.1~0.3/秒;自部署则是 GPU 成本(A100 每小时约 $2~5),量大时自部署更划算。
概念解释
- API 计费:按生成秒数,不同分辨率和质量等级不同。
- 自部署成本:GPU 小时费用 + 模型加载时间 + 生成时间。
- 平衡点:每天生成量超过一定小时数,自部署比 API 便宜。
原理流程
- API:5 秒视频 × $0.08/秒 = $0.4。
- 自部署:A100 每小时 $3,生成 5 秒视频约 5 分钟 = $0.25。
- 量大时自部署划算,量小时 API 方便。
代码 / 示例
成本对比:
Runway API: ~$0.08/秒
5秒视频 = $0.4
可灵 API: ~¥0.2/秒
5秒视频 = ¥1
自部署 A100:
每小时 $3, 5秒视频约 5 分钟
成本 = $3 × 5/60 = $0.25
常见误区
- 误区:API 视频生成很贵;正解:短的 5 秒视频成本几毛钱到几块钱,量小可以接受。
- 误区:自部署一定更便宜;正解:自部署有 GPU 利用率问题,量少时 GPU 空闲反而浪费。
追问
- Q:怎么降低视频生成成本? A:先用低分辨率预览,满意了再出高分辨率;批量生成摊薄 GPU 成本。
- Q:视频生成 API 有免费额度吗? A:大多数平台有免费试用额度,适合先验证效果。
10.10.3-006 视频生成质量怎么评估?
频率 ★★★ | 难度 进阶
一句话结论
视频质量评估维度:视觉质量(清晰度、伪影)、时序一致性(帧间闪烁、抖动)、语义一致性(是否符合 prompt)、运动合理性(运动是否自然);主观评估为主,客观指标为辅。
概念解释
- 视觉质量:清晰度、伪影、扭曲。
- 时序一致性:帧间是否闪烁、抖动。
- 语义一致性:视频内容是否符合 prompt。
- 运动合理性:运动是否自然,有无异常。
原理流程
- 主观评估:人看视频,打分。
- 客观指标:FVD(Fréchet Video Distance)、CLIP 分数。
- 实际使用:自己看,感觉好就是好。
代码 / 示例
视频质量评估维度:
- 清晰度: 有没有模糊、伪影
- 一致性: 帧间是否闪烁、跳变
- 语义: 是否符合 prompt 描述
- 运动: 运动是否自然合理
- 时长: 时长是否准确
常见误区
- 误区:视频生成质量用图像指标评估;正解:视频有时序维度,要评估帧间一致性。
- 误区:客观指标能完全代表质量;正解:主观感受最重要,客观指标只是辅助。
追问
- Q:怎么减少帧间闪烁? A:用更好的模型、减少运动幅度、增加帧数一致性约束。
- Q:视频生成常见问题? A:闪烁、变形、运动不自然、物体突然出现消失。
10.10.3-007 视频生成的版权问题?
频率 ★★★ | 难度 基础
一句话结论
视频生成的版权风险:训练数据版权(模型是否侵权)、生成内容版权(AI 生成内容的版权归属)、肖像权(生成真人脸)、商用授权;使用前要确认平台条款和法律风险。
概念解释
- 训练数据:模型训练用的视频是否有版权。
- 生成内容:AI 生成的视频,版权归属有争议。
- 肖像权:生成真人脸可能侵犯肖像权。
- 商用:不同平台对商用有不同授权。
原理流程
- 确认平台条款:生成内容能否商用。
- 避免真人脸:用虚拟形象或卡通。
- 确认训练数据来源:开源模型的训练数据是否合规。
代码 / 示例
版权风险点:
- 训练数据: 模型是否用了侵权视频
- 生成内容: AI 生成内容的版权归属
- 肖像权: 生成真人脸的风险
- 商用授权: 不同平台的商用条款
常见误区
- 误区:AI 生成的内容没有版权问题;正解:AI 生成内容的版权在法律上还有争议,商用要谨慎。
- 误区:开源模型随便用;正解:开源模型也有 LICENSE,有些限制商用。
追问
- Q:怎么合规商用? A:用明确允许商用的平台(Runway、可灵等),确认生成内容可以商用。
- Q:生成名人脸有什么风险? A:侵犯肖像权,不要生成真实名人的脸。
10.10.3-008 怎么批量生成视频?
频率 ★★★ | 难度 进阶
一句话结论
批量视频生成:API 方式(批量提交任务,异步等待)、本地方式(ComfyUI 工作流批量跑);关键是异步处理、进度跟踪、错误重试。
概念解释
- API 批量:提交多个任务,异步轮询结果。
- 本地批量:脚本调用 ComfyUI API,逐任务生成。
- 异步:视频生成慢,不要同步等待。
- 错误重试:生成失败自动重试。
原理流程
- 准备任务列表(prompt、起始图、参数)。
- 批量提交到 API。
- 异步轮询任务状态。
- 完成后下载结果。
- 失败的重试。
代码 / 示例
# 批量视频生成伪代码
tasks = [
{"prompt": "场景1", "image": "img1.png"},
{"prompt": "场景2", "image": "img2.png"},
# ...
]
# 批量提交
for task in tasks:
response = api.create_video(task)
task_id = response["id"]
# 轮询状态
while pending_tasks:
for task in pending_tasks:
status = api.get_status(task["id"])
if status == "completed":
download_video(task["id"])
pending_tasks.remove(task)
elif status == "failed":
retry(task)
sleep(10)
常见误区
- 误区:批量生成可以并行很多;正解:API 有并发限制,本地 GPU 也有限制,要控制并发数。
- 误区:视频生成很快;正解:视频生成慢,一个 5 秒视频可能要几分钟,批量生成要等很久。
追问
- Q:怎么批量管理视频任务? A:用任务队列(Celery/RQ),异步处理,记录状态和进度。
- Q:生成失败怎么办? A:自动重试 2~3 次,还失败就记录下来人工处理。
待整理清单
- [ ] 视频生成 API 对比(Runway/Pika/可灵)
- [ ] ComfyUI 视频工作流
- [ ] 长视频生成方案
- [ ] 视频音频生成
- [ ] 数字人视频生成