07.8.1 采集与编码(H.264/H.265、AAC、码率策略)
所属:全栈开发面试题库 / 07 端侧与桌面开发 / 07.8 音视频与直播
覆盖范围
- 视频采集:摄像头分辨率、帧率、YUV 格式
- H.264/AVC 编码:Profile/Level、I/P/B 帧、GOP
- H.265/HEVC 编码:与 H.264 的差异、压缩率
- AAC 音频编码:采样率、声道、码率
- 码率控制:CBR/VBR/ABR、码率与画质的平衡
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 07.8.1-001 | H.264 和 H.265 有什么区别? | 基础 | ★★★★★ |
| 07.8.1-002 | I 帧、P 帧、B 帧是什么? | 基础 | ★★★★★ |
| 07.8.1-003 | GOP 是什么?怎么设置? | 基础 | ★★★★ |
| 07.8.1-004 | CBR 和 VBR 有什么区别? | 基础 | ★★★★ |
| 07.8.1-005 | AAC 编码的常用参数? | 基础 | ★★★ |
| 07.8.1-006 | 摄像头采集的 YUV 格式是什么? | 进阶 | ★★★ |
| 07.8.1-007 | 硬件编码和软件编码的区别? | 进阶 | ★★★ |
| 07.8.1-008 | Profile 和 Level 是什么? | 进阶 | ★★★ |
| 07.8.1-009 | 码率和分辨率、画质的关系? | 基础 | ★★★ |
| 07.8.1-010 | 直播编码为什么常用低延迟设置? | 进阶 | ★★★ |
07.8.1-001 H.264 和 H.265 有什么区别?
频率 ★★★★★ | 难度 基础
一句话结论
H.265(HEVC)比 H.264(AVC)压缩率提高约 30-50%,同样画质下码率更低;代价是编码复杂度更高、硬件解码支持需要更老的设备;直播常用 H.264(兼容性好),点播和存储常用 H.265(省带宽和存储)。
概念解释
- H.264:2003 年标准,兼容性最好,所有设备都支持硬解。
- H.265:2013 年标准,更大的编码单元(CTU)、更复杂的预测模式,压缩率更高。
- 选型:直播用 H.264(兼容性优先),点播/录像用 H.265(省带宽)。
常见误区
- 误区:H.265 一定比 H.264 清晰;正解:同码率下 H.265 画质更好,同画质下 H.265 码率更低。
- 误区:H.265 所有设备都能播;正解:老设备(iPhone 8 以前、安卓 5.0 以前)没有硬解 H.265。
追问 / 延伸
- AV1 是什么?新一代开源编码,压缩率比 H.265 更好,但硬件支持还不普及。
- 为什么直播不用 H.265?兼容性和延迟(编码复杂度高)。
07.8.1-002 I 帧、P 帧、B 帧是什么?
频率 ★★★★★ | 难度 基础
一句话结论
I 帧(关键帧)是完整的画面,不需要参考其他帧;P 帧(前向预测帧)参考前面的 I 帧或 P 帧;B 帧(双向预测帧)参考前后的帧,压缩率最高但延迟也最大;直播常用 I 帧 + P 帧(不用 B 帧减延迟)。
概念解释
- I 帧:完整图像,数据量最大,是解码的起点。
- P 帧:只记录与前面帧的差异,数据量小。
- B 帧:参考前后帧,压缩率最高,但需要缓存前后帧,增加延迟。
- 直播场景:不用 B 帧,因为 B 帧等待后面的帧才能解码,增加端到端延迟。
常见误区
- 误区:B 帧越多越好;正解:B 帧增加延迟,直播不用。
- 误区:I 帧越频繁越好;正解:I 帧数据量大,频繁 I 帧会增加码率和带宽。
追问 / 延伸
- 随机播放从哪里开始?必须从 I 帧开始,所以拖动进度条要等下一个 I 帧。
- 首屏秒开和 I 帧的关系?播放器需要收到 I 帧才能开始渲染,所以首帧时间取决于下一个 I 帧什么时候到。
07.8.1-003 GOP 是什么?怎么设置?
频率 ★★★★ | 难度 基础
一句话结论
GOP(Group of Pictures)是两个 I 帧之间的距离,比如 GOP=60 表示每 60 帧一个 I 帧(30fps 下 2 秒一个 I 帧);直播通常 GOP=1-2 秒(方便拖动和快速起播),点播可以 GOP=10 秒以上(省带宽)。
概念解释
- GOP 长度:I 帧间隔,单位是帧数。
- 直播 GOP 短:用户进入直播间能快速看到画面(不用等太久的 I 帧)。
- 点播 GOP 长:减少 I 帧数量,降低平均码率。
常见误区
- 误区:GOP 越长压缩率越高;正解:GOP 长了 P 帧积累误差,画质下降。
- 误区:直播 GOP 越长越好;正解:GOP 太长新用户进直播间要等很久才能看到画面。
追问 / 延伸
- GOP 和关键帧的关系?一个 GOP 以一个 I 帧开始。
- 如何实现快速起播?缩短 GOP,或者在推流时在关键帧间隔处允许新播放器加入。
07.8.1-004 CBR 和 VBR 有什么区别?
频率 ★★★★ | 难度 基础
一句话结论
CBR(恒定码率):码率固定,不管画面复杂程度,适合直播(带宽稳定);VBR(可变码率):画面简单时码率低,复杂时码率高,适合点播(文件大小固定,画质最优);ABR(自适应码率)是在两者之间动态调整。
概念解释
- CBR:输出码率恒定,网络带宽可预测,但简单画面浪费带宽,复杂画面画质不足。
- VBR:输出文件大小固定,画质最优,但码率波动大,不适合直播。
- 直播用 CBR 或 ABR(结合网络状况动态调整码率)。
常见误区
- 误区:VBR 画质一定比 CBR 好;正解:同码率下 VBR 可能更好,但直播场景 CBR 更稳定。
- 误区:ABR 就是 VBR;正解:ABR 是根据网络状况动态调整编码码率,用于弱网自适应。
追问 / 延伸
- AB R(自适应码率)和 ABR(平均码率)的区别?前者是网络自适应,后者是码率控制方式。
- 弱网下怎么用码率控制?动态降低编码码率(自适应码率),保证流畅。
07.8.1-005 AAC 编码的常用参数?
频率 ★★★ | 难度 基础
一句话结论
AAC 常用参数:采样率 44100/48000 Hz、双声道(立体声)、码率 64-128 kbps;AAC-LC 是最常用的 profile,延迟低、质量好;语音通话用 AAC-LD(低延迟)或 Opus。
概念解释
- 采样率:44.1kHz(CD 质量)、48kHz(视频标准)。
- 声道:单声道(语音)、立体声(音乐)。
- 码率:64kbps(语音够用)、128kbps(音乐质量好)。
常见误区
- 误区:音频码率越高越好;正解:64-128kbps 人耳听不出区别,再高浪费带宽。
- 误区:AAC 所有设备都支持;正解:AAC 在 iOS 和安卓都支持,但有些老设备不支持 AAC-LC。
追问 / 延伸
- Opus 是什么?新一代音频编码,压缩率比 AAC 好,延迟更低,WebRTC 用 Opus。
- 语音通话用什么编码?Opus 或 AAC-LD,延迟 < 40ms。
07.8.1-006 摄像头采集的 YUV 格式是什么?
频率 ★★★ | 难度 进阶
一句话结论
摄像头输出的原始视频通常是 YUV 格式(亮度 Y + 色度 UV),常见的有 NV12(半平面,Y 平面 + UV 交织平面)、I420(三个平面);编码前通常要转成编码器需要的格式;YUV 比 RGB 压缩率高(人眼对亮度敏感对色度不敏感)。
概念解释
- YUV:Y 是亮度(黑白),U/V 是色度(颜色)。
- 4:2:0 采样:色度是亮度的一半宽和一半高,数据量是 RGB 的一半。
- NV12:安卓摄像头常用格式,iOS 用 CVPixelBuffer。
常见误区
- 误区:摄像头直接输出 RGB;正解:摄像头输出 YUV,需要转换。
- 误区:YUV 和 RGB 转换不耗时;正解:实时转换是 CPU 密集操作,通常用硬件加速。
追问 / 延伸
- 为什么用 YUV?人眼对亮度敏感对颜色不敏感,YUV 可以压缩色度数据,节省带宽。
- 硬编输入格式?通常直接接受 NV12,不需要转换。
07.8.1-007 硬件编码和软件编码的区别?
频率 ★★★ | 难度 进阶
一句话结论
硬件编码(硬编)用芯片专门的编码模块(如 iPhone 的 VideoToolbox、安卓的 MediaCodec),速度快、功耗低、延迟低;软件编码(软编)用 CPU 跑 x264/x265,画质更好、参数更灵活,但耗 CPU、功耗高;直播通常用硬编(实时性优先),离线转码用软编(画质优先)。
概念解释
- 硬编:速度快、延迟低、功耗低,但参数可调范围小。
- 软编:画质好、参数灵活,但速度慢、耗 CPU。
- 直播用硬编:端到端延迟低,手机不发烫。
常见误区
- 误区:软编画质一定比硬编好;正解:现代硬编质量已经接近软编,差距很小。
- 误区:硬编参数随便调;正解:硬编参数有限,只能调码率、关键帧间隔等基础参数。
追问 / 延伸
- 硬编失败怎么办?降级到软编(低性能设备可能没有硬编)。
- 为什么直播不用软编?CPU 占用高,手机发热,耗电快。
07.8.1-008 Profile 和 Level 是什么?
频率 ★★★ | 难度 进阶
一句话结论
Profile 是编码复杂度级别(Baseline/Main/High),越高级压缩率越高但设备要求也越高;Level 是分辨率和帧率的上限(如 Level 4.1 支持 1080p30);直播常用 Baseline 或 Main(兼容性好),点播用 High(压缩率高)。
概念解释
- Baseline:最简单,没有 B 帧,兼容性最好,延迟最低。
- Main:支持 B 帧,压缩率更好。
- High:最高压缩率,需要解码能力强的设备。
- Level:对应分辨率和帧率,比如 Level 3.1 = 720p30,Level 4.1 = 1080p30。
常见误区
- 误区:Profile 越高越好;正解:直播用 Baseline/Main,兼容性好延迟低。
- 误区:Level 随便设;正解:Level 要和分辨率帧率匹配,否则播放器解码失败。
追问 / 延伸
- 直播为什么用 Baseline?没有 B 帧,延迟最低,兼容性最好。
- H.265 的 Profile 有哪些?Main、Main10、Main Still Picture。
07.8.1-009 码率和分辨率、画质的关系?
频率 ★★★ | 难度 基础
一句话结论
码率决定画质:同样分辨率下码率越高画质越好;分辨率越高需要的码率越高;经验值:1080p 直播需要 2-4 Mbps,720p 需要 1-2 Mbps,480p 需要 500-800 kbps;码率太低会出现马赛克,太高浪费带宽。
概念解释
- 码率与分辨率的经验比例:1080p ≈ 4Mbps、720p ≈ 2Mbps、480p ≈ 0.8Mbps。
- 运动画面需要更高码率(快速运动容易出现马赛克)。
- 码率不是越高越好,超过人眼感知后再高也看不出区别。
常见误区
- 误区:分辨率越高画质越好;正解:码率不够时高分辨率反而更模糊(马赛克更多)。
- 误区:码率越高越好;正解:超过人眼感知后浪费带宽。
追问 / 延伸
- 弱网下怎么调整?降低码率(牺牲画质换流畅),ABR 自适应。
- 4K 直播需要多少码率?15-25 Mbps。
07.8.1-010 直播编码为什么常用低延迟设置?
频率 ★★★ | 难度 进阶
一句话结论
直播端到端延迟要求低(通常 1-3 秒),编码端要尽量减少延迟:不用 B 帧(避免等待)、减少编码缓冲、硬件编码(编码延迟低)、小 GOP(快速起播);这些设置牺牲一点压缩率,但换取低延迟。
概念解释
- 延迟来源:编码延迟 + 网络延迟 + 流媒体服务器延迟 + 播放缓冲延迟。
- 编码端能控制的:编码缓冲、B 帧、GOP。
- 连麦场景延迟要求更低(< 500ms),要用 WebRTC。
常见误区
- 误区:直播延迟主要靠播放器优化;正解:编码、传输、播放每一环都影响延迟。
- 误区:低延迟就等于低画质;正解:合理设置可以在延迟和画质间平衡。
追问 / 延伸
- WebRTC 为什么延迟低?UDP + 无重传 + 小缓冲 + 不用 B 帧。
- 直播延迟多少算正常?RTMP 直播 3-5 秒,WebRTC 连麦 200-500ms。
07.8.1-011 什么是 GOP?
频率 ★★★ | 难度 中级
一句话结论
GOP(Group of Pictures)是两个关键帧(I 帧)之间的距离,比如 GOP=30 就是每 30 帧一个 I 帧;GOP 越大压缩率越高但延迟越大、丢包恢复越差;直播一般 GOP=1-2 秒(比如 30fps 下 GOP=30-60),点播可以更大(GOP=10 秒)。
常见误区
- 误区:GOP 越小越好;正解:GOP 太小码率高,太大延迟大、丢包恢复差。
- 误区:GOP 就是关键帧间隔;正解:GOP 是两个 I 帧之间的帧数,包含 I/P/B 帧。
追问 / 延伸
- 怎么选 GOP?直播 1-2 秒,点播可以更大。
- 什么是 IDR 帧?IDR 是立即刷新帧,解码器从 IDR 开始解码,之前的帧都可以丢弃。
07.8.1-012 码率控制有哪几种模式?
频率 ★★ | 难度 高级
一句话结论
码率控制:CBR(固定码率,输出码率恒定,适合直播)、VBR(可变码率,根据内容复杂度调整,适合点播)、ABR(平均码率,一段时间内平均码率恒定)、CRF(恒定质量,画质恒定,码率随内容变);直播用 CBR/ABR,点播用 VBR/CRF。
常见误区
- 误区:CBR 就是每帧码率完全一样;正解:CBR 是整体码率恒定,单帧可以波动。
- 误区:CRF 就是最好的;正解:CRF 质量好但码率不可控,不适合直播。
追问 / 延伸
- CRF 值多少合适?H.264 一般 23-28,越小质量越好。
- 怎么选码率控制?看业务场景(直播 vs 点播)。
07.8.1-013 B 帧是什么?为什么直播不用?
频率 ★★ | 难度 高级
一句话结论
B 帧是双向预测帧(参考前后帧),压缩率最高;但 B 帧需要重排序(解码顺序和显示顺序不同),增加延迟和复杂度;直播一般不用 B 帧(低延迟优先),点播用 B 帧(压缩率优先)。
常见误区
- 误区:B 帧越多越好;正解:B 帧增加延迟,直播不适合。
- 误区:B 帧就是坏帧;正解:B 帧是高效的压缩帧,只是不适合低延迟场景。
追问 / 延伸
- H.265 的 B 帧和 H.264 一样吗?类似,但 H.265 压缩效率更高。
- 什么时候用 B 帧?点播、视频会议(高画质优先)。
07.8.1-014 硬编码和软编码有什么区别?
频率 ★★★ | 难度 中级
一句话结论
硬编码用硬件编码器(GPU/专用芯片),速度快、功耗低、质量一般;软编码用 CPU 软件编码(x264/x265),速度慢、功耗高、质量更好;直播一般用硬编码(实时性要求),离线转码用软编码(质量要求);现在硬编码质量也越来越好。
常见误区
- 误区:硬编码就是硬件加速;正解:硬编码是用专用芯片编码,不是 GPU 加速通用计算。
- 误区:软编码一定比硬编码好;正解:好的硬编码(如 Apple VideoToolbox)质量也很好。
追问 / 延伸
- 常用硬编码方案?Android: MediaCodec;iOS: VideoToolbox;桌面: NVENC/QSV。
- 怎么选?实时场景用硬编码,离线转码用软编码。
待整理清单
- [ ] H.264 码流结构(SPS/PPS/NALU)
- [ ] 硬件编码 API(VideoToolbox、MediaCodec)
- [ ] 编码质量评价指标(PSNR、SSIM)