罗罗编程学习记录
本页内容 展开查看

13.1.5 音频与输入系统

所属:全栈开发面试题库 / 13 游戏开发与实时渲染 / 13.1 引擎通用基础

覆盖范围

  • 混音总线(Audio Mixer)
  • 3D 音效与空间化
  • 音频流式加载
  • 多端输入映射(键盘/手柄/触屏)

高频题速览

编号 题目 难度 频率
13.1.5-001 3D 音效的左右声道和距离衰减怎么实现? 基础 ★★★★
13.1.5-002 音频混音总线(Mixer)有什么用? 进阶 ★★★
13.1.5-003 背景音乐和音效为什么要分开加载? 基础 ★★★
13.1.5-004 多端输入怎么统一映射? 进阶 ★★★★
13.1.5-005 音频流式加载(Streaming)解决什么问题? 进阶 ★★★
13.1.5-006 触屏输入和鼠标输入怎么统一处理? 基础 ★★★
13.1.5-007 音频压缩格式怎么选? 基础 ★★★
13.1.5-008 输入动作(Input Action)和直接轮询有什么区别? 进阶 ★★★

13.1.5-001 3D 音效的左右声道和距离衰减怎么实现?

一句话结论

3D 音效根据声源和听者的相对位置计算左右声道音量差(Pan)和距离衰减,模拟声音来自不同方向和远近;空间化(Spatialization)用 HRTF 模拟耳廓滤波,让声音更真实。

概念解释

  • 空间化(Spatialization):根据声源位置计算左右声道增益,模拟声音从左/右/前/后来。
  • HRTF(Head-Related Transfer Function):人头相关传递函数,模拟耳廓和头部对不同方向声音的滤波,让声音更有方位感。
  • 距离衰减(Attenuation):声音随距离衰减,常用对数衰减(按距离比例)或对数曲线。
  • 多普勒效应(Doppler):声源移动时频率变化,靠近时变高,远离时变低。

原理流程

  1. 计算声源到听者的方向向量 → 左右分量决定 Pan(-1 全左,+1 全右)。
  2. 距离决定衰减系数(距离 1 倍,音量减半或按对数曲线)。
  3. HRTF 滤波:根据方向对左右声道做不同滤波,模拟耳廓。
  4. 多普勒:根据相对速度调整播放频率。

代码或图示

听者位置 = (0, 0, 0)
声源位置 = (5, 0, 3)  (右侧前方)

Pan = dot(right, normalize(sourcePos)) = 0.8 (偏右)
Attenuation = 1 / (1 + distance * rolloff) = 0.2 (衰减)

左声道 = 音量 * (1 - Pan) * Attenuation
右声道 = 音量 * (1 + Pan) * Attenuation

常见误区

  • 误区:3D 音效就是立体声;正解:立体声是双声道录制,3D 音效是根据位置实时计算声道和衰减;HRTF 还模拟方位感。
  • 误区:距离越远声音越小就是线性衰减;正解:声学中声音按对数衰减(距离加倍,音量减 6dB),不是线性。

追问

  • 什么是环境混响(Reverb)?答:根据空间大小(房间、大厅)添加混响,模拟声音反射;3D 音效配合混响更真实。
  • 移动端 3D 音效性能怎么优化?答:限制同时播放的 3D 音效数量(如最多 16 个),远处的音效不做空间化。

13.1.5-002 音频混音总线(Mixer)有什么用?

一句话结论

混音总线把音频按类型分组(BGM、SFX、Voice、UI),每组独立控制音量、效果、路由,方便运营和用户调整,而不是逐个音频源控制。

概念解释

  • 混音总线(Audio Mixer):音频分组节点,如 BGM Group、SFX Group、Voice Group。
  • 分组控制:一个 Group 控制所有子音频源的音量,用户调 BGM 音量不影响音效。
  • 效果链(Effect Chain):Group 上挂混响、压缩、EQ 等效果,所有经过该 Group 的音频都受影响。
  • 路由:音频源输出到 Group,Group 输出到主 Mixer,可嵌套子 Group。

原理流程

  1. 音频源 A(背景音乐)→ BGM Group。
  2. 音频源 B(枪声)→ SFX Group。
  3. 用户调 BGM 音量到 0.5 → 只影响 BGM Group,不影响 SFX。
  4. SFX Group 挂混响效果 → 所有 SFX 都有混响。

代码或图示

AudioMixer:
  Master
  ├── BGM Group (音量 0.8)
  │   ├── 主题曲
  │   └── 战斗音乐
  ├── SFX Group (音量 1.0, 挂混响)
  │   ├── 枪声
  │   └── 脚步声
  └── Voice Group (音量 1.0)
      └── 角色对话

常见误区

  • 误区:混音总线就是音量控制;正解:还包括效果链、路由、快照(Snapshot)切换场景音效。
  • 误区:每个音频源都要挂效果;正解:效果挂在 Group 上,所有子音频自动经过,省性能。

追问

  • 什么是音频快照(Snapshot)?答:保存某一时刻所有 Group 的音量和效果设置,一键切换场景(如战斗时 BGM 变小,SFX 变大)。
  • 怎么实现音频淡入淡出?答:在 Group 上做音量曲线插值,或用音频源的 PlayScheduled/SetScheduledEndTime。

13.1.5-003 背景音乐和音效为什么要分开加载?

一句话结论

背景音乐通常长且循环,用流式加载不占内存;音效短且频繁播放,用预加载即时响应;分开加载策略和分组管理,避免内存浪费和播放延迟。

概念解释

  • BGM:时长 1-5 分钟,循环播放,文件大,流式加载(边播边读)。
  • SFX:时长 0.5-3 秒,频繁触发,预加载到内存,播放零延迟。
  • 语音:时长 1-10 秒,按剧情触发,预加载或按需加载。
  • 分开加载策略:BGM 流式不占内存,SFX 预加载即时响应。

原理流程

  1. BGM 流式:从磁盘边读边解码播放,不全部载入内存。
  2. SFX 预加载:游戏启动时加载所有常用 SFX 到内存,触发时立即播放。
  3. 语音按需加载:进入剧情时加载对应语音,播完释放。

代码或图示

BGM: 5MB MP3 → 流式加载 (内存占用 ~100KB 缓冲)
SFX: 100 个音效 × 100KB = 10MB → 预加载 (内存 10MB)
语音: 剧情 1 = 5MB → 按需加载 (进入剧情时加载,播完释放)

常见误区

  • 误区:BGM 也预加载;正解:BGM 几分钟长,预加载占内存大;流式加载边播边读,内存占用小。
  • 误区:SFX 也流式;正解:SFX 频繁触发,流式有延迟;预加载零延迟。

追问

  • 什么是音频池(Audio Pool)?答:预分配 N 个 AudioSource,复用播放音效,避免频繁创建销毁。
  • 怎么管理 SFX 内存?答:常用音效常驻内存,非常用音效按需加载;限制同时播放数量。

13.1.5-004 多端输入怎么统一映射?

一句话结论

用输入抽象层(Input Action)把不同设备(键盘、手柄、触屏)的输入映射到统一的逻辑动作(如「跳跃」「射击」),游戏逻辑只监听动作,不关心设备来源。

概念解释

  • 输入动作(Input Action):逻辑动作名,如 Jump、Fire、Move。
  • 绑定(Binding):动作到设备的映射,如 Jump 绑键盘 Space、手柄 A、触屏右按钮。
  • 设备抽象:游戏逻辑只监听 Jump 动作,不直接读键盘或手柄。
  • 多端适配:PC 绑键盘鼠标,主机绑手柄,移动端绑触屏。

原理流程

  1. 定义动作:Jump、Fire、Move(Vector2)。
  2. 绑定:Jump = 键盘 Space + 手柄 A + 触屏右按钮。
  3. 游戏逻辑:监听 Jump 动作 performed 事件 → 执行跳跃。
  4. 设备切换:玩家插手柄,自动切换到手柄绑定;游戏逻辑不变。

代码或图示

Input Action "Jump":
  Binding 1: Keyboard Space
  Binding 2: Gamepad Button South
  Binding 3: Touch Button (right side)

游戏逻辑:
  inputAction.Jump.performed += ctx => Jump();
  // 不关心是键盘、手柄还是触屏触发

常见误区

  • 误区:直接读键盘 KeyCode;正解:直接读 KeyCode 耦合设备,换手柄要改代码;用 Input Action 抽象。
  • 误区:移动端只有触屏输入;正解:移动端也可接手柄(蓝牙),抽象层自动适配。

追问

  • Unity Input System 和旧 Input 的区别?答:旧 Input 直接读 Input.GetKey(KeyCode.Space),耦合设备;新 Input System 用 Action 抽象,支持多设备和重绑定。
  • 怎么实现玩家自定义按键?答:把 Action 绑定暴露给 UI,玩家改绑后保存到配置文件。

13.1.5-005 音频流式加载(Streaming)解决什么问题?

一句话结论

流式加载边播放边从磁盘解码音频,不把整个文件载入内存,解决长音频(BGM、语音)占内存大的问题;代价是需要稳定的磁盘读取和缓冲。

概念解释

  • 流式加载:音频文件不全部载入内存,按播放位置边读边解码。
  • 缓冲(Buffer):预解码一小段音频在内存,播放时从缓冲取,缓冲不足时从磁盘补。
  • 内存占用:流式加载只占几十 KB 缓冲,不占整个文件大小。
  • 适用场景:长音频(BGM、长语音),不适合短音效。

原理流程

  1. 开始播放:从磁盘读前 1 秒音频解码到缓冲。
  2. 播放:从缓冲取数据播放。
  3. 后台补缓冲:缓冲不足时从磁盘继续读,保持缓冲有 2-3 秒数据。
  4. 停止播放:释放缓冲和文件句柄。

代码或图示

流式加载:
  内存缓冲 = 2 秒音频
  播放时:从缓冲取 → 播放
  后台:缓冲不足 → 从磁盘读 → 补缓冲

内存占用:5MB BGM → 流式占 ~100KB 缓冲

常见误区

  • 误区:流式加载一定快;正解:流式需要磁盘读取,启动有延迟(首次缓冲);短音效用预加载更快。
  • 误区:流式加载不占内存;正解:仍占缓冲内存(几十 KB),但比整个文件小很多。

追问

  • 流式加载怎么避免卡顿?答:增大缓冲(2-3 秒),后台预读;磁盘 IO 高时可能卡顿,需监控。
  • 移动端流式加载有什么坑?答:移动端磁盘读取慢,缓冲要更大;文件系统权限限制,音频文件要放在可读目录。

13.1.5-006 触屏输入和鼠标输入怎么统一处理?

一句话结论

触屏和鼠标都是指针输入(Pointer),统一用「指针位置 + 按下/抬起/拖动」抽象,区别只在触屏多指(多点触控)和鼠标单指;用事件系统统一处理。

概念解释

  • 指针事件(Pointer Event):统一抽象触屏和鼠标,有 position、delta、phase(按下/抬起/移动)。
  • 多点触控:触屏支持多根手指,鼠标只有一个指针;多指用 touchId 区分。
  • 拖动:触屏拖动 = 手指移动,鼠标拖动 = 按住鼠标移动。
  • UI 系统:统一处理触屏和鼠标点击,不需要分开写。

原理流程

  1. 鼠标点击:按下 → 指针按下事件 → 抬起 → 指针抬起事件。
  2. 触屏点击:手指按下 → 指针按下事件(带 touchId)→ 抬起 → 指针抬起事件。
  3. 拖动:手指移动/鼠标按住移动 → 指针拖动事件。
  4. UI:按钮点击事件统一触发,不区分鼠标和触屏。

代码或图示

Pointer Event:
  position: (x, y)
  delta: (dx, dy)
  phase: Began / Moved / Ended
  pointerId: mouse=0, touch1=1, touch2=2

统一处理:
  onPointerDown(evt):
    if evt.phase == Began:
      // 处理按下,不区分鼠标和触屏

常见误区

  • 误区:触屏输入和鼠标输入要分开写;正解:用 Pointer 事件统一,多指用 pointerId 区分。
  • 误区:触屏没有悬停(Hover);正解:触屏没有悬停,但鼠标有;UI 要处理无悬停状态。

追问

  • 怎么处理多指手势?答:追踪多个 pointerId,计算两指距离做缩放,角度做旋转。
  • 移动端 UI 点击区域多大?答:通常 44×44 像素(Apple HIG)或 48×48(Material),手指点击精度低。

13.1.5-007 音频压缩格式怎么选?

一句话结论

根据用途选格式:BGM 用 AAC/OGG(高压缩比、流式),音效用 WAV/ADPCM(低延迟、即时播放),语音用 OPUS(高压缩、语音优化);移动端选硬件支持的格式。

概念解释

  • WAV:无压缩,大文件,但播放零延迟;适合短音效。
  • MP3/AAC:有损压缩,文件小,需要解码;适合 BGM。
  • OGG/Vorbis:开源有损压缩,比 MP3 好;适合 BGM。
  • OPUS:语音优化,低延迟高压缩;适合语音和实时语音。
  • ADPCM:有损压缩,比 WAV 小 4 倍,解码快;适合音效。

原理流程

  1. BGM:用 AAC/OGG,压缩比 10:1,流式加载。
  2. SFX:用 WAV 或 ADPCM,即时播放,零延迟。
  3. 语音:用 OPUS,压缩比高,语音质量好。
  4. 移动端:选硬件解码支持的格式(AAC 硬件解码省电)。

代码或图示

BGM: AAC 128kbps (5MB → 500KB, 流式)
SFX: WAV 44.1kHz (100KB → 即时播放)
语音: OPUS 24kbps (1MB → 200KB, 语音优化)

常见误区

  • 误区:所有音频都用 MP3;正解:短音效用 WAV/ADPCM,MP3 解码有延迟;BGM 才用压缩格式。
  • 误区:码率越高越好;正解:BGM 128kbps 足够,语音 24kbps 足够,过高浪费体积。

追问

  • 什么是硬件解码?答:手机芯片有专用音频解码电路,硬件解码省电;软件解码占 CPU。
  • 怎么减小音频体积?答:降采样(44.1kHz → 22.05kHz)、降声道(立体声 → 单声道)、提高压缩比。

13.1.5-008 输入动作(Input Action)和直接轮询有什么区别?

一句话结论

直接轮询每帧读输入状态(Input.GetKey),简单但耦合设备且无法重绑定;Input Action 用事件回调(performed/canceled),解耦设备、支持重绑定、多设备切换。

概念解释

  • 直接轮询:每帧在 Update 里读 Input.GetKey(KeyCode.Space),同步查询。
  • Input Action:定义动作和绑定,输入触发时回调事件(performed、canceled、started)。
  • 事件驱动:输入触发时回调,不需要每帧轮询。
  • 重绑定:玩家可以改按键,Action 绑定可动态修改。

原理流程

  1. 直接轮询:每帧 Update 检查 Input.GetKey(Space),按下则跳跃。
  2. Input Action:定义 Jump Action,绑 Space;按下时触发 performed 事件,回调执行跳跃。
  3. 重绑定:UI 让玩家改绑,把 Space 改成 J,Action 绑定更新。

代码或图示

直接轮询:
  void Update() {
    if (Input.GetKeyDown(KeyCode.Space)) Jump();
  }

Input Action:
  void OnEnable() {
    action.Jump.performed += ctx => Jump();
  }
  // 输入触发时回调,不每帧轮询

常见误区

  • 误区:直接轮询更高效;正解:轮询每帧执行,Action 事件只在输入时触发;性能差异不大但解耦更重要。
  • 误区:Action 不能每帧读值;正解:Action 也可以每帧读 Move.ReadValue<Vector2>(),用于连续输入(移动)。

追问

  • 什么是 Interaction?答:Action 上的交互规则,如长按(Hold)、双击(Double Tap)、缓动(Slow Press),不需要自己写逻辑。
  • 怎么处理输入缓冲?答:玩家提前按键(如落地前按跳),Action 记录按下时间,落地时检测缓冲内输入。

待整理清单

  • [ ] 各引擎音频 API 对照(Unity AudioMixer、Unreal Sound Class、Godot Audio Bus)
  • [ ] 移动端音频延迟优化
  • [ ] 语音 OPUS 在实时语音中的应用