罗罗编程学习记录
本页内容 展开查看

03.14.3 多模态交互

所属:全栈开发面试题库 / 03 前端基础与 Web 开发 / 03.14 前端 AI 集成

覆盖范围

  • 图片上传:预览、压缩、格式转换、base64
  • 语音上传:录音、AudioContext、采样率、压缩
  • 进度:上传进度、取消、重试
  • 分片:大文件分片上传、断点续传

高频题速览

编号 题目 难度 频率
03.14.3-001 多模态上传如何压缩与预览 进阶 ★★★
03.14.3-002 图片压缩用 Canvas 实现 进阶 ★★★
03.14.3-003 录音如何采集与上传 进阶 ★★
03.14.3-004 上传进度如何显示 基础 ★★★
03.14.3-005 大文件分片上传 进阶 ★★★
03.14.3-006 图片 base64 与 FormData 选择 基础 ★★★
03.14.3-007 上传取消与重试 基础 ★★★
03.14.3-008 语音转写前端如何处理 进阶 ★★

03.14.3-001 多模态上传如何压缩与预览

一句话结论

图片上传前用 Canvas 压缩到目标尺寸/质量,预览用 URL.createObjectURL;语音用 Web Audio API 压缩采样率,避免上传过大文件。

概念解释

  • 压缩:Canvas resize + quality。
  • 预览:ObjectURL。

原理流程

  1. FileReader 或 createObjectURL 预览。
  2. Canvas 压缩。
  3. 转 Blob 上传。

代码 / 示例

async function compressImage(file, maxW = 1024, quality = 0.8) {
  const img = await createImageBitmap(file);
  const canvas = document.createElement("canvas");
  const ratio = Math.min(maxW / img.width, 1);
  canvas.width = img.width * ratio;
  canvas.height = img.height * ratio;
  canvas.getContext("2d").drawImage(img, 0, 0, canvas.width, canvas.height);
  return new Promise((r) => canvas.toBlob(r, "image/jpeg", quality));
}

常见误区

  • 误区:原图直接上传;正解:AI 模型有大小限制,前端压缩减少上传时间与费用。
  • 误区:base64 上传;正解:base64 比二进制大 33%,用 FormData。

追问

  • Q:如何保留 EXIF? A:Canvas 不保留 EXIF,需要时用库解析。
  • Q:图片方向? A:EXIF Orientation,Canvas drawImage 不自动旋转,需要用库修正。

03.14.3-002 图片压缩用 Canvas 实现

一句话结论

Canvas 压缩:加载图片到 Image,按目标尺寸 drawImage,toBlob 输出 JPEG/WebP;WebP 体积更小。

概念解释

  • drawImage:缩放绘制。
  • toBlob:输出二进制。

原理流程

  1. Image onload。
  2. 计算缩放比。
  3. drawImage。
  4. toBlob。

代码 / 示例

const img = new Image();
img.onload = () => {
  canvas.drawImage(img, 0, 0, w, h);
  canvas.toBlob(blob => upload(blob), "image/webp", 0.8);
};
img.src = URL.createObjectURL(file);

常见误区

  • 误区:PNG 压缩;正解:PNG 是无损,toBlob quality 无效,JPEG/WebP 有效。
  • 误区:跨域图片;正解:跨域需要 CORS,否则 Canvas 污染。

追问

  • Q:WebP 兼容性? A:现代浏览器支持,旧 Safari 用 JPEG fallback。
  • Q:如何保持宽高比? A:按最大边计算缩放比。

03.14.3-003 录音如何采集与上传

一句话结论

录音用 MediaRecorder API 采集音视频,输出 webm/ogg;上传 Blob 到后端转写;实时转写用 WebSocket 分片。

概念解释

  • MediaRecorder:浏览器录音。
  • chunk:定时分片。

原理流程

  1. getUserMedia 获取麦克风。
  2. MediaRecorder 录制。
  3. ondataavailable 收集 chunk。
  4. 停止后合并上传。

代码 / 示例

const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
const rec = new MediaRecorder(stream);
const chunks = [];
rec.ondataavailable = (e) => chunks.push(e.data);
rec.start();
// 停止
rec.stop();

常见误区

  • 误区:MediaRecorder 输出 wav;正解:输出 webm/ogg,wav 需要用 AudioContext 手动编码。
  • 误区:录音需要权限;正解:HTTPS + 用户手势。

追问

  • Q:实时转写? A:MediaRecorder 定时分片,WebSocket 上传,服务端流式转写。
  • Q:录音大小? A:webm 比 wav 小,适合上传。

03.14.3-004 上传进度如何显示

一句话结论

XMLHttpRequest 提供 upload.onprogress 事件,按 loaded/total 计算进度百分比;Fetch 不原生支持进度(但可通过 ReadableStream 跟踪下载进度)。

概念解释

  • xhr.upload.onprogress:上传进度。
  • Fetch:不支持上传进度,需用 xhr。

原理流程

  1. xhr.upload.onprogress 更新 state。
  2. 显示进度条。

代码 / 示例

const xhr = new XMLHttpRequest();
xhr.upload.onprogress = (e) => setProgress(e.loaded / e.total);
xhr.open("POST", "/api/upload");
xhr.send(formData);

常见误区

  • 误区:fetch 能显示上传进度;正解:fetch 不支持上传进度,用 xhr。
  • 误区:进度是准确的;正解:进度是浏览器估计,不精确。

追问

  • Q:下载进度? A:fetch 可以通过 reader 跟踪响应流。
  • Q:如何暂停上传? A:xhr.abort(),不真正暂停。

03.14.3-005 大文件分片上传

一句话结论

大文件按块切片上传,每个分片带序号,服务端合并;支持断点续传与秒传(已上传分片跳过)。

概念解释

  • 分片:File.slice。
  • 秒传:后端记录已上传分片。

原理流程

  1. 计算文件 hash。
  2. 请求服务端已上传分片。
  3. 分片上传。
  4. 全部完成后通知合并。

代码 / 示例

const chunkSize = 1024 * 1024;
for (let i = 0; i < file.size; i += chunkSize) {
  const chunk = file.slice(i, i + chunkSize);
  await uploadChunk(chunk, i / chunkSize);
}

常见误区

  • 误区:分片越多越好;正解:太小请求多,太大失败重试成本高,通常 1-5MB。
  • 误区:分片顺序上传;正解:可并行上传,但要控制并发。

追问

  • Q:秒传如何实现? A:前端计算文件 hash,后端已存在则跳过。
  • Q:断点续传? A:记录已上传分片 id,重新上传时跳过。

03.14.3-006 图片 base64 与 FormData 选择

一句话结论

小图片(<100KB)可用 base64 内嵌请求;大文件用 FormData 二进制上传,base64 增加 33% 体积。

概念解释

  • base64:字符串,内嵌 JSON。
  • FormData:multipart/form-data。

原理流程

  1. 小图 base64 直接作为 JSON 字段。
  2. 大图 FormData 上传。

代码 / 示例

// base64
const res = await fetch("/api/chat", {
  method: "POST",
  body: JSON.stringify({ image: base64 }),
});

常见误区

  • 误区:base64 更快;正解:base64 编码增加体积与 CPU 开销。
  • 误区:base64 不能缓存;正解:base64 内嵌在请求中,无法缓存。

追问

  • Q:OpenAI vision 接口? A:接受 base64 或 URL,小图用 base64。
  • Q:如何转 base64? A:FileReader.readAsDataURL。

03.14.3-007 上传取消与重试

一句话结论

上传用 xhr,取消用 abort;重试用新 xhr;失败时保留文件状态,用户点击重试。

概念解释

  • abort:中断 xhr。
  • 重试:重新发起。

原理流程

  1. xhr.abort() 取消。
  2. 失败时记录错误。
  3. 用户点击重试重新上传。

代码 / 示例

const xhr = new XMLHttpRequest();
xhr.open("POST", "/api/upload");
xhr.send(formData);
// 取消
xhr.abort();

常见误区

  • 误区:abort 后后端也停止;正解:abort 只断开连接,后端可能继续处理。
  • 误区:自动重试无限次;正解:限制重试次数,指数退避。

追问

  • Q:如何自动重试? A:网络错误自动重试 1-2 次,用户错误不重试。
  • Q:断点续传? A:分片上传时记录已上传分片。

03.14.3-008 语音转写前端如何处理

一句话结论

语音转写前端:录音后上传完整音频,或实时分片上传;显示转写中的 loading,转写完成后填充文本。

概念解释

  • 完整上传:录完再传。
  • 实时分片:边录边传。

原理流程

  1. 录音。
  2. 上传。
  3. 服务端转写返回文本。

代码 / 示例

// 录音完成
const formData = new FormData();
formData.append("audio", audioBlob);
const res = await fetch("/api/transcribe", { method: "POST", body: formData });
const { text } = await res.json();

常见误区

  • 误区:实时转写延迟低;正解:分片传输有缓冲延迟,通常 1-2 秒。
  • 误区:转写自动断句;正解:服务端处理,前端只显示文本。

追问

  • Q:如何显示 interim 结果? A:WebSocket 推送中间结果,最终结果替换。
  • Q:多语言? A:指定语言参数。

待整理清单

  • [ ] 图片 OCR 前端集成
  • [ ] 视频上传与压缩
  • [ ] 语音波形可视化

关联与延伸

  • 与 03.14.4 AI 能力接入工程配合,多模态上传是 AI 应用输入层。
  • 图片压缩用 Canvas 是通用方案,WebP 输出体积更小。
  • 录音与实时转写是语音助手类产品的核心能力。

面试准备要点

  • 必须说清图片压缩流程:createImageBitmap + Canvas + toBlob。
  • 必须理解上传进度:xhr.upload.onprogress,fetch 不支持上传进度。
  • 常见追问:base64 vs FormData?答:小图 base64,大图 FormData。
  • 常见追问:大文件分片?答:File.slice + 并发控制 + 秒传 hash。
  • 常见追问:录音用什么?答:MediaRecorder API。