03.14.3 多模态交互
所属:全栈开发面试题库 / 03 前端基础与 Web 开发 / 03.14 前端 AI 集成
覆盖范围
- 图片上传:预览、压缩、格式转换、base64
- 语音上传:录音、AudioContext、采样率、压缩
- 进度:上传进度、取消、重试
- 分片:大文件分片上传、断点续传
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 03.14.3-001 | 多模态上传如何压缩与预览 | 进阶 | ★★★ |
| 03.14.3-002 | 图片压缩用 Canvas 实现 | 进阶 | ★★★ |
| 03.14.3-003 | 录音如何采集与上传 | 进阶 | ★★ |
| 03.14.3-004 | 上传进度如何显示 | 基础 | ★★★ |
| 03.14.3-005 | 大文件分片上传 | 进阶 | ★★★ |
| 03.14.3-006 | 图片 base64 与 FormData 选择 | 基础 | ★★★ |
| 03.14.3-007 | 上传取消与重试 | 基础 | ★★★ |
| 03.14.3-008 | 语音转写前端如何处理 | 进阶 | ★★ |
03.14.3-001 多模态上传如何压缩与预览
一句话结论
图片上传前用 Canvas 压缩到目标尺寸/质量,预览用 URL.createObjectURL;语音用 Web Audio API 压缩采样率,避免上传过大文件。
概念解释
- 压缩:Canvas resize + quality。
- 预览:ObjectURL。
原理流程
- FileReader 或 createObjectURL 预览。
- Canvas 压缩。
- 转 Blob 上传。
代码 / 示例
async function compressImage(file, maxW = 1024, quality = 0.8) {
const img = await createImageBitmap(file);
const canvas = document.createElement("canvas");
const ratio = Math.min(maxW / img.width, 1);
canvas.width = img.width * ratio;
canvas.height = img.height * ratio;
canvas.getContext("2d").drawImage(img, 0, 0, canvas.width, canvas.height);
return new Promise((r) => canvas.toBlob(r, "image/jpeg", quality));
}
常见误区
- 误区:原图直接上传;正解:AI 模型有大小限制,前端压缩减少上传时间与费用。
- 误区:base64 上传;正解:base64 比二进制大 33%,用 FormData。
追问
- Q:如何保留 EXIF? A:Canvas 不保留 EXIF,需要时用库解析。
- Q:图片方向? A:EXIF Orientation,Canvas drawImage 不自动旋转,需要用库修正。
03.14.3-002 图片压缩用 Canvas 实现
一句话结论
Canvas 压缩:加载图片到 Image,按目标尺寸 drawImage,toBlob 输出 JPEG/WebP;WebP 体积更小。
概念解释
- drawImage:缩放绘制。
- toBlob:输出二进制。
原理流程
- Image onload。
- 计算缩放比。
- drawImage。
- toBlob。
代码 / 示例
const img = new Image();
img.onload = () => {
canvas.drawImage(img, 0, 0, w, h);
canvas.toBlob(blob => upload(blob), "image/webp", 0.8);
};
img.src = URL.createObjectURL(file);
常见误区
- 误区:PNG 压缩;正解:PNG 是无损,toBlob quality 无效,JPEG/WebP 有效。
- 误区:跨域图片;正解:跨域需要 CORS,否则 Canvas 污染。
追问
- Q:WebP 兼容性? A:现代浏览器支持,旧 Safari 用 JPEG fallback。
- Q:如何保持宽高比? A:按最大边计算缩放比。
03.14.3-003 录音如何采集与上传
一句话结论
录音用 MediaRecorder API 采集音视频,输出 webm/ogg;上传 Blob 到后端转写;实时转写用 WebSocket 分片。
概念解释
- MediaRecorder:浏览器录音。
- chunk:定时分片。
原理流程
- getUserMedia 获取麦克风。
- MediaRecorder 录制。
- ondataavailable 收集 chunk。
- 停止后合并上传。
代码 / 示例
const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
const rec = new MediaRecorder(stream);
const chunks = [];
rec.ondataavailable = (e) => chunks.push(e.data);
rec.start();
// 停止
rec.stop();
常见误区
- 误区:MediaRecorder 输出 wav;正解:输出 webm/ogg,wav 需要用 AudioContext 手动编码。
- 误区:录音需要权限;正解:HTTPS + 用户手势。
追问
- Q:实时转写? A:MediaRecorder 定时分片,WebSocket 上传,服务端流式转写。
- Q:录音大小? A:webm 比 wav 小,适合上传。
03.14.3-004 上传进度如何显示
一句话结论
XMLHttpRequest 提供 upload.onprogress 事件,按 loaded/total 计算进度百分比;Fetch 不原生支持进度(但可通过 ReadableStream 跟踪下载进度)。
概念解释
- xhr.upload.onprogress:上传进度。
- Fetch:不支持上传进度,需用 xhr。
原理流程
- xhr.upload.onprogress 更新 state。
- 显示进度条。
代码 / 示例
const xhr = new XMLHttpRequest();
xhr.upload.onprogress = (e) => setProgress(e.loaded / e.total);
xhr.open("POST", "/api/upload");
xhr.send(formData);
常见误区
- 误区:fetch 能显示上传进度;正解:fetch 不支持上传进度,用 xhr。
- 误区:进度是准确的;正解:进度是浏览器估计,不精确。
追问
- Q:下载进度? A:fetch 可以通过 reader 跟踪响应流。
- Q:如何暂停上传? A:xhr.abort(),不真正暂停。
03.14.3-005 大文件分片上传
一句话结论
大文件按块切片上传,每个分片带序号,服务端合并;支持断点续传与秒传(已上传分片跳过)。
概念解释
- 分片:File.slice。
- 秒传:后端记录已上传分片。
原理流程
- 计算文件 hash。
- 请求服务端已上传分片。
- 分片上传。
- 全部完成后通知合并。
代码 / 示例
const chunkSize = 1024 * 1024;
for (let i = 0; i < file.size; i += chunkSize) {
const chunk = file.slice(i, i + chunkSize);
await uploadChunk(chunk, i / chunkSize);
}
常见误区
- 误区:分片越多越好;正解:太小请求多,太大失败重试成本高,通常 1-5MB。
- 误区:分片顺序上传;正解:可并行上传,但要控制并发。
追问
- Q:秒传如何实现? A:前端计算文件 hash,后端已存在则跳过。
- Q:断点续传? A:记录已上传分片 id,重新上传时跳过。
03.14.3-006 图片 base64 与 FormData 选择
一句话结论
小图片(<100KB)可用 base64 内嵌请求;大文件用 FormData 二进制上传,base64 增加 33% 体积。
概念解释
- base64:字符串,内嵌 JSON。
- FormData:multipart/form-data。
原理流程
- 小图 base64 直接作为 JSON 字段。
- 大图 FormData 上传。
代码 / 示例
// base64
const res = await fetch("/api/chat", {
method: "POST",
body: JSON.stringify({ image: base64 }),
});
常见误区
- 误区:base64 更快;正解:base64 编码增加体积与 CPU 开销。
- 误区:base64 不能缓存;正解:base64 内嵌在请求中,无法缓存。
追问
- Q:OpenAI vision 接口? A:接受 base64 或 URL,小图用 base64。
- Q:如何转 base64? A:FileReader.readAsDataURL。
03.14.3-007 上传取消与重试
一句话结论
上传用 xhr,取消用 abort;重试用新 xhr;失败时保留文件状态,用户点击重试。
概念解释
- abort:中断 xhr。
- 重试:重新发起。
原理流程
- xhr.abort() 取消。
- 失败时记录错误。
- 用户点击重试重新上传。
代码 / 示例
const xhr = new XMLHttpRequest();
xhr.open("POST", "/api/upload");
xhr.send(formData);
// 取消
xhr.abort();
常见误区
- 误区:abort 后后端也停止;正解:abort 只断开连接,后端可能继续处理。
- 误区:自动重试无限次;正解:限制重试次数,指数退避。
追问
- Q:如何自动重试? A:网络错误自动重试 1-2 次,用户错误不重试。
- Q:断点续传? A:分片上传时记录已上传分片。
03.14.3-008 语音转写前端如何处理
一句话结论
语音转写前端:录音后上传完整音频,或实时分片上传;显示转写中的 loading,转写完成后填充文本。
概念解释
- 完整上传:录完再传。
- 实时分片:边录边传。
原理流程
- 录音。
- 上传。
- 服务端转写返回文本。
代码 / 示例
// 录音完成
const formData = new FormData();
formData.append("audio", audioBlob);
const res = await fetch("/api/transcribe", { method: "POST", body: formData });
const { text } = await res.json();
常见误区
- 误区:实时转写延迟低;正解:分片传输有缓冲延迟,通常 1-2 秒。
- 误区:转写自动断句;正解:服务端处理,前端只显示文本。
追问
- Q:如何显示 interim 结果? A:WebSocket 推送中间结果,最终结果替换。
- Q:多语言? A:指定语言参数。
待整理清单
- [ ] 图片 OCR 前端集成
- [ ] 视频上传与压缩
- [ ] 语音波形可视化
关联与延伸
- 与 03.14.4 AI 能力接入工程配合,多模态上传是 AI 应用输入层。
- 图片压缩用 Canvas 是通用方案,WebP 输出体积更小。
- 录音与实时转写是语音助手类产品的核心能力。
面试准备要点
- 必须说清图片压缩流程:createImageBitmap + Canvas + toBlob。
- 必须理解上传进度:xhr.upload.onprogress,fetch 不支持上传进度。
- 常见追问:base64 vs FormData?答:小图 base64,大图 FormData。
- 常见追问:大文件分片?答:File.slice + 并发控制 + 秒传 hash。
- 常见追问:录音用什么?答:MediaRecorder API。