05.13.2 大文件上传下载
所属:全栈开发面试题库 / 05 数据库与存储 / 05.13 对象存储与文件
覆盖范围
- 分片上传与断点续传
- 秒传(hash 校验)
- 并发与限速
- 大文件下载
- 客户端直传与服务端中转
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.13.2-001 | 分片上传怎么设计 | 进阶 | ★★★★★ |
| 05.13.2-002 | 断点续传怎么实现 | 进阶 | ★★★★ |
| 05.13.2-003 | 秒传是什么原理 | 进阶 | ★★★ |
| 05.13.2-004 | 客户端直传和服务端中转怎么选 | 进阶 | ★★★ |
| 05.13.2-005 | 限速怎么做 | 基础 | ★★★ |
05.13.2-001 分片上传怎么设计?
频率 ★★★★★ | 难度 进阶
一句话结论
大文件在客户端切成固定大小分片(如 5MB),逐片上传到对象存储(或服务端),全部完成后调用合并接口;支持并发上传和重试。
原理流程
- 客户端计算文件 MD5/SHA。
- 向服务端申请 uploadId。
- 分片并发上传,每片带序号。
- 全部完成后通知服务端合并。
05.13.2-002 断点续传怎么实现?
频率 ★★★★ | 难度 进阶
一句话结论
服务端记录已上传分片列表,客户端重新上传时先查询已传分片,只传缺失分片;浏览器用 localStorage/IndexedDB 记录 uploadId 和分片状态。
05.13.2-003 秒传是什么原理?
频率 ★★★ | 难度 进阶
一句话结论
客户端先计算文件 hash 上传服务端,服务端查该 hash 是否已存在,存在则直接引用(硬链接/复制),不重复上传;用于网盘和素材库。
05.13.2-004 客户端直传和服务端中转怎么选?
频率 ★★★ | 难度 进阶
一句话结论
大文件优先客户端直传(用预签名 URL),避免服务端带宽瓶颈;小文件或需要校验/扫描时走服务端中转。
05.13.2-005 限速怎么做?
频率 ★★★ | 难度 基础
一句话结论
客户端按时间窗口控制读写速率(如每秒读 N KB),服务端通过 CDN 或带宽限制;不要在服务端硬限速大文件直传。
05.13.2-006 分片大小怎么定?
频率 ★★ | 难度 进阶
一句话结论
分片一般 5MB~20MB:太小则请求次数多、合并开销大;太大则单分片失败重试成本高;对象存储分片上传要求每片至少 5MB(除最后一片)。
05.13.2-007 上传失败怎么清理?
频率 ★★ | 难度 基础
一句话结论
uploadId 超时未合并会自动失效;定期清理未完成的分片上传任务,避免占用存储和计费。
05.13.2-008 大文件下载怎么做?
频率 ★★ | 难度 基础
一句话结论
用 HTTP Range 请求分块下载,浏览器可断点续传;服务端不需要做特殊处理,对象存储原生支持 Range;CDN 缓存后回源 Range 请求。
05.13.2-009 秒传怎么实现去重?
频率 ★★ | 难度 进阶
一句话结论
客户端算文件 hash,服务端查 hash 是否存在;存在则直接关联(同一物理文件多个 Key 引用),不存在才上传;注意 hash 冲突(用 SHA-256 而非 MD5)。
05.13.2-010 上传带宽怎么控制?
频率 ★★ | 难度 基础
一句话结论
客户端限速按时间窗口读文件块;服务端直传对象存储不占业务带宽;不要在业务服务端做中转上传大文件。
典型场景与代码示例
分片上传流程
1. 客户端计算文件 MD5,向服务端申请 uploadId
2. 服务端调用对象存储 InitiateMultipartUpload,返回 uploadId
3. 客户端切分文件为 5MB 分片,并发上传:
PUT /object?partNumber=1&uploadId=xxx
PUT /object?partNumber=2&uploadId=xxx
4. 全部完成后调用 CompleteMultipartUpload 合并
5. 服务端返回最终文件 URL
断点续传
客户端记录:
uploadId: xxx
uploadedParts: [1, 3, 5] (已上传的分片号)
重新上传时:
1. 查询服务端已上传分片列表
2. 只传缺失分片(2, 4, 6...)
3. 全部完成后合并
秒传流程
1. 客户端计算文件 SHA-256
2. 上传 hash 到服务端
3. 服务端查 hash 是否已存在:
- 存在:直接返回已存在的文件 URL,不上传
- 不存在:走分片上传流程
4. 上传完成后记录 hash -> 文件映射
面试高频追问
问:分片上传为什么需要 5MB 最小限制?
答:对象存储分片上传要求每片至少 5MB(除最后一片),太小则请求次数多、合并开销大;一般 5-20MB。
问:断点续传怎么记录状态?
答:服务端记录 uploadId 和已上传分片列表,客户端用 localStorage 记录;重新上传时只传缺失分片。
问:秒传怎么实现?
答:客户端算文件 hash 上传服务端,服务端查 hash 是否已存在;存在则直接引用,不存在才上传;用 SHA-256 防冲突。
问:客户端直传和服务端中转怎么选?
答:大文件直传(预签名 URL),避免服务端带宽瓶颈;小文件或需校验/扫描走服务端中转。
核心要点速记
| 功能 | 原理 |
|---|---|
| 分片上传 | 切 5-20MB,并发上传,最后合并 |
| 断点续传 | 记录已传分片,重传只补缺 |
| 秒传 | hash 校验,存在则直接引用 |
| 直传 | 预签名 URL,不经过业务服务端 |
分片大小:5-20MB,太小请求多,太大重试贵。
一句话记忆:大文件用分片+断点续传;直传对象存储,不经过业务服务端。
相关概念辨析
分片上传 vs 断点续传
- 分片上传:大文件拆成 multipart 上传,并行加速。
- 断点续传:记录已上传分片,失败后继续。
- 选择:大文件用分片上传+断点续传。
秒传 vs 分片
- 秒传:MD5 命中已存在对象,直接返回。
- 分片:实际上传数据。
- 选择:先秒传判断,未命中再分片上传。
05.13.2-009 分片上传的断点续传怎么实现?
频率 ★★★★ | 难度 进阶
一句话结论
分片上传:大文件拆成分片,客户端记录已上传分片;断点续传:失败后从已上传分片继续,不重新上传。
概念解释
- 分片上传:multipart,大文件拆成 5MB~10MB 分片。
- 断点续传:记录已上传分片,失败后继续。
- 合并:所有分片上传完,调用合并接口。
原理流程
- 客户端计算文件 MD5,拆成分片。
- 逐片上传,记录已上传分片号。
- 失败后从已上传分片继续。
- 所有分片上传完,调用合并接口。
常见误区
- 误区:分片上传自动断点续传。正解:客户端要记录已上传分片号。
追问延伸
- 分片大小:一般 5MB~10MB。
- 合并:所有分片上传完,调用 CompleteMultipartUpload。
05.13.2-010 秒传怎么实现?
频率 ★★★ | 难度 进阶
一句话结论
秒传:客户端计算文件 MD5,服务端检查 MD5 是否已存在;存在则直接返回,不实际上传。
概念解释
- 秒传:MD5 命中已存在对象,直接返回。
- 流程:客户端算 MD5 -> 服务端检查 -> 存在则秒传。
- 不存在:分片上传。
原理流程
- 客户端计算文件 MD5。
- 请求服务端检查 MD5 是否已存在。
- 存在:直接返回,秒传。
- 不存在:分片上传。
常见误区
- 误区:秒传就是分片上传。正解:秒传是 MD5 命中,分片上传是实际上传。
追问延伸
- MD5 碰撞:MD5 可能碰撞,用 SHA-256 更安全。
- 秒传率:热门文件秒传率高。
05.13.2-011 限速怎么实现?
频率 ★★ | 难度 进阶
一句话结论
限速在客户端做:按时间窗口控制发送速率;服务端只能限并发,不能限带宽。
概念解释
- 客户端限速:按时间窗口控制发送速率。
- 服务端限并发:限制同时连接数。
- CDN 限速:按带宽限速。
原理流程
- 客户端:每秒发送 1MB,sleep 控制。
- 服务端:限制同时连接数。
- CDN:按带宽限速。
常见误区
- 误区:限速是服务端做的。正解:限速主要在客户端做。
追问延伸
- 客户端限速:token bucket 算法。
- CDN 限速:按带宽限速。
05.13.2-012 大文件下载怎么做 range 请求?
频率 ★★ | 难度 进阶
一句话结论
大文件下载用 HTTP Range 请求,指定字节范围;客户端可并行下载多个范围,加速。
概念解释
- Range 请求:HTTP 头 Range: bytes=0-1023。
- 并行下载:多个连接同时下载不同范围。
- 合并:客户端合并所有范围。
原理流程
- 客户端发 Range 请求:Range: bytes=0-1023。
- 服务端返回指定范围。
- 并行下载:多个连接同时下载不同范围。
常见误区
- 误区:大文件下载要分片。正解:下载用 Range 请求,不需要分片上传。
追问延伸
- Range 请求:HTTP/1.1 支持。
- 并行下载:多连接加速。
场景题:10GB 视频上传怎么设计?答:分片上传(50MB/片)+ 断点续传 + 秒传(MD5 命中);客户端记录已上传分片号,失败后继续。
待整理清单
- [ ] 分片大小权衡
- [ ] 上传失败清理与超时
- [ ] 大文件下载 Range 请求