罗罗编程学习记录
本页内容 展开查看

05.13.2 大文件上传下载

所属:全栈开发面试题库 / 05 数据库与存储 / 05.13 对象存储与文件

覆盖范围

  • 分片上传与断点续传
  • 秒传(hash 校验)
  • 并发与限速
  • 大文件下载
  • 客户端直传与服务端中转

高频题速览

编号 题目 难度 频率
05.13.2-001 分片上传怎么设计 进阶 ★★★★★
05.13.2-002 断点续传怎么实现 进阶 ★★★★
05.13.2-003 秒传是什么原理 进阶 ★★★
05.13.2-004 客户端直传和服务端中转怎么选 进阶 ★★★
05.13.2-005 限速怎么做 基础 ★★★

05.13.2-001 分片上传怎么设计?

频率 ★★★★★ | 难度 进阶

一句话结论

大文件在客户端切成固定大小分片(如 5MB),逐片上传到对象存储(或服务端),全部完成后调用合并接口;支持并发上传和重试。

原理流程

  1. 客户端计算文件 MD5/SHA。
  2. 向服务端申请 uploadId。
  3. 分片并发上传,每片带序号。
  4. 全部完成后通知服务端合并。

05.13.2-002 断点续传怎么实现?

频率 ★★★★ | 难度 进阶

一句话结论

服务端记录已上传分片列表,客户端重新上传时先查询已传分片,只传缺失分片;浏览器用 localStorage/IndexedDB 记录 uploadId 和分片状态。


05.13.2-003 秒传是什么原理?

频率 ★★★ | 难度 进阶

一句话结论

客户端先计算文件 hash 上传服务端,服务端查该 hash 是否已存在,存在则直接引用(硬链接/复制),不重复上传;用于网盘和素材库。


05.13.2-004 客户端直传和服务端中转怎么选?

频率 ★★★ | 难度 进阶

一句话结论

大文件优先客户端直传(用预签名 URL),避免服务端带宽瓶颈;小文件或需要校验/扫描时走服务端中转。


05.13.2-005 限速怎么做?

频率 ★★★ | 难度 基础

一句话结论

客户端按时间窗口控制读写速率(如每秒读 N KB),服务端通过 CDN 或带宽限制;不要在服务端硬限速大文件直传。


05.13.2-006 分片大小怎么定?

频率 ★★ | 难度 进阶

一句话结论

分片一般 5MB~20MB:太小则请求次数多、合并开销大;太大则单分片失败重试成本高;对象存储分片上传要求每片至少 5MB(除最后一片)。


05.13.2-007 上传失败怎么清理?

频率 ★★ | 难度 基础

一句话结论

uploadId 超时未合并会自动失效;定期清理未完成的分片上传任务,避免占用存储和计费。


05.13.2-008 大文件下载怎么做?

频率 ★★ | 难度 基础

一句话结论

用 HTTP Range 请求分块下载,浏览器可断点续传;服务端不需要做特殊处理,对象存储原生支持 Range;CDN 缓存后回源 Range 请求。


05.13.2-009 秒传怎么实现去重?

频率 ★★ | 难度 进阶

一句话结论

客户端算文件 hash,服务端查 hash 是否存在;存在则直接关联(同一物理文件多个 Key 引用),不存在才上传;注意 hash 冲突(用 SHA-256 而非 MD5)。


05.13.2-010 上传带宽怎么控制?

频率 ★★ | 难度 基础

一句话结论

客户端限速按时间窗口读文件块;服务端直传对象存储不占业务带宽;不要在业务服务端做中转上传大文件。

典型场景与代码示例

分片上传流程

1. 客户端计算文件 MD5,向服务端申请 uploadId
2. 服务端调用对象存储 InitiateMultipartUpload,返回 uploadId
3. 客户端切分文件为 5MB 分片,并发上传:
   PUT /object?partNumber=1&uploadId=xxx
   PUT /object?partNumber=2&uploadId=xxx
4. 全部完成后调用 CompleteMultipartUpload 合并
5. 服务端返回最终文件 URL

断点续传

客户端记录:
  uploadId: xxx
  uploadedParts: [1, 3, 5]  (已上传的分片号)

重新上传时:
1. 查询服务端已上传分片列表
2. 只传缺失分片(2, 4, 6...)
3. 全部完成后合并

秒传流程

1. 客户端计算文件 SHA-256
2. 上传 hash 到服务端
3. 服务端查 hash 是否已存在:
   - 存在:直接返回已存在的文件 URL,不上传
   - 不存在:走分片上传流程
4. 上传完成后记录 hash -> 文件映射

面试高频追问

问:分片上传为什么需要 5MB 最小限制?

答:对象存储分片上传要求每片至少 5MB(除最后一片),太小则请求次数多、合并开销大;一般 5-20MB。

问:断点续传怎么记录状态?

答:服务端记录 uploadId 和已上传分片列表,客户端用 localStorage 记录;重新上传时只传缺失分片。

问:秒传怎么实现?

答:客户端算文件 hash 上传服务端,服务端查 hash 是否已存在;存在则直接引用,不存在才上传;用 SHA-256 防冲突。

问:客户端直传和服务端中转怎么选?

答:大文件直传(预签名 URL),避免服务端带宽瓶颈;小文件或需校验/扫描走服务端中转。

核心要点速记

功能 原理
分片上传 切 5-20MB,并发上传,最后合并
断点续传 记录已传分片,重传只补缺
秒传 hash 校验,存在则直接引用
直传 预签名 URL,不经过业务服务端

分片大小:5-20MB,太小请求多,太大重试贵。

一句话记忆:大文件用分片+断点续传;直传对象存储,不经过业务服务端。

相关概念辨析

分片上传 vs 断点续传

  • 分片上传:大文件拆成 multipart 上传,并行加速。
  • 断点续传:记录已上传分片,失败后继续。
  • 选择:大文件用分片上传+断点续传。

秒传 vs 分片

  • 秒传:MD5 命中已存在对象,直接返回。
  • 分片:实际上传数据。
  • 选择:先秒传判断,未命中再分片上传。

05.13.2-009 分片上传的断点续传怎么实现?

频率 ★★★★ | 难度 进阶

一句话结论

分片上传:大文件拆成分片,客户端记录已上传分片;断点续传:失败后从已上传分片继续,不重新上传。

概念解释

  • 分片上传:multipart,大文件拆成 5MB~10MB 分片。
  • 断点续传:记录已上传分片,失败后继续。
  • 合并:所有分片上传完,调用合并接口。

原理流程

  1. 客户端计算文件 MD5,拆成分片。
  2. 逐片上传,记录已上传分片号。
  3. 失败后从已上传分片继续。
  4. 所有分片上传完,调用合并接口。

常见误区

  • 误区:分片上传自动断点续传。正解:客户端要记录已上传分片号。

追问延伸

  • 分片大小:一般 5MB~10MB。
  • 合并:所有分片上传完,调用 CompleteMultipartUpload。

05.13.2-010 秒传怎么实现?

频率 ★★★ | 难度 进阶

一句话结论

秒传:客户端计算文件 MD5,服务端检查 MD5 是否已存在;存在则直接返回,不实际上传。

概念解释

  • 秒传:MD5 命中已存在对象,直接返回。
  • 流程:客户端算 MD5 -> 服务端检查 -> 存在则秒传。
  • 不存在:分片上传。

原理流程

  1. 客户端计算文件 MD5。
  2. 请求服务端检查 MD5 是否已存在。
  3. 存在:直接返回,秒传。
  4. 不存在:分片上传。

常见误区

  • 误区:秒传就是分片上传。正解:秒传是 MD5 命中,分片上传是实际上传。

追问延伸

  • MD5 碰撞:MD5 可能碰撞,用 SHA-256 更安全。
  • 秒传率:热门文件秒传率高。

05.13.2-011 限速怎么实现?

频率 ★★ | 难度 进阶

一句话结论

限速在客户端做:按时间窗口控制发送速率;服务端只能限并发,不能限带宽。

概念解释

  • 客户端限速:按时间窗口控制发送速率。
  • 服务端限并发:限制同时连接数。
  • CDN 限速:按带宽限速。

原理流程

  1. 客户端:每秒发送 1MB,sleep 控制。
  2. 服务端:限制同时连接数。
  3. CDN:按带宽限速。

常见误区

  • 误区:限速是服务端做的。正解:限速主要在客户端做。

追问延伸

  • 客户端限速:token bucket 算法。
  • CDN 限速:按带宽限速。

05.13.2-012 大文件下载怎么做 range 请求?

频率 ★★ | 难度 进阶

一句话结论

大文件下载用 HTTP Range 请求,指定字节范围;客户端可并行下载多个范围,加速。

概念解释

  • Range 请求:HTTP 头 Range: bytes=0-1023。
  • 并行下载:多个连接同时下载不同范围。
  • 合并:客户端合并所有范围。

原理流程

  1. 客户端发 Range 请求:Range: bytes=0-1023。
  2. 服务端返回指定范围。
  3. 并行下载:多个连接同时下载不同范围。

常见误区

  • 误区:大文件下载要分片。正解:下载用 Range 请求,不需要分片上传。

追问延伸

  • Range 请求:HTTP/1.1 支持。
  • 并行下载:多连接加速。

场景题:10GB 视频上传怎么设计?答:分片上传(50MB/片)+ 断点续传 + 秒传(MD5 命中);客户端记录已上传分片号,失败后继续。


待整理清单

  • [ ] 分片大小权衡
  • [ ] 上传失败清理与超时
  • [ ] 大文件下载 Range 请求