06.5.8.14 搜索服务与对象存储
所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.5 PHP 后端 / 06.5.8 PHP 配套技术栈
06.5.8.14-001 Elasticsearch 的核心模型有哪些概念?
一句话结论
ES 由索引(index)、文档(document)、字段(field)、分片(shard)与副本(replica)组成;底层基于倒排索引实现关键词检索,分片分散数据与并行计算,副本提供高可用。
概念解释
索引是同类文档的集合,类似数据库表;文档是 JSON 记录,类似一行数据;mapping 定义字段类型。主分片把索引水平切开,副本是主分片的拷贝。倒排索引由词项到文档列表的映射构成,支持按关键词快速定位文档。集群、节点与分片的具体行为随版本变化,未连实例前标注待确认。
原理流程
- 按业务实体定义索引与 mapping 字段类型。
- 写入文档时分词生成倒排项,落到对应分片。
- 查询在相关分片并行执行,结果汇总排序返回。
- 副本分担读请求并在主分片故障时接替。
代码或图示
// 文档示例:ES 文档结构(HTTP/SDK 调用形式以项目客户端为准,待确认)
// 索引:items
// 文档:{"id": 501, "title": "智能手机", "category": "phone", "price": 3999}
// 分片:主分片数创建后不可随意变更;副本数可动态调整
// 待确认:集群版本、分片与副本默认值以实例配置为准
常见误区
- 把 ES 当关系型数据库:它是搜索分析引擎,不支持跨表事务与强关联查询。
- 索引不设 mapping 依赖动态推断:字段类型被自动推断固化,后续调整成本高。
追问
- 主分片与副本分片区别?答:主分片承载写入与权威数据,副本提供冗余与读扩展;副本不承担主分片写入权威。
- 一个文档怎么落到分片?答:按文档 ID 哈希到主分片,具体路由算法以版本实现为准。
06.5.8.14-002 mapping 字段类型如何选择?
一句话结论
全文检索用 text(分词),精确匹配/聚合/排序用 keyword;数值、日期、布尔按对应类型声明;是否索引、是否存储 doc_values 按访问模式决定。
概念解释
text 字段会分词并建立倒排索引,用于全文搜索;keyword 保留原值,用于精确过滤、排序与聚合。同一字段可同时配置 text 与 keyword 子字段。doc_values 支持排序聚合,占磁盘;不需要聚合的字段可关闭。字段类型一旦写入数据后修改受限,通常需重建索引。
原理流程
- 梳理字段访问方式:搜索匹配、精确过滤、排序还是聚合。
- 文本字段配 text,标识/状态/标签配 keyword。
- 数值与日期用对应类型,避免字符串存储无法范围计算。
- 评估索引与 doc_values 开销,关闭不需要的能力。
代码或图示
// 文档示例:mapping 方向(JSON 写在索引定义中)
// "title": {"type": "text", "fields": {"keyword": {"type": "keyword"}}}
// "status": {"type": "keyword"}
// "price": {"type": "scaled_float"}
// "created_at": {"type": "date"}
常见误区
- 所有文本都用 text:精确匹配与聚合无法高效执行。
- 所有字段都开索引与 doc_values:磁盘膨胀,写入变慢。
追问
- 字段类型写错怎么改?答:新建正确 mapping 的索引, reindex 迁移后用别名切换。
- text 字段能排序吗?答:应使用其 keyword 子字段排序聚合,text 原值不适合排序。
06.5.8.14-003 分词器与中文分词如何配置?
一句话结论
analyzer 由字符过滤、分词器、词项过滤组成;中文搜索需要中文分词插件(如 IK 类分词器,名称与版本待确认),选择 ik_smart 粗粒度或 ik_max_word 细粒度,并按需配置同义词与停用词。
概念解释
索引时用索引分词器切词建倒排,查询时用查询分词器解析关键词;两者配置不一致会导致检索命中率下降。英文按空格与词干处理,中文需词典分词。同义词扩展召回,停用词过滤无意义高频词。分词插件是否安装在本机未核实,标注待确认。
原理流程
- 确定字段检索语言,选择对应分词器。
- 安装/配置中文分词插件,选择粗切或细切模式。
- 配置同义词词典与停用词表,评估召回与噪音。
- 用测试关键词验证分词结果与命中情况。
代码或图示
// 文档示例:分词配置方向(插件与参数以集群版本为准,待确认)
// 索引配置:analysis.analyzer.default 指向中文分词器
// 粗粒度:ik_smart,适合搜索词较短
// 细粒度:ik_max_word,召回更全但索引体积更大
// 同义词:配置同义词词典,更新后需刷新索引生效
常见误区
- 用标准分词器处理中文:整句被单字切分,搜索质量差。
- 索引与查询分词器不一致:相同文本两侧切词不同,匹配丢失。
追问
- 分词词典怎么更新?答:维护自定义词表与停用词表,更新后刷新相关索引;热更新能力以插件版本为准。
- 多语言混排怎么处理?答:按字段分别配置分词器,混合内容评估组合分析器。
06.5.8.14-004 相关性评分与排序如何控制?
一句话结论
ES 按相关度评分(BM25 等模型,具体默认模型待确认)排序;可通过字段权重 boost、查询子句组合、显式排序字段干预结果;业务排序(销量、时间、价格)与文本相关度要分层处理。
概念解释
评分综合词项频率、文档频率与字段长度等因素;bool 查询用 must/should/filter 组合条件,should 子句贡献评分,filter 只过滤不打分。业务需要固定排序时可指定字段排序,混合排序用多字段优先级。调优时用解释接口查看评分构成,不凭感觉改权重。
原理流程
- 区分条件过滤(filter)与相关匹配(must/should)。
- 对重要字段设置 boost 权重,观察结果变化。
- 业务排序需求叠加显式排序字段(时间、销量、价格)。
- 用评分解释接口核对排序依据,固化查询模板。
代码或图示
// 文档示例:查询组合方向(DSL 写在查询请求中)
// bool:
// must: match title(参与评分)
// filter: term category / range price(只过滤)
// should: match tags(加分)
// sort: 可按 created_at / 销量字段显式排序
常见误区
- 所有条件都走 must:过滤条件也参与评分,结果排序被无关因子干扰。
- 权重随意加大:个别字段淹没其他匹配,结果不可解释。
追问
- filter 与 query 区别?答:filter 不计算评分且可缓存,适合精确条件;query 参与相关度评分。
- 排序兜底怎么做?答:主排序字段相同时用文档 ID 或评分做次排序,保证结果稳定。
06.5.8.14-005 文档写入的近实时流程是怎样的?
一句话结论
写入先到内存缓冲区并写 translog,刷新(refresh)后生成可搜索段,近实时可见;刷盘(flush)提交段并清理 translog;批量写入用 bulk 提升吞吐。
概念解释
ES 写入不是立刻可搜:refresh 周期内新文档在内存段中,刷新后生成可搜索 Lucene 段。translog 保证崩溃后未刷盘数据可恢复。段不可变,合并(merge)控制段数量。refresh/flush 间隔与 translog 配置影响可见延迟与可靠性,默认值待确认。
原理流程
- 文档写入对应分片内存缓冲区,同时记录 translog。
- 到达 refresh 周期,缓冲区生成新段并开放搜索。
- flush 时段持久化到磁盘,清空 translog。
- 后台 merge 合并小段,控制段数量与查询性能。
代码或图示
// 文档示例:写入要点
// bulk 批量提交,减少网络往返
// 可见延迟:受 refresh 间隔影响,非写入即可搜
// 可靠性:translog 记录未刷盘变更,崩溃后恢复
// 待确认:refresh_interval、flush 策略默认值以集群配置为准
常见误区
- 写入后立刻查询不到就判故障:可能处于 refresh 窗口内。
- 单条循环写入:吞吐低、段生成频繁,应批量提交。
追问
- 为什么段不可变?答:简化并发与缓存,删除/更新通过标记与合并完成。
- 强一致读怎么处理?答:ES 不提供事务级强一致;关键数据以 MySQL 为准,搜索结果允许短暂延迟。
06.5.8.14-006 常见查询类型分别适用什么场景?
一句话结论
term/terms 精确匹配,match 全文分词匹配,range 范围过滤,bool 组合多条件,聚合做分组统计;分页与排序按查询结果规模选择方案。
概念解释
term 匹配未分词的原值,适合状态、标签、ID;match 对查询词分词后匹配 text 字段;range 处理数值、日期区间;bool 组合 must/filter/should/must_not;aggregation 按维度分组计数统计。查询设计先过滤后匹配,减少参与评分的文档量。
原理流程
- 拆解查询条件:精确值、全文词、范围、排除项。
- 精确与范围条件放 filter,全文匹配放 must/should。
- 用 bool 组合各子句,必要时加聚合统计。
- 按结果规模选择分页方式并限制返回字段。
代码或图示
// 文档示例:查询类型对照
// term: {"term": {"status": "on_sale"}}
// match: {"match": {"title": "智能手机"}}
// range: {"range": {"price": {"gte": 1000, "lte": 5000}}}
// bool: 组合 must / filter / must_not
// aggs: 按 category 分组统计商品数
常见误区
- 用 match 查 keyword 标识:分词后精确值被切,匹配不到。
- 聚合大结果集不分页限制:内存与响应时间压力大。
追问
- 多字段匹配用什么?答:multi_match 在多个 text 字段间匹配,字段权重可分别设置。
- 查询结果字段能裁剪吗?答:通过 _source 过滤或字段请求只返回需要字段,减少传输量。
06.5.8.14-007 深度分页有哪些方案,from + size 有什么限制?
一句话结论
from + size 深分页需协调节点收集各分片前 from+size 条再排序,深度偏移代价高;深翻页用 search_after 按排序游标继续,导出全量用 scroll/快照类方案。
概念解释
from 跳过偏移量、size 取条数,跨分片查询时每个分片都要取到 from+size 条,偏移越大排序与传输成本越高,并有结果窗口上限。search_after 基于上一页最后一条的排序值定位下一页,适合无限滚动;scroll 面向批量导出,上下文保持一段时间。具体上限参数以版本为准,待确认。
原理流程
- 浅分页(前几页)用 from + size。
- 深翻页记录上一页排序字段值,用 search_after 取下一页。
- 全量导出使用 scroll 或按时间/ID 分批拉取。
- 避免跳页式深分页,产品侧限制可翻深度。
代码或图示
// 文档示例:分页方案方向
// 浅分页:from=0, size=20
// 深分页:sort 字段 + search_after=[上一页末条排序值]
// 导出:scroll 保持上下文,分批拉取后清理
// 限制:from + size 窗口有上限,超窗报错需换方案
常见误区
- 后台导出用深分页翻页:越翻越慢,占用集群资源。
- search_after 排序字段不唯一:游标定位不稳定,需加唯一字段兜底。
追问
- 跳页需求怎么支持?答:搜索场景一般只提供上一页/下一页;跳页按浅分页处理,深页引导缩小条件。
- scroll 上下文要释放吗?答:用完及时清理,避免上下文长期占用集群内存。
06.5.8.14-008 MySQL 数据如何同步到 ES?
一句话结论
同步方式分应用双写、MQ 异步投递、binlog 订阅与离线全量重建;增量同步保证变更可达,全量重建用于索引初始化与修复,方案按一致性要求与架构栈选择。
概念解释
双写在业务写库后直接写 ES,链路短但耦合高、失败补偿复杂;MQ 异步解耦,业务事件投递后由消费者写 ES;binlog 订阅捕获数据库变更再同步,对应用侵入小;离线任务做全量初始化与对账修复。各方案都需要处理失败重试与一致性兜底。
原理流程
- 初始化:离线全量导出 MySQL 数据批量写入 ES。
- 增量:业务变更经双写/MQ/binlog 捕获后同步到 ES。
- 失败重试:同步失败进入重试或补偿队列,记录失败文档。
- 对账:定期比对 MySQL 与 ES 文档差异,修复缺失与陈旧数据。
代码或图示
// 文档示例:同步链路方向
// 全量:批量读取 MySQL → bulk 写入 ES
// 增量:业务事件 → MQ → 消费者写 ES(携带文档 ID 与变更类型)
// 补偿:对账任务找出 ES 缺失/陈旧文档,回补或删除
// 待确认:binlog 订阅组件与 MQ 选型以项目基础设施为准
常见误区
- 只做增量不做全量基线:初始 ES 数据不全,增量无法补齐历史。
- 同步失败直接丢弃:陈旧数据长期留在搜索结果中。
追问
- 双写顺序先库还是先 ES?答:以数据库为准,先提交库再写 ES;ES 失败由补偿链路修复,不阻塞主事务。
- 删除操作怎么同步?答:变更事件携带删除标记,ES 侧删除对应文档;避免商品下架后仍被搜到。
06.5.8.14-009 MySQL 与 ES 之间如何保证最终一致?
一句话结论
ES 是派生搜索视图,允许短暂延迟;通过变更事件可靠投递、消费幂等、失败重试与定期对账收敛不一致,关键数据以 MySQL 为准,不追求跨存储强一致。
概念解释
不一致来源:ES 写入失败、消息丢失、消费重复、更新顺序错乱。兜底手段包括消息重试、去重幂等、按版本号防旧覆盖新、对账任务修复。同步延迟窗口要在产品侧说明(如刚发布商品短暂搜不到)。顺序错乱可用文档版本或更新时间戳判断新旧。
原理流程
- 变更事件携带业务键、变更类型与版本/时间戳。
- 消费者幂等写入,旧版本不覆盖新版本。
- 失败进入重试与死信,记录待修复文档。
- 定期对账比对数量与关键字段,回补缺失、清理陈旧。
代码或图示
// 文档示例:一致性兜底
// 事件:{id, op: upsert/delete, version, payload}
// 消费:按文档 ID 幂等;version 旧于现有文档则跳过
// 对账:MySQL 与 ES 按 ID 集合比对,差异生成修复任务
// 口径:搜索结果允许秒级延迟,交易与库存以 MySQL 为准
常见误区
- 要求 ES 与 MySQL 实时强一致:架构成本高且无必要,搜索场景接受最终一致。
- 不做对账:偶发失败累积成长期数据漂移。
追问
- 旧消息覆盖新数据怎么防?答:事件带版本号或更新时间,写入时比较,旧版本拒绝覆盖。
- 对账发现差异怎么修?答:按差异类型回补缺失、删除陈旧、修正字段;修复记录可追溯。
06.5.8.14-010 索引重建与别名切换如何做到不停机?
一句话结论
为索引配置别名,重建时写入新索引,全量迁移与校验完成后把别名切到新索引;旧索引保留观察期后删除,切换过程业务侧只感知别名。
概念解释
mapping 变更、分词调整或结构升级无法在原索引原地完成。流程:创建新索引 → 全量 reindex/同步 → 校验文档数量与抽样内容 → 别名原子切换 → 观察后删旧索引。别名是业务访问的固定入口,切换不改变应用查询地址。
原理流程
- 新建目标索引,配置新 mapping 与分词。
- 全量迁移历史数据,增量变更双写到新旧索引过渡。
- 校验数量、抽样字段与搜索结果一致。
- 别名指向切换到新索引,旧索引保留一个观察周期后清理。
代码或图示
// 文档示例:重建流程方向
// 1. 创建 items_v2(新 mapping)
// 2. reindex 全量 + 增量双写
// 3. 校验:文档数、抽样字段、关键词命中
// 4. 别名 items 指向 items_v2;items_v1 观察后删除
// 别名切换为原子操作,应用查询地址不变
常见误区
- 直接在旧索引改 mapping:类型冲突或写入失败,只能重建。
- 切换前不做增量双写:重建期间新变更丢失。
追问
- 重建期间双写压力大吗?答:过渡期新旧索引都写,评估写入吞吐与集群资源。
- 切换后发现问题怎么回退?答:别名切回旧索引;前提是旧索引与增量数据仍保留。
06.5.8.14-011 ES 集群容量与分片如何规划?
一句话结论
分片数按数据量与单分片大小规划,副本数按读负载与可用性设定;监控磁盘水位、分片大小与查询延迟,避免分片过多或单分片过大。
概念解释
单分片过大影响查询与恢复速度,分片过多增加元数据与开销。主分片数在索引创建后难以调整,需预留容量;副本可动态增减。磁盘水位达到阈值会触发只读保护。容量规划结合文档量、单文档大小、保留周期与增长速度,具体阈值默认值待确认。
原理流程
- 估算总数据量与单文档大小,按目标单分片大小推算分片数。
- 按读请求量确定副本数,平衡冗余与资源。
- 监控磁盘水位、分片大小、查询与写入延迟。
- 数据增长后通过新索引滚动扩容,而非无限加大旧索引分片。
代码或图示
// 文档示例:容量规划方向
// 单分片目标大小:按集群经验区间设定(具体数值待确认)
// 副本:读多写少适当增加,写入密集控制副本数
// 监控:磁盘水位 / 分片数 / 段数量 / 查询延迟
// 扩容:按时间或业务分新索引,旧索引到期关闭或删除
常见误区
- 分片数按节点数拍脑袋:不结合数据量,单分片过大或过小。
- 长期不清理历史索引:磁盘占满触发只读,影响写入。
追问
- 分片不均怎么排查?答:查看各分片文档量与大小,定位路由倾斜;必要时调整路由键。
- 副本能提升写入性能吗?答:副本增加冗余与读能力,写入需同步到副本,不提升单分片写入上限。
06.5.8.14-012 对象存储的基本概念有哪些?
一句话结论
对象存储以 bucket(存储桶)隔离命名空间,object(对象)由 key(对象键)、数据与元数据组成;通过 HTTP/SDK 访问,数据分布式冗余存储,适合文件、图片、附件等非结构化数据。
概念解释
bucket 是顶层容器,名称全局唯一(按服务商规则);key 是对象在桶内的路径标识;对象包含数据、类型、大小、校验值与自定义元数据。对象不可变,更新通常是覆盖写入新对象。存储服务与应用服务器分离,文件不占用应用磁盘与备份空间。
原理流程
- 按业务划分 bucket 或目录前缀,规划 key 命名规范。
- 上传对象写入数据与元数据,返回访问标识。
- 下载/访问按 key 获取对象或生成访问链接。
- 生命周期规则控制过期对象清理与分层存储。
代码或图示
// 文档示例:对象标识方向
// bucket: app-assets
// key: items/2001/cover-abc123.jpg
// 元数据:Content-Type / 大小 / ETag / 业务关联 ID
// 应用数据库只存 bucket 与 key,不存文件二进制
常见误区
- 把文件存在应用服务器本地:实例替换丢失,多实例不一致,备份困难。
- key 用原始文件名:重名覆盖,应加业务目录与随机/唯一标识。
追问
- 对象存储有目录概念吗?答:key 前缀模拟目录层级,实际是扁平键空间。
- 桶名有什么约束?答:按服务商命名规则(全局唯一、字符与长度限制),具体规则待确认。
06.5.8.14-013 文件上传有哪几种方式,各自适用场景?
一句话结论
分服务端中转上传、前端直传对象存储两种;小文件或需要服务端校验时走中转,大文件/高并发上传走前端直传减轻应用服务器压力。
概念解释
服务端中转:浏览器先传到应用服务器,由后端转存对象存储,链路可控但占用应用带宽与磁盘。前端直传:后端签发临时凭证/预签名 URL,浏览器直接上传到对象存储,应用服务器只参与鉴权与元数据记录。直传需要处理跨域、回调确认与失败重试。
原理流程
- 评估文件大小、并发量与校验要求选择上传方式。
- 中转方式:后端接收文件、校验后转存,记录元数据。
- 直传方式:后端生成签名凭证,前端直传完成后回调登记。
- 上传结果入库:key、大小、类型、校验值与业务关联。
代码或图示
// 文档示例:两种链路
// 中转:浏览器 → 应用服务(校验/病毒扫描)→ 对象存储
// 直传:浏览器 ← 后端签发预签名 URL → 浏览器直传对象存储 → 回调后端登记
// 元数据入库:bucket / key / size / mime / 校验值 / 业务 ID
常见误区
- 大文件走应用中转:应用带宽与磁盘被上传占满,影响在线接口。
- 直传后不回调登记:对象已上传但业务库无记录,成为孤儿文件。
追问
- 直传怎么做文件类型校验?答:后端在签名时限定 MIME 与大小,对象存储侧限制;关键文件可服务端二次校验。
- 上传中断怎么续传?答:大文件用分片上传,记录已传分片,断点继续(见后续分片题目)。
06.5.8.14-014 预签名 URL 的原理与使用注意点是什么?
一句话结论
预签名 URL 由后端用访问密钥按请求方法、对象键、有效期与策略签名生成,持有 URL 的方可在有效期内执行指定操作;密钥不下发前端,签名过期即失效。
概念解释
签名计算把 HTTP 方法、bucket/key、过期时间、请求头/策略纳入待签内容,用密钥计算签名串;对象存储收到请求后重新计算比对。预签名可限定上传或下载、有效期长短、内容类型与大小。密钥只存在服务端,前端只拿到带签名的临时 URL。有效期按操作需要设定,避免过长暴露风险。
原理流程
- 后端鉴权确认用户可操作该业务文件。
- 按方法、key、过期时间与限制策略计算签名,生成 URL。
- 前端在有效期内用 URL 直传/下载。
- 对象存储校验签名与策略,拒绝过期或越权请求。
代码或图示
// 文档示例:签名方向(SDK 方法名与签名算法以服务商为准,待确认)
// 后端:生成上传预签名 URL,限定 key、Content-Type、大小与过期时间
// 前端:PUT/POST 直传,完成后回调后端登记元数据
// 下载:私有对象生成有时效的下载链接,不暴露长期公开地址
// 禁止:前端持有长期访问密钥自行签名
常见误区
- 签名有效期设很长:URL 泄露后长期可被利用。
- 签名不限定策略:拿到 URL 可改传任意类型/大小文件。
追问
- 预签名 URL 能转赠吗?答:有效期内持有 URL 即可操作,因此后端鉴权与短有效期是前提。
- 下载链接如何防越权?答:按业务归属签发,链接只对该对象有效;敏感文件配合后端鉴权代理。
06.5.8.14-015 文件访问控制如何设计?
一句话结论
对象按私有读写为主,通过临时签名 URL 或后端鉴权代理开放访问;公开资源设公共读并配合 CDN,敏感文件不走公开链接;访问权限与业务归属在后端校验。
概念解释
私有对象不允许匿名访问,下载时由后端校验业务权限后签发临时链接;或由后端代理读取对象流式返回。公共读资源(静态图片、文档)可公开访问,但要控制 key 不可猜测并配合 CDN 缓存。权限粒度到业务对象归属,不能只靠链接隐蔽性。
原理流程
- 区分公开资源与私有资源,分别设置桶/对象访问策略。
- 私有访问:后端鉴权 → 签发临时链接或代理流式返回。
- 公开访问:公共读 + CDN,key 前缀不可枚举。
- 定期核查权限配置,避免桶被误设为公开写。
代码或图示
// 文档示例:访问控制分层
// 私有:默认私有;下载走鉴权 + 预签名 URL
// 代理:后端校验归属后流式转发对象内容
// 公开:公共读静态资源,CDN 缓存,防盗链与 Referer 校验
// 核查:定期扫描桶策略,禁止公开写权限
常见误区
- 靠 key 随机就把文件设公开读:链接泄露即可下载,敏感文件必须私有。
- 后端代理不过滤权限:任意 key 都能取回对象,形成越权下载。
追问
- 图片需要页面内展示怎么办?答:私有图片签发短有效期图片 URL,或后端鉴权后代理输出;页面不可直接挂长期公开地址。
- 桶策略误公开怎么发现?答:配置审计与定期扫描告警,发现后立即回收权限。
06.5.8.14-016 CDN 缓存与回源如何配合对象存储?
一句话结论
公开对象经 CDN 边缘缓存,按缓存键与过期策略回源对象存储;更新文件需刷新缓存或带版本标识,防盗链与访问控制在边缘层补充。
概念解释
CDN 缓存静态资源,降低回源压力与访问延迟。缓存键通常含域名与路径;过期或未命中回源对象存储。文件内容更新时,同名资源需主动刷新 CDN 或改用带哈希/版本的新文件名。防盗链通过 Referer/签名校验限制来源。私有内容不走普通 CDN 公开缓存。
原理流程
- 公开资源配置 CDN 加速域名与缓存规则。
- 请求命中边缘缓存直接返回;未命中回源对象存储。
- 内容更新:刷新节点缓存或使用版本化文件名。
- 边缘层配置 Referer/签名防盗链,限制非法来源。
代码或图示
// 文档示例:CDN 配合方向
// 缓存键:域名 + 对象 key
// 过期:按资源类型设缓存时长
// 更新:刷新 URL/目录,或文件名带内容哈希
// 防盗链:Referer 白名单 / 签名 URL 校验
// 私有文件:不经公开 CDN 缓存,走鉴权链路
常见误区
- 同名覆盖更新不刷新 CDN:用户长时间拿到旧文件。
- 动态/私有内容走公开缓存:可能跨用户泄露内容。
追问
- 缓存命中率怎么看?答:CDN 指标统计命中与回源比例;低命中率检查缓存时长与键规则。
- 回源限流怎么做?答:CDN 回源带宽与对象存储限流配合,避免缓存失效时打垮源站。
06.5.8.14-017 大文件分片上传与断点续传如何实现?
一句话结论
大文件在前端切片,分片依次上传到对象存储,记录已传分片;中断后按分片清单续传,全部完成后通知服务端合并;失败分片单独重传。
概念解释
分片上传把文件切成固定大小块,并行或顺序上传,对象存储维护分片列表;合并后生成完整对象。断点续传依赖已成功分片记录与分片标识,重连后只传缺失分片。服务端在合并后校验整体大小与校验值,清理临时分片。具体分片 API 与并发参数以服务商 SDK 为准,待确认。
原理流程
- 前端初始化分片上传,获得上传标识。
- 切片逐片上传,记录成功分片编号与 ETag。
- 中断后读取分片清单,只续传缺失分片。
- 全部完成后请求合并,后端校验大小/校验值并登记元数据。
代码或图示
// 文档示例:分片流程方向
// 初始化:获取 upload id
// 分片:part 编号 + 数据 + 校验,记录成功分片
// 续传:比对本地清单与已传分片,补传缺失片
// 合并:complete multipart → 校验整体 → 登记入库
// 清理:失败/超时分片由生命周期规则回收
常见误区
- 不分片整体上传大文件:单次请求超时风险高,中断需全部重传。
- 合并前不校验:分片错乱或缺失导致损坏文件入库。
追问
- 分片大小怎么定?答:按文件大小与上传网络环境权衡,片数过多增加管理开销,片过大失去续传意义。
- 分片上传临时空间怎么回收?答:未完成的上传按生命周期规则定期清理,避免占用存储。
06.5.8.14-018 文件元数据如何与业务数据关联?
一句话结论
业务库记录对象 key、大小、类型、校验值、上传时间与业务关联 ID;对象本体存对象存储,数据库只存引用与元数据,便于权限判断、列表展示与孤儿文件清理。
概念解释
元数据是文件与业务的桥梁:商品封面关联商品 ID,附件关联工单。记录校验值用于完整性校验,大小与 MIME 用于展示与限流。删除业务记录时按元数据清理对应对象;无业务引用的对象定期扫描清理。元数据与对象状态一致:直传回调后才标记为已绑定。
原理流程
- 上传成功后写入元数据记录:bucket/key/size/mime/校验值。
- 关联业务 ID 与上传者标识(脱敏记录)。
- 业务删除时按记录删除对象或标记待清理。
- 定期扫描无引用对象,对账清理孤儿文件。
代码或图示
// 文档示例:元数据字段方向
// file_id / bucket / key / size / mime / etag 校验值
// 业务关联:target_type / target_id
// 状态:已绑定 / 待回调 / 已删除
// 对账:列出存储对象与业务记录,双向找出孤儿与缺失
常见误区
- 业务库只存文件名不存完整 key:重名与目录变更后无法定位对象。
- 上传成功不写元数据:对象成为孤儿文件,长期占用存储。
追问
- 元数据存哪张表?答:按业务域建文件表或通用附件表,关联字段指向业务记录。
- 文件被覆盖怎么追踪?答:对象版本或新 key 区分历史版本,元数据记录当前版本标识。
06.5.8.14-019 对象版本控制与删除策略如何管理?
一句话结论
需要保留历史版本的对象开启版本控制,更新生成新版本;不需要历史的对象直接覆盖;过期与临时对象按生命周期规则自动清理,删除流程业务库与存储双向对齐。
概念解释
版本控制下同名写入产生新版本,误删可恢复;存储成本随版本增长。生命周期规则按前缀/天数自动过期、转冷存储或删除。业务删除分软删除(保留期可恢复)与硬删除(立即清理)。临时分片、头像原图等按业务价值设定保留策略。
原理流程
- 评估对象是否需要历史版本,决定是否开启版本控制。
- 更新对象:版本化场景生成新版本,非版本化直接覆盖。
- 配置生命周期规则:过期清理、分层存储、临时分片回收。
- 业务删除同步清理存储对象,定期对账无残留。
代码或图示
// 文档示例:版本与清理方向
// 版本控制:关键文档/图片保留历史版本,记录版本 ID
// 生命周期:按前缀 + 天数自动过期删除
// 临时文件:分片、待回调附件设短保留期
// 删除:业务库标记 + 存储删除,对账检查孤儿对象
常见误区
- 所有对象开版本控制:存储成本随历史版本无限增长。
- 业务删除只删数据库记录:对象残留成为孤儿占用空间。
追问
- 误删怎么恢复?答:开启版本控制的桶可从历史版本恢复;未开启版本控制的删除不可恢复。
- 冷存储适合什么数据?答:访问频率低、长期留存的归档文件;取回有延迟与成本,按业务价值选择。
06.5.8.14-020 PHP 接入 ES 与对象存储有哪些落地注意点?
一句话结论
PHP 通过 HTTP 客户端或官方 SDK 对接,封装统一访问层处理超时、重试与错误映射;当前环境无 ES/对象存储实例,客户端版本、配置默认值与返回结构待确认,接入前需实测核对。
概念解释
PHP 无内置 ES/对象存储扩展,通常用 Composer SDK 或 HTTP 客户端调用 REST 接口。封装层隔离客户端差异:连接超时、读超时、重试次数、错误码映射与日志记录。凭证走环境变量注入,不写进代码与仓库。批量操作、连接复用与限速按服务端能力配置。本机 PHP 8.5.9 CLI,未实测相关 SDK 与服务端行为。
原理流程
- 确认可用 SDK/HTTP 客户端与版本,安装到 Composer 依赖。
- 配置端点、凭证与超时重试参数,走环境变量注入。
- 封装查询/写入/上传/下载接口,统一异常与日志。
- 连实例后核对字段映射、签名行为与返回结构,标注待确认项。
代码或图示
// 文档示例:接入封装方向
// 客户端:SDK 或 HTTP 客户端,超时 connect/read 分别配置
// 重试:网络错误有限次重试,业务错误不盲目重试
// 凭证:getenv('ES_ENDPOINT') / getenv('OSS_AK') 等,不入库
// 日志:记录操作类型、对象/索引标识、耗时与错误摘要
// 待确认:SDK 包名版本、服务端默认值、分页上限以实例实测为准
常见误区
- 把凭证写死在配置文件或代码:仓库与镜像层泄露风险。
- 不设超时:服务端抖动时长连接拖住 PHP-FPM worker。
追问
- 客户端连接需要池化吗?答:FPM 短请求场景按客户端连接复用能力配置;HTTP 连接保持与超时结合,避免空闲连接堆积。
- 接入前要验证哪些事实?答:SDK 可用性、服务端版本、索引/桶权限、网络可达与配额限制,逐项记录实测结果。