罗罗编程学习记录
本页内容 展开查看

08.9.2 对象存储、CDN 与消息服务

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.9 云平台与 Serverless

覆盖范围

  • 对象存储(S3/OSS)与生命周期
  • CDN 加速与缓存策略
  • 消息队列(Kafka/RabbitMQ/RocketMQ)
  • 云厂商托管服务(RDS/Redis)
  • 存储与消息的选型

高频题速览

编号 题目 难度 频率
08.9.2-001 对象存储与文件系统区别? 基础 ★★★★
08.9.2-002 对象存储生命周期策略? 进阶 ★★★
08.9.2-003 CDN 加速原理? 基础 ★★★★
08.9.2-004 CDN 缓存如何失效? 进阶 ★★★
08.9.2-005 云消息队列解决什么? 基础 ★★★★
08.9.2-006 Kafka 与 RabbitMQ 怎么选? 进阶 ★★★★
08.9.2-007 托管 RDS 与自建数据库区别? 基础 ★★★
08.9.2-008 托管 Redis 与自建? 基础 ★★★
08.9.2-009 对象存储适合存什么?不适合存什么? 基础 ★★★★
08.9.2-010 CDN 与对象存储怎么配合? 进阶 ★★★

08.9.2-001 对象存储与文件系统区别?

一句话结论

对象存储按 key 存对象(扁平),无目录层级、可横向扩展、高可用;文件系统是块存储挂载到机器,有目录结构,容量单机有限。

概念解释

  • 对象存储:S3/OSS,key-value,海量存储,API 访问。
  • 文件系统:EFS/NFS,挂载到机器,POSIX 接口。
  • 区别:对象存储无限扩展,文件系统受单机限制。

原理流程

  1. 对象存储:PUT /object 上传,GET /object 下载。
  2. 文件系统:mount 到 /data,cp 操作。

代码 / 示例

对象存储:
  bucket: my-bucket
  key: images/photo.jpg
  -> GET https://oss/my-bucket/images/photo.jpg

文件系统:
  mount /data
  /data/images/photo.jpg

常见误区

  • 误区:对象存储就是网盘;正解:对象存储是海量存储,9 个 9 可用性,API 访问,不是 POSIX 文件系统。
  • 误区:对象存储支持随机写;正解:对象存储支持整对象覆盖,不支持部分修改,要整对象重传。

追问

  • Q:对象存储一致性? A:现代对象存储写后可读(read-after-write),最终一致已逐步消失。
  • Q:对象存储 vs 块存储? A:对象存储海量便宜,块存储高 IOPS 挂机器,对象存储不适合数据库。

08.9.2-002 对象存储生命周期策略?

一句话结论

生命周期策略自动把对象从标准存储迁到低频/归档,超期删除,降低成本。

概念解释

  • 标准:频繁访问,贵。
  • 低频(IA):不常访问,便宜。
  • 归档(Glacier/Archive):极少访问,极便宜,取回慢。
  • 删除:超期自动删。

原理流程

  1. 对象上传,存标准。
  2. 30 天后没访问,迁低频。
  3. 90 天后迁归档。
  4. 365 天后删除。

代码 / 示例

生命周期:
  0-30 天:标准
  31-90 天:低频
  91-365 天:归档
  365+ 天:删除

常见误区

  • 误区:归档立即可读;正解:归档取回要几分钟到几小时,适合冷数据,不适合在线。
  • 误区:生命周期只迁不删;正解:超期删除是合规与成本控制的关键。

追问

  • Q:如何查访问? A:对象存储访问日志,配合生命周期策略。
  • Q:版本控制? A:开版本控制,误删可恢复,旧版本按生命周期归档。

08.9.2-003 CDN 加速原理?

一句话结论

CDN 把内容缓存到全球边缘节点,用户就近访问边缘节点,减少回源与延迟;静态资源(图片/视频/JS)最适合 CDN。

概念解释

  • 边缘节点:全球部署,就近访问。
  • 缓存:内容在边缘节点缓存。
  • 回源:缓存未命中时从源站(OSS/服务器)拉。

原理流程

  1. 用户请求 cdn.example.com/image.jpg。
  2. DNS 解析到最近边缘节点。
  3. 边缘节点有缓存 -> 直接返回。
  4. 未命中 -> 回源 OSS 拉,缓存后返回。

代码 / 示例

用户 -> 北京边缘节点
  有缓存:直接返回
  无缓存:回源 OSS(华东)-> 缓存到北京边缘 -> 返回

常见误区

  • 误区:CDN 只加速静态资源;正解:CDN 也能加速动态内容(按路由缓存),但动态内容通常不缓存。
  • 误区:CDN 替代源站;正解:CDN 是缓存层,源站仍存原始内容。

追问

  • Q:CDN 如何选节点? A:DNS 按用户位置解析到最近边缘节点(GSLB)。
  • Q:CDN 缓存命中率? A:命中率高(90%+),回源少,成本低。

08.9.2-004 CDN 缓存如何失效?

一句话结论

缓存失效:主动 purge(URL 刷新)、被动过期(Cache-Control max-age)、版本化(文件名 hash 永久缓存)。

概念解释

  • purge:手动刷新 CDN 缓存,URL 或目录。
  • 过期:Cache-Control: max-age=86400 到期自动失效。
  • 版本化:文件名带 hash(app.abc123.js),内容变 hash 变,永久缓存。

原理流程

  1. 静态资源文件名带 hash,配长 max-age。
  2. 内容更新,hash 变,URL 变,自动拉新。
  3. 紧急内容用 purge。

代码 / 示例

Cache-Control: public, max-age=31536000, immutable
# app.abc123.js 永久缓存,内容变 hash 变

常见误区

  • 误区:改内容要 purge;正解:版本化(文件名 hash)避免 purge,自动刷新。
  • 误区:CDN 缓存永久;正解:CDN 按 max-age 过期,紧急用 purge。

追问

  • Q:purge 多久生效? A:通常几分钟到十几分钟全球生效。
  • Q:HTML 怎么缓存? A:HTML 短 max-age(如 60s),JS/CSS 长缓存 + hash。

08.9.2-005 云消息队列解决什么?

一句话结论

消息队列解耦服务、削峰填谷、异步处理、最终一致;应用发消息到队列,消费者异步处理,失败重试。

概念解释

  • 解耦:生产者不直接调消费者。
  • 削峰:突发流量先入队列,消费者按能力处理。
  • 异步:下单后发消息,库存/通知异步处理。
  • 重试:失败消息重新投递。

原理流程

  1. 生产者发消息到队列。
  2. 消费者拉取消息。
  3. 处理成功 ACK。
  4. 失败重试或死信队列。

代码 / 示例

下单:
  API -> MQ: order_created
  库存服务 -> 消费 order_created -> 扣库存
  通知服务 -> 消费 order_created -> 发邮件

常见误区

  • 误区:消息队列替代 RPC;正解:RPC 用于同步请求,MQ 用于异步解耦,两者配合。
  • 误区:消息队列一定可靠;正解:要配 ACK、重试、死信、持久化,否则消息丢失。

追问

  • Q:消息顺序? A:分区内有序,跨分区无序,需要顺序按 key 分区。
  • Q:重复消费? A:消费者要幂等,消息可能重复投递。

08.9.2-006 Kafka 与 RabbitMQ 怎么选?

一句话结论

Kafka 高吞吐、日志流、事件流;RabbitMQ 低延迟、路由灵活、消息确认;Kafka 适合大数据/日志,RabbitMQ 适合业务异步。

概念解释

  • Kafka:分布式日志,高吞吐(百万/s),分区持久化,回溯。
  • RabbitMQ:AMQP 协议,路由(exchange/queue),低延迟,消息确认。
  • RocketMQ:阿里开源,事务消息,适合电商。

原理流程

  1. Kafka:消息写分区日志,消费者按 offset 拉。
  2. RabbitMQ:exchange 路由到 queue,消费者 push。

代码 / 示例

Kafka:日志、事件流、大数据管道
RabbitMQ:业务异步、任务队列、路由复杂

常见误区

  • 误区:Kafka 就是消息队列;正解:Kafka 是分布式日志平台,消息队列是其用途之一。
  • 误区:RabbitMQ 比 Kafka 慢;正解:RabbitMQ 低延迟(ms 级),Kafka 高吞吐但延迟稍高。

追问

  • Q:事务消息用什么? A:RocketMQ 原生事务消息,Kafka 用事务 API,RabbitMQ 用 publisher confirm。
  • Q:云厂商 MQ? A:阿里云 RocketMQ、AWS SQS/Kafka、Azure Event Hubs,托管免运维。

08.9.2-007 托管 RDS 与自建数据库区别?

一句话结论

托管 RDS 由云厂商运维备份、高可用、补丁、监控;自建 RDS 要自己管备份、主从、故障切换;生产优先托管。

概念解释

  • 托管 RDS:云厂商管数据库实例,用户只负责数据与 schema。
  • 自建:在 ECS 上装 MySQL,自己管运维。
  • 收益:托管免运维、自动备份、只读副本、故障切换。

原理流程

  1. 买 RDS 实例,配规格。
  2. 云厂商自动主从、备份、监控。
  3. 用户通过内网连 RDS。

代码 / 示例

RDS:
  主实例 + 备实例(自动故障切换)
  自动备份(每日全量 + binlog)
  监控 CPU/慢查询

常见误区

  • 误区:托管 RDS 更贵就不用;正解:托管 RDS 省去运维成本,生产推荐。
  • 误区:托管 RDS 不能 SSH;正解:托管 RDS 不开放 SSH,通过 SQL 连接与云厂商控制台。

追问

  • Q:RDS 高可用? A:主备自动切换(30s-60s),只读副本扩展读。
  • Q:数据迁移? A:DTS(数据传输服务)在线迁移,停机短。

08.9.2-008 托管 Redis 与自建?

一句话结论

托管 Redis 由云厂商管主从、哨兵、分片、备份;自建 Redis 要自己管高可用、持久化、集群;生产用托管。

概念解释

  • 托管 Redis:云厂商管主从、分片、备份。
  • 自建:在 ECS 装 Redis + Sentinel/Cluster。
  • 收益:免运维、自动故障切换、弹性扩容。

原理流程

  1. 买 Redis 实例,配规格。
  2. 云厂商自动主从、故障切换。
  3. 用户通过内网连。

代码 / 示例

托管 Redis:
  主从 + 自动切换
  分片集群(大容量)
  备份 + 恢复

常见误区

  • 误区:托管 Redis 就是云服务器装 Redis;正解:托管 Redis 是云厂商托管服务,SLA 保证。
  • 误区:自建 Redis 更灵活;正解:托管 Redis 也支持持久化、分片,且免运维。

追问

  • Q:Redis 持久化? A:RDB + AOF,云厂商自动配置。
  • Q:如何选规格? A:按内存与 QPS,云厂商自动扩容。

08.9.2-009 对象存储适合存什么?不适合存什么?

一句话结论

对象存储适合存静态文件、图片视频、备份、日志归档;不适合存数据库、需要随机读写的文件系统、频繁修改的小文件。

概念解释

  • 适合:图片、视频、安装包、备份、日志归档、静态网站。
  • 不适合:数据库数据(要块存储)、文件系统(要 EFS)、频繁修改。

原理流程

  1. 静态文件传 OSS。
  2. 通过 CDN 分发。
  3. 数据库用块存储/RDS。

代码 / 示例

适合:
  图片/视频、备份、日志归档、静态资源

不适合:
  MySQL 数据文件(要块存储)、频繁随机写

常见误区

  • 误区:对象存储替代文件系统;正解:对象存储不支持 POSIX,不能挂到机器当盘用。
  • 误区:对象存储存数据库备份;正解:数据库备份可以放对象存储,但运行时数据不能。

追问

  • Q:对象存储 vs 块存储? A:对象存储海量便宜,块存储高 IOPS;数据库用块存储。
  • Q:小文件多怎么办? A:打包成 tar/zip 减少对象数,避免 list 成本高。

08.9.2-010 CDN 与对象存储怎么配合?

一句话结论

对象存储存原始文件,CDN 缓存到边缘节点,用户访问 CDN 域名,回源 OSS;静态资源架构:OSS + CDN + 自定义域名。

概念解释

  • OSS:源站,存原始文件。
  • CDN:边缘缓存。
  • 自定义域名:CNAME 到 CDN 域名。

原理流程

  1. 文件上传 OSS。
  2. CDN 域名 CNAME 到 OSS。
  3. 用户访问 CDN 域名。
  4. CDN 缓存未命中回源 OSS。

代码 / 示例

用户 -> cdn.example.com
  -> CDN 边缘节点
  -> 未命中 -> 回源 OSS(my-bucket.oss-cn-east.aliyuncs.com)

常见误区

  • 误区:CDN 直接连源站服务器;正解:CDN 源站用 OSS,更稳定、成本低。
  • 误区:OSS 直接暴露公网;正解:OSS 设私有,CDN 通过回源密钥访问。

追问

  • Q:如何防盗链? A:CDN 配 Referer 白名单或 URL 签名。
  • Q:OSS 权限? A:私有 bucket,CDN 回源时带签名,用户通过 CDN 访问。

待整理清单

  • [ ] 对象存储权限与预签名 URL
  • [ ] CDN 动态加速与边缘计算
  • [ ] 云消息队列(Kafka/RocketMQ)运维
  • [ ] 多云存储与迁移