罗罗编程学习记录
本页内容 展开查看

07.9.4 IM 架构与扩容(单聊/群聊、扩散写、历史存储)

所属:全栈开发面试题库 / 07 端侧与桌面开发 / 07.9 推送与 IM

覆盖范围

  • IM 整体架构:接入层、逻辑层、存储层
  • 单聊与群聊的消息模型
  • 扩散写:群消息写入每个成员的收件箱
  • 历史消息存储与索引
  • 扩容方案:分库分表、水平扩展

高频题速览

编号 题目 难度 频率
07.9.4-001 IM 的整体架构是什么? 基础 ★★★★
07.9.4-002 群聊的扩散写是什么? 进阶 ★★★★★
07.9.4-003 单聊消息怎么存储? 基础 ★★★
07.9.4-004 大群(1000+人)怎么设计? 高级 ★★★
07.9.4-005 历史消息怎么存和查? 进阶 ★★★
07.9.4-006 IM 怎么扩容? 进阶 ★★
07.9.4-007 消息已读数怎么统计? 进阶 ★★
07.9.4-008 群成员上下线怎么通知? 基础 ★★
07.9.4-009 消息撤回和删除的区别? 基础 ★★
07.9.4-010 如何保证消息不重复消费? 进阶 ★★

07.9.4-001 IM 的整体架构是什么?

频率 ★★★★ | 难度 基础

一句话结论

IM 分三层:接入层(长连接服务器,管理连接)、逻辑层(消息路由、群组管理、推送)、存储层(消息数据库、缓存);接入层负责连接和收发,逻辑层处理业务,存储层持久化消息。

概念解释

  • 接入层:WebSocket/TCP 服务器,维护长连接,负责消息收发。
  • 逻辑层:消息路由(谁发给谁)、群组管理、离线消息、推送。
  • 存储层:MySQL/Redis 存消息、用户、群组。

常见误区

  • 误区:IM 就是长连接服务器;正解:长连接只是接入,还有业务和存储层。
  • 误区:所有逻辑都在接入层;正解:接入层只管连接,业务逻辑在逻辑层。

追问 / 延伸

  • 怎么分层?接入层无状态,逻辑层无状态,存储层有状态。
  • 各层怎么扩容?接入层水平扩容(加机器),逻辑层水平扩容,存储层分库分表。

07.9.4-002 群聊的扩散写是什么?

频率 ★★★★★ | 难度 进阶

一句话结论

扩散写(Fan-out)是群消息存储方案:一条群消息写入时,给每个群成员的收件箱都写一份(扩散到所有人);好处是每个成员拉取历史消息时直接读自己的收件箱,快;坏处是大群(1000人)一条消息写 1000 次,写放大严重。

概念解释

  • 扩散写:发一条群消息 → 写入 N 个成员的收件箱。
  • 优点:读快(每人读自己的收件箱)。
  • 缺点:写放大(大群一条消息写很多次)。

常见误区

  • 误区:群消息只存一份;正解:扩散写是每个成员一份,读快但写慢。
  • 误区:扩散写适合大群;正解:大群写放大严重,大群用「读扩散」。

追问 / 延伸

  • 读扩散是什么?消息只存一份,拉取时实时查群成员和消息,读慢但写快。
  • 怎么选?小群用扩散写(读多写少),大群用读扩散(写多读少)。

07.9.4-003 单聊消息怎么存储?

频率 ★★★ | 难度 基础

一句话结论

单聊消息存在会话表中:按会话 id(A 和 B 的唯一标识)分表,每条消息有自增序号;每个用户的会话列表存最近一条消息和未读数;历史消息按会话分页查询。

概念解释

  • 会话 id:两个用户的唯一标识(如 userA_id:userB_id,按大小排序拼接)。
  • 消息表:会话 id + 序号 + 消息内容 + 时间。
  • 会话列表:每个用户有哪些会话、最近消息、未读数。

常见误区

  • 误区:消息按用户存;正解:消息按会话存,每个会话一条记录。
  • 误区:未读数存在客户端;正解:存在服务器,多端同步。

追问 / 延伸

  • 怎么分表?按会话 id 哈希分表,或按用户 id 分表。
  • 会话列表怎么更新?新消息到来时更新会话列表的最近消息和未读数。

07.9.4-004 大群(1000+人)怎么设计?

频率 ★★★ | 难度 高级

一句话结论

大群不能用扩散写(一条消息写 1000 次),用「读扩散」:消息只存一份,成员上线时拉取;或者用「写扩散 + 惰性拉取」:活跃成员收件箱写,不活跃成员上线时再补;大群还要限制消息频率、做消息合并。

概念解释

  • 大群问题:扩散写写放大严重,一台服务器扛不住。
  • 解决方案:读扩散(消息存一份,拉取时查)、惰性扩散(活跃用户写,不活跃的上线补)。
  • 其他优化:限制大群人数、消息合并、@提醒单独处理。

常见误区

  • 误区:大群和小群一样处理;正解:大群要特殊设计,扩散写会打爆存储。
  • 误区:大群不重要;正解:客服群、通知群都是大群。

追问 / 延伸

  • 大群未读数怎么算?不实时算,用户打开群时才算(惰性)。
  • 大群怎么通知?@我的消息单独推送,其他消息只在群里看。

07.9.4-005 历史消息怎么存和查?

频率 ★★★ | 难度 进阶

一句话结论

历史消息存在数据库(MySQL/PG),按会话分表;查询用分页(按序号,每次拉 20 条);热数据放 Redis(最近的消息),冷数据在数据库;大文件(图片/视频)存在对象存储,消息里只存 URL。

概念解释

  • 热数据:最近的消息放 Redis,读取快。
  • 冷数据:老消息在数据库,持久化。
  • 文件:大文件不存数据库,存对象存储(S3/OSS)。

常见误区

  • 误区:所有消息都放 Redis;正解:Redis 内存贵,只放热数据。
  • 误区:消息里存图片二进制;正解:图片存对象存储,消息存 URL。

追问 / 延伸

  • 消息保留多久?通常 3-6 个月,过期冷归档。
  • 怎么快速查某条消息?按消息 id 建索引。

07.9.4-006 IM 怎么扩容?

频率 ★★ | 难度 进阶

一句话结论

水平扩容:接入层加机器(无状态)、逻辑层加机器(无状态)、存储层分库分表(按用户 id 或会话 id 哈希);瓶颈通常在存储,分库分表是核心。

常见误区

  • 误区:扩容就是加服务器;正解:存储层要分库分表,否则单机扛不住。
  • 误区:IM 扩容很简单;正解:消息路由、分库、跨表查询都是难点。

追问 / 延伸

  • 怎么分库?按用户 id 哈希,同一个用户的数据在同一个库。
  • 跨库查询怎么办?尽量避免跨库,或者用 ES 做全文检索。

07.9.4-007 消息已读数怎么统计?

频率 ★★ | 难度 进阶

一句话结论

已读数:群里有多少人读了这条消息;实时统计成本高(每条消息要存已读人列表);通常是惰性计算:用户打开群时,批量更新未读数,或者显示「x 人已读」(不精确,近似值)。

常见误区

  • 误区:每条消息实时算已读数;正解:成本高,通常近似或惰性。
  • 误区:已读数精确到每个人;正解:大群通常只显示「x 人已读」。

追问 / 延伸

  • 怎么存已读状态?按消息 id 存已读用户集合(Redis Set)。
  • 已读数太多怎么办?超过 100 人显示「100+ 已读」。

07.9.4-008 群成员上下线怎么通知?

频率 ★★ | 难度 基础

一句话结论

成员加入/退出群时,服务器发系统消息到群里(如「xxx 加入了群聊」);成员上线/下线不通知所有群(太吵),只通知当前会话的对方。

常见误区

  • 误区:群成员上下线都通知;正解:太吵,不通知。
  • 误区:加群没有系统消息;正解:通常有系统消息(类似微信)。

追问 / 延伸

  • 系统消息是什么?特殊类型的消息(type=system),不参与未读计数。
  • 怎么避免系统消息打扰?可以不显示,或折叠。

07.9.4-009 消息撤回和删除的区别?

频率 ★★ | 难度 基础

一句话结论

撤回:发送方在限定时间内把消息标记为撤回,所有人看到「xxx 撤回了一条消息」,消息内容保留;删除:用户自己删除消息(只删自己这边的,对方还能看到);撤回是双向的,删除是单向的。

常见误区

  • 误区:撤回就是删除;正解:撤回是标记,删除是本地删除。
  • 误区:删除后对方也看不到;正解:删除只删自己这边。

追问 / 延伸

  • 彻底删除是什么?管理员删除群消息,所有人都看不到。
  • 撤回有时间限制吗?有(通常 2 分钟)。

07.9.4-010 如何保证消息不重复消费?

频率 ★★ | 难度 进阶

一句话结论

消费端用消息 id 去重:处理过的消息 id 记下来,重复的直接跳过;生产端发消息时带唯一 id,消费端幂等处理。

常见误区

  • 误区:消息队列不会重复;正解:网络抖动可能重复投递,要幂等。
  • 误区:去重要存所有 id;正解:LRU 缓存,只存最近的。

追问 / 延伸

  • 怎么实现幂等?用唯一约束(数据库唯一索引)或去重表。
  • 消息队列至少一次语义?是的,所以消费端必须幂等。

07.9.4-011 单聊和群聊的消息模型有什么区别?

频率 ★★★ | 难度 进阶

一句话结论

单聊:两个用户,消息存一份(按会话 ID),A 发 B 收;群聊:N 个用户,扩散写(给每个成员写一份)或扩散读(只存一份,读时按成员过滤);单聊简单,群聊复杂(成员多、权限、已读、历史同步);大群(1000+人)还要做群消息压缩。

常见误区

  • 误区:群聊就是多个单聊;正解:群聊有自己的模型(成员、权限、已读)。
  • 误区:大群和小群一样处理;正解:大群(1000+)要做特殊优化(扩散读、消息压缩)。

追问 / 延伸

  • 群消息的已读怎么做?记录已读成员列表,1000 人群不可能存所有人。
  • 群成员变更怎么通知?成员变更也是特殊消息(系统消息)。

07.9.4-012 IM 消息怎么存?

频率 ★★★ | 难度 进阶

一句话结论

消息存储:热数据(最近 7 天)存 Redis(快速读取)、温数据(3 个月)存 MySQL(结构化查询)、冷数据(3 个月以上)存对象存储(OSS/S3,低成本);按会话分库分表(避免单表太大);消息 ID 用雪花算法(趋势递增,方便排序)。

常见误区

  • 误区:所有消息都存 MySQL;正解:数据量大了 MySQL 扛不住,要分层存储。
  • 误区:消息表越简单越好;正解:要考虑查询性能(按会话、按时间、按用户)。

追问 / 延伸

  • 消息表怎么设计?会话 ID、消息 ID、发送人、内容、时间、类型。
  • 怎么分库分表?按用户 ID 取模,同一个用户的消息在同一个库。

07.9.4-013 IM 怎么扩容?

频率 ★★ | 难度 高级

一句话结论

扩容:接入层无状态(多实例水平扩容)、消息层按业务分(不同业务用不同集群)、存储层分库分表、热点用户(大主播/大 V)单独处理(读写分离、缓存);IM 是读多写少(消息发一次,很多人读),重点优化读性能。

常见误区

  • 误区:所有用户都一样处理;正解:热点用户(百万粉丝)要单独优化。
  • 误区:加机器就行;正解:瓶颈可能在数据库、在消息队列、在网络,要找对瓶颈。

追问 / 延伸

  • 怎么发现热点?统计每个用户的消息量,top 名单单独处理。
  • 怎么预估容量?按日活、每人每天发消息数、每人每天读消息数估算。

07.9.4-014 IM 和推送有什么关系?

频率 ★★ | 难度 中级

一句话结论

IM 是长连接(App 在线时实时收消息),推送是系统通道(App 被杀时收通知);IM 负责实时消息,推送负责唤醒(App 被杀时收到通知,点开后 App 启动,长连接建立,拉取离线消息);两者互补:IM 保证实时性,推送保证可达性。

常见误区

  • 误区:IM 就是推送;正解:IM 是应用层长连接,推送是系统级通知。
  • 误区:有 IM 就不用推送;正解:App 被杀了 IM 就断了,要靠推送唤醒。

追问 / 延伸

  • 怎么配合?App 在线走 IM,App 离线走推送。
  • 推送通知和 IM 消息怎么同步?推送只显示提示(你有新消息),内容走 IM 拉取。

07.9.4-015 什么是扩散写和扩散读?

频率 ★★ | 难度 高级

一句话结论

群聊消息存储两种模式:扩散写(每条消息给每个成员写一份,读时直接读自己的)、扩散读(消息只存一份,读时按成员列表过滤);扩散写:读快写慢(1000 人群发一条消息要写 1000 份),适合小群;扩散读:写快读慢(读时要过滤 1000 人),适合大群;一般小群用扩散写,大群用扩散读。

常见误区

  • 误区:扩散写就是扩散读;正解:写和读的 trade-off 不同。
  • 误区:扩散写性能好;正解:大群扩散写性能很差。

追问 / 延伸

  • 怎么选?500 人以下用扩散写,500 人以上用扩散读。
  • 大群怎么优化?消息压缩(只存一份)+ 已读状态单独存。

07.9.4-016 IM 怎么保证消息不丢?

频率 ★★ | 难度 高级

一句话结论

消息不丢的保障:1)发送方 ACK(服务端收到消息返回 ACK,没收到重发);2)服务端持久化(写数据库后才返回 ACK);3)接收方离线消息(接收方不在线时消息存服务端,上线后拉取);4)消息重试(网络失败自动重发);5)消息补发(重连后拉取缺失的消息);多层保障,不丢消息。

常见误区

  • 误区:发出去了就不丢了;正解:可能网络丢了、服务端挂了,要多层保障。
  • 误区:离线消息免费无限存;正解:存储成本高,一般有时间限制。

追问 / 延伸

  • 怎么知道消息丢了?客户端记录已收到的消息 ID,重连后请求缺失的。
  • 服务端挂了怎么办?主从复制+备份,尽量不丢。

待整理清单

  • [ ] 开源 IM 方案(如 Tigase、Openfire)
  • [ ] IM 消息同步协议
  • [ ] 端到端加密 IM