罗罗编程学习记录
本页内容 展开查看

01.6.6 序列化协议对照

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查

覆盖范围

  • JSON/XML/Protobuf/MessagePack/Thrift
  • Schema 演进、兼容性
  • 性能与包体
  • 兼容性策略

高频题速览

编号 题目 难度 频率
01.6.6-001 JSON 和 Protobuf 区别 进阶 ★★★★★
01.6.6-002 Protobuf 怎么编码 进阶 ★★★★★
01.6.6-003 Schema 向后兼容是什么 进阶 ★★★★★
01.6.6-004 XML 为什么还没淘汰 基础 ★★★☆☆
01.6.6-005 MessagePack 是什么 基础 ★★★☆☆
01.6.6-006 Thrift 和 Protobuf 区别 进阶 ★★★☆☆
01.6.6-007 字段删除/新增要注意什么 进阶 ★★★★★
01.6.6-008 怎么选序列化协议 进阶 ★★★★★

01.6.6-001 JSON 和 Protobuf 有什么区别?

一句话结论

JSON 是文本协议,自描述、可读、调试方便但包体大、解析慢;Protobuf 是二进制协议,带 Schema、包体小、解析快,但需要预定义 .proto 文件,不可读。

概念解释

  • JSON:文本,键值字符串,解析要分词。
  • Protobuf:二进制,字段用编号标识,varint 压缩。
  • 选择:对外 API、调试方便用 JSON;内部高性能 RPC 用 Protobuf。

原理流程

  1. JSON:对象序列化成文本字符串。
  2. Protobuf:按 Schema 把字段编码成二进制。
  3. 传输/存储,对方按 Schema 解码。

代码或图示

JSON:{"id":1,"name":"ann"}        (约 18 字节)
Protobuf:字段编号 + varint 编码   (约 4 字节)

常见误区

  • 以为 JSON 就是快:文本解析和打包都慢,高吞吐内部 RPC 不合适。
  • 以为 Protobuf 万能:需要 Schema 管理,跨语言和调试成本高。

追问

  • gRPC 用什么?答:gRPC 默认 Protobuf,但也支持其他编码。
  • JSON 性能优化?答:二进制 JSON(如 CBOR、MessagePack)或压缩 JSON。

01.6.6-002 Protobuf 是怎么编码的?

一句话结论

Protobuf 用 varint 压缩整数,字段按"字段编号 + 类型 + 值"编码;字段编号而非字段名,所以包体小;未知字段保留(兼容旧 Schema)。

概念解释

  • varint:小整数用少字节,如 1~127 用 1 字节。
  • 字段编号:每个字段在 .proto 里定义唯一编号。
  • 类型:varint、64 位、长度分隔(string/bytes/嵌套)等。
  • 未知字段:新字段旧端不认识,保留但不丢。

原理流程

  1. 字段编号 << 3 | 类型 作为 tag。
  2. 值按类型编码。
  3. 消息是多个 tag-value 对拼接。

代码或图示

message Person { int32 id=1; string name=2; }
id=1 → tag (1<<3|0) = 08, varint 01
name="ann" → tag (2<<3|2) = 12, len 03, "ann"

常见误区

  • 以为字段名会编码:只编码编号,改名不影响兼容性。
  • 以为字段编号可以随便换:编号一旦发布不能改,否则旧数据解析错。

追问

  • ZigZag 编码是什么?答:把负数映射成无符号小整数(如 -1→1, 1→2),让 varint 高效压缩负数。
  • Protobuf 为什么快?答:二进制无需分词,Schema 预生成编解码代码,反射少。

01.6.6-003 Schema 向后兼容是什么?

一句话结论

向后兼容:新代码能读旧数据(新增字段可选);向前兼容:旧代码能读新数据(忽略未知字段);Protobuf/Thrift 通过保留未知字段实现双向兼容。

概念解释

  • 向后兼容(backward):新 reader 读旧 writer。
  • 向前兼容(forward):旧 reader 读新 writer。
  • 关键:新增字段必须 optional 或有默认值,不能删除字段编号。

原理流程

  1. 旧 Schema 序列化数据。
  2. 新 Schema 新增字段,旧字段编号不变。
  3. 新代码读旧数据:缺失新字段用默认值。
  4. 旧代码读新数据:未知字段保留跳过。

代码或图示

旧:{id: 1, name: "ann"}
新:{id: 1, name: "ann", email: "a@b.c"}  // email 新增 optional
旧端读新数据:忽略 email
新端读旧数据:email 用默认值

常见误区

  • 以为改字段名没关系:Protobuf 只看编号,改名兼容;JSON 看字段名,改名破坏兼容。
  • 以为删除字段就行:字段编号要保留为 reserved,防止未来复用。

追问

  • 怎么改字段类型?答:通常不兼容,需新字段编号。
  • oneof 是什么?答:一组字段互斥,同一时刻只设一个,节省空间。

01.6.6-004 XML 为什么还没淘汰?

一句话结论

XML 自描述、支持命名空间、DTD/Schema 校验、树形结构,在企业系统(SOAP、Web Service、Office 文档、配置文件)仍广泛;但文本冗长、解析慢,互联网 API 多转向 JSON。

概念解释

  • 优点:结构严格、命名空间、Schema 校验。
  • 缺点:冗长、标签开销大。
  • 场景:企业遗留、Office(docx/xlsx 是 zip+XML)、SOAP Web Service。

原理流程

  1. XML 用标签嵌套表达结构。
  2. 解析器(DOM/SAX)读 XML。
  3. Schema 校验结构。

代码或图示

<person><id>1</id><name>ann</name></person>

常见误区

  • 以为 XML 完全淘汰:企业集成、政府、金融系统仍大量使用。
  • 以为 XML 比 JSON 强:在 Web API 上 JSON 更轻。

追问

  • HTML 和 XML 关系?答:HTML 是 SGML 演化,XML 是严格子集,XHTML 是 XML 语法的 HTML。
  • XML 解析方式?答:DOM 全树加载,SAX 流式事件,大文件用 SAX。

01.6.6-005 MessagePack 是什么?

一句话结论

MessagePack 是二进制 JSON:格式像 JSON(无 Schema)但编码成二进制,包体比 JSON 小、比 Protobuf 大,无需预定义 Schema,适合需要二进制但不想管 Schema 的场景。

概念解释

  • 无 Schema:像 JSON 一样动态结构。
  • 二进制:整数、字符串、数组、map 都有紧凑编码。
  • 介于 JSON 和 Protobuf 之间。

原理流程

  1. 对象序列化成 MessagePack 二进制。
  2. 对方按格式解码(无需 Schema)。
  3. 动态结构,字段可任意。

代码或图示

JSON: {"id":1,"name":"ann"}   文本
MessagePack: 二进制紧凑编码

常见误区

  • 以为 MessagePack 比 Protobuf 小:Protobuf 带 Schema,通常更小。
  • 以为 MessagePack 快:比 JSON 快,但比 Protobuf 慢(无 Schema 优化)。

追问

  • 什么场景用 MessagePack?答:缓存(Redis)、需要动态字段的内部通信、不想维护 .proto。
  • CBOR 呢?答:CBOR 是 IETF 标准,类似 MessagePack,更多类型标签。

01.6.6-006 Thrift 和 Protobuf 有什么区别?

一句话结论

Thrift 是 Facebook 开源的 RPC + 序列化一体框架,自带多种传输/协议;Protobuf 只管序列化,RPC 由 gRPC 提供;两者 Schema 演进理念相似,Thrift 更像全套栈。

概念解释

  • Thrift:IDL 定义服务,生成客户端/服务端代码,多种协议(binary/compact/JSON)。
  • Protobuf:IDL 定义消息,gRPC 提供 RPC 层。
  • 选择:Thrift 栈完整;Protobuf + gRPC 生态更现代。

原理流程

  1. 写 .thrift/.proto IDL。
  2. 生成各语言代码。
  3. RPC 调用,序列化按协议。

代码或图示

Thrift:IDL + 序列化 + RPC(全家桶)
Protobuf:IDL + 序列化;gRPC:RPC 层

常见误区

  • 以为 Thrift 和 Protobuf 完全可比:Thrift 是 RPC 框架,Protobuf 只是序列化。
  • 以为 gRPC 只能 Protobuf:gRPC 也支持其他编码(如 JSON),但默认 Protobuf。

追问

  • 国内 RPC 框架?答:Dubbo 默认 Hessian2,后来也支持 Protobuf;跨语言 gRPC 更通用。
  • Hessian 是什么?答:Java 二进制序列化,动态类型,Dubbo 历史默认。

01.6.6-007 字段删除/新增要注意什么?

一句话结论

新增字段:必须 optional 或有默认值,用新编号;删除字段:不要真删,标记 reserved 保留编号,防止未来复用;不能复用编号到不同类型。

概念解释

  • 新增:新编号,optional/默认值。
  • 删除:reserved 声明,编号不再使用。
  • 编号复用:最危险,旧数据按新类型解析会错。

原理流程

  1. 新增字段用新编号。
  2. 废弃字段标记 reserved。
  3. 编号永不复用、永不改类型。

代码或图示

message Person {
  int32 id = 1;
  string name = 2;
  reserved 3;   // 旧 email 字段,编号保留
  string email_new = 4;
}

常见误区

  • 以为删字段就行:编号复用是常见事故。
  • 以为改字段类型兼容:类型变了,旧字节按新类型解析出错。

追问

  • 怎么改字段语义?答:新增字段编号,旧字段标记废弃,双写过渡。
  • JSON 怎么演进?答:新增字段旧端忽略,删除字段旧端读不到,字段名不能改。

01.6.6-008 怎么选序列化协议?

一句话结论

对外公开 API、需要可读调试选 JSON;内部高性能 RPC 选 Protobuf/gRPC;需要动态结构、无 Schema 选 MessagePack;企业遗留/SOA 用 XML/Thrift;缓存场景关注速度与包体。

概念解释

  • 对外 API:JSON(通用、易调试)。
  • 内部 RPC:Protobuf(小、快)。
  • 动态结构:MessagePack/CBOR。
  • 企业集成:XML/Thrift。

原理流程

  1. 看调用方:是否跨语言、是否外部。
  2. 看性能:包体和解析速度。
  3. 看 Schema:是否可预定义。

代码或图示

外部 REST API:JSON
内部 gRPC:Protobuf
缓存/动态:MessagePack
企业 SOAP:XML

常见误区

  • 一味追求最小包体:Protobuf 需要 Schema 管理,小团队维护成本高。
  • 以为 JSON 性能无所谓:高吞吐内部 RPC 用 JSON 会成为瓶颈。

追问

  • 序列化和反序列化性能怎么测?答:JMH(Java)、benchmark 各语言,测包体大小和吞吐。
  • 压缩 vs 二进制协议?答:JSON + gzip 常比 Protobuf 小但慢;高吞吐优先二进制协议。

01.6.6-009 为什么 Protobuf 比 JSON 快?

一句话结论

Protobuf 快在三点:二进制无需分词、字段用编号不用名字、Schema 预生成编解码代码(无反射);JSON 要解析文本、按名字找字段、反射操作。

概念解释

  • 二进制:无文本解析开销。
  • 编号:省掉字段名字符串。
  • 预生成:编译期生成代码,运行时无反射。

原理流程

  1. Protobuf 按生成的代码直接读写二进制。
  2. JSON 解析器分词、查字段名、反射赋值。
  3. 高频内部 RPC 用 Protobuf。

代码或图示

JSON:{"user_id":123}    (键名重复传输,解析慢)
Protobuf:字段编号 + varint  (紧凑,预生成代码)

常见误区

  • 以为 Protobuf 省所有场景:调试不友好,对外 API 仍用 JSON。
  • 以为 JSON 慢一点无所谓:高吞吐内部 RPC,JSON 是瓶颈。

追问

  • 二进制 JSON(CBOR)?答:比 JSON 快但仍无 Schema 优化。
  • 怎么测?答:JMH/Benchmark 测包体和吞吐,具体数字以实测为准。

待整理清单

  • [ ] Apache Avro(Schema 注册表、动态 Schema)
  • [ ] FlatBuffers(零拷贝反序列化)
  • [ ] JSON 库性能对比(Jackson/Gson/Fastjson 安全)
  • [ ] 各协议在微服务中的实际选型案例