01.6.6 序列化协议对照
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查
覆盖范围
- JSON/XML/Protobuf/MessagePack/Thrift
- Schema 演进、兼容性
- 性能与包体
- 兼容性策略
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 01.6.6-001 | JSON 和 Protobuf 区别 | 进阶 | ★★★★★ |
| 01.6.6-002 | Protobuf 怎么编码 | 进阶 | ★★★★★ |
| 01.6.6-003 | Schema 向后兼容是什么 | 进阶 | ★★★★★ |
| 01.6.6-004 | XML 为什么还没淘汰 | 基础 | ★★★☆☆ |
| 01.6.6-005 | MessagePack 是什么 | 基础 | ★★★☆☆ |
| 01.6.6-006 | Thrift 和 Protobuf 区别 | 进阶 | ★★★☆☆ |
| 01.6.6-007 | 字段删除/新增要注意什么 | 进阶 | ★★★★★ |
| 01.6.6-008 | 怎么选序列化协议 | 进阶 | ★★★★★ |
01.6.6-001 JSON 和 Protobuf 有什么区别?
一句话结论
JSON 是文本协议,自描述、可读、调试方便但包体大、解析慢;Protobuf 是二进制协议,带 Schema、包体小、解析快,但需要预定义 .proto 文件,不可读。
概念解释
- JSON:文本,键值字符串,解析要分词。
- Protobuf:二进制,字段用编号标识,varint 压缩。
- 选择:对外 API、调试方便用 JSON;内部高性能 RPC 用 Protobuf。
原理流程
- JSON:对象序列化成文本字符串。
- Protobuf:按 Schema 把字段编码成二进制。
- 传输/存储,对方按 Schema 解码。
代码或图示
JSON:{"id":1,"name":"ann"} (约 18 字节)
Protobuf:字段编号 + varint 编码 (约 4 字节)
常见误区
- 以为 JSON 就是快:文本解析和打包都慢,高吞吐内部 RPC 不合适。
- 以为 Protobuf 万能:需要 Schema 管理,跨语言和调试成本高。
追问
- gRPC 用什么?答:gRPC 默认 Protobuf,但也支持其他编码。
- JSON 性能优化?答:二进制 JSON(如 CBOR、MessagePack)或压缩 JSON。
01.6.6-002 Protobuf 是怎么编码的?
一句话结论
Protobuf 用 varint 压缩整数,字段按"字段编号 + 类型 + 值"编码;字段编号而非字段名,所以包体小;未知字段保留(兼容旧 Schema)。
概念解释
- varint:小整数用少字节,如 1~127 用 1 字节。
- 字段编号:每个字段在 .proto 里定义唯一编号。
- 类型:varint、64 位、长度分隔(string/bytes/嵌套)等。
- 未知字段:新字段旧端不认识,保留但不丢。
原理流程
- 字段编号 << 3 | 类型 作为 tag。
- 值按类型编码。
- 消息是多个 tag-value 对拼接。
代码或图示
message Person { int32 id=1; string name=2; }
id=1 → tag (1<<3|0) = 08, varint 01
name="ann" → tag (2<<3|2) = 12, len 03, "ann"
常见误区
- 以为字段名会编码:只编码编号,改名不影响兼容性。
- 以为字段编号可以随便换:编号一旦发布不能改,否则旧数据解析错。
追问
- ZigZag 编码是什么?答:把负数映射成无符号小整数(如 -1→1, 1→2),让 varint 高效压缩负数。
- Protobuf 为什么快?答:二进制无需分词,Schema 预生成编解码代码,反射少。
01.6.6-003 Schema 向后兼容是什么?
一句话结论
向后兼容:新代码能读旧数据(新增字段可选);向前兼容:旧代码能读新数据(忽略未知字段);Protobuf/Thrift 通过保留未知字段实现双向兼容。
概念解释
- 向后兼容(backward):新 reader 读旧 writer。
- 向前兼容(forward):旧 reader 读新 writer。
- 关键:新增字段必须 optional 或有默认值,不能删除字段编号。
原理流程
- 旧 Schema 序列化数据。
- 新 Schema 新增字段,旧字段编号不变。
- 新代码读旧数据:缺失新字段用默认值。
- 旧代码读新数据:未知字段保留跳过。
代码或图示
旧:{id: 1, name: "ann"}
新:{id: 1, name: "ann", email: "a@b.c"} // email 新增 optional
旧端读新数据:忽略 email
新端读旧数据:email 用默认值
常见误区
- 以为改字段名没关系:Protobuf 只看编号,改名兼容;JSON 看字段名,改名破坏兼容。
- 以为删除字段就行:字段编号要保留为 reserved,防止未来复用。
追问
- 怎么改字段类型?答:通常不兼容,需新字段编号。
- oneof 是什么?答:一组字段互斥,同一时刻只设一个,节省空间。
01.6.6-004 XML 为什么还没淘汰?
一句话结论
XML 自描述、支持命名空间、DTD/Schema 校验、树形结构,在企业系统(SOAP、Web Service、Office 文档、配置文件)仍广泛;但文本冗长、解析慢,互联网 API 多转向 JSON。
概念解释
- 优点:结构严格、命名空间、Schema 校验。
- 缺点:冗长、标签开销大。
- 场景:企业遗留、Office(docx/xlsx 是 zip+XML)、SOAP Web Service。
原理流程
- XML 用标签嵌套表达结构。
- 解析器(DOM/SAX)读 XML。
- Schema 校验结构。
代码或图示
<person><id>1</id><name>ann</name></person>
常见误区
- 以为 XML 完全淘汰:企业集成、政府、金融系统仍大量使用。
- 以为 XML 比 JSON 强:在 Web API 上 JSON 更轻。
追问
- HTML 和 XML 关系?答:HTML 是 SGML 演化,XML 是严格子集,XHTML 是 XML 语法的 HTML。
- XML 解析方式?答:DOM 全树加载,SAX 流式事件,大文件用 SAX。
01.6.6-005 MessagePack 是什么?
一句话结论
MessagePack 是二进制 JSON:格式像 JSON(无 Schema)但编码成二进制,包体比 JSON 小、比 Protobuf 大,无需预定义 Schema,适合需要二进制但不想管 Schema 的场景。
概念解释
- 无 Schema:像 JSON 一样动态结构。
- 二进制:整数、字符串、数组、map 都有紧凑编码。
- 介于 JSON 和 Protobuf 之间。
原理流程
- 对象序列化成 MessagePack 二进制。
- 对方按格式解码(无需 Schema)。
- 动态结构,字段可任意。
代码或图示
JSON: {"id":1,"name":"ann"} 文本
MessagePack: 二进制紧凑编码
常见误区
- 以为 MessagePack 比 Protobuf 小:Protobuf 带 Schema,通常更小。
- 以为 MessagePack 快:比 JSON 快,但比 Protobuf 慢(无 Schema 优化)。
追问
- 什么场景用 MessagePack?答:缓存(Redis)、需要动态字段的内部通信、不想维护 .proto。
- CBOR 呢?答:CBOR 是 IETF 标准,类似 MessagePack,更多类型标签。
01.6.6-006 Thrift 和 Protobuf 有什么区别?
一句话结论
Thrift 是 Facebook 开源的 RPC + 序列化一体框架,自带多种传输/协议;Protobuf 只管序列化,RPC 由 gRPC 提供;两者 Schema 演进理念相似,Thrift 更像全套栈。
概念解释
- Thrift:IDL 定义服务,生成客户端/服务端代码,多种协议(binary/compact/JSON)。
- Protobuf:IDL 定义消息,gRPC 提供 RPC 层。
- 选择:Thrift 栈完整;Protobuf + gRPC 生态更现代。
原理流程
- 写 .thrift/.proto IDL。
- 生成各语言代码。
- RPC 调用,序列化按协议。
代码或图示
Thrift:IDL + 序列化 + RPC(全家桶)
Protobuf:IDL + 序列化;gRPC:RPC 层
常见误区
- 以为 Thrift 和 Protobuf 完全可比:Thrift 是 RPC 框架,Protobuf 只是序列化。
- 以为 gRPC 只能 Protobuf:gRPC 也支持其他编码(如 JSON),但默认 Protobuf。
追问
- 国内 RPC 框架?答:Dubbo 默认 Hessian2,后来也支持 Protobuf;跨语言 gRPC 更通用。
- Hessian 是什么?答:Java 二进制序列化,动态类型,Dubbo 历史默认。
01.6.6-007 字段删除/新增要注意什么?
一句话结论
新增字段:必须 optional 或有默认值,用新编号;删除字段:不要真删,标记 reserved 保留编号,防止未来复用;不能复用编号到不同类型。
概念解释
- 新增:新编号,optional/默认值。
- 删除:
reserved声明,编号不再使用。 - 编号复用:最危险,旧数据按新类型解析会错。
原理流程
- 新增字段用新编号。
- 废弃字段标记 reserved。
- 编号永不复用、永不改类型。
代码或图示
message Person {
int32 id = 1;
string name = 2;
reserved 3; // 旧 email 字段,编号保留
string email_new = 4;
}
常见误区
- 以为删字段就行:编号复用是常见事故。
- 以为改字段类型兼容:类型变了,旧字节按新类型解析出错。
追问
- 怎么改字段语义?答:新增字段编号,旧字段标记废弃,双写过渡。
- JSON 怎么演进?答:新增字段旧端忽略,删除字段旧端读不到,字段名不能改。
01.6.6-008 怎么选序列化协议?
一句话结论
对外公开 API、需要可读调试选 JSON;内部高性能 RPC 选 Protobuf/gRPC;需要动态结构、无 Schema 选 MessagePack;企业遗留/SOA 用 XML/Thrift;缓存场景关注速度与包体。
概念解释
- 对外 API:JSON(通用、易调试)。
- 内部 RPC:Protobuf(小、快)。
- 动态结构:MessagePack/CBOR。
- 企业集成:XML/Thrift。
原理流程
- 看调用方:是否跨语言、是否外部。
- 看性能:包体和解析速度。
- 看 Schema:是否可预定义。
代码或图示
外部 REST API:JSON
内部 gRPC:Protobuf
缓存/动态:MessagePack
企业 SOAP:XML
常见误区
- 一味追求最小包体:Protobuf 需要 Schema 管理,小团队维护成本高。
- 以为 JSON 性能无所谓:高吞吐内部 RPC 用 JSON 会成为瓶颈。
追问
- 序列化和反序列化性能怎么测?答:JMH(Java)、benchmark 各语言,测包体大小和吞吐。
- 压缩 vs 二进制协议?答:JSON + gzip 常比 Protobuf 小但慢;高吞吐优先二进制协议。
01.6.6-009 为什么 Protobuf 比 JSON 快?
一句话结论
Protobuf 快在三点:二进制无需分词、字段用编号不用名字、Schema 预生成编解码代码(无反射);JSON 要解析文本、按名字找字段、反射操作。
概念解释
- 二进制:无文本解析开销。
- 编号:省掉字段名字符串。
- 预生成:编译期生成代码,运行时无反射。
原理流程
- Protobuf 按生成的代码直接读写二进制。
- JSON 解析器分词、查字段名、反射赋值。
- 高频内部 RPC 用 Protobuf。
代码或图示
JSON:{"user_id":123} (键名重复传输,解析慢)
Protobuf:字段编号 + varint (紧凑,预生成代码)
常见误区
- 以为 Protobuf 省所有场景:调试不友好,对外 API 仍用 JSON。
- 以为 JSON 慢一点无所谓:高吞吐内部 RPC,JSON 是瓶颈。
追问
- 二进制 JSON(CBOR)?答:比 JSON 快但仍无 Schema 优化。
- 怎么测?答:JMH/Benchmark 测包体和吞吐,具体数字以实测为准。
待整理清单
- [ ] Apache Avro(Schema 注册表、动态 Schema)
- [ ] FlatBuffers(零拷贝反序列化)
- [ ] JSON 库性能对比(Jackson/Gson/Fastjson 安全)
- [ ] 各协议在微服务中的实际选型案例