罗罗编程学习记录
本页内容 展开查看

01.6.5 字符编码与时区

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查

覆盖范围

  • ASCII/GBK/Unicode/UTF-8
  • 编码转换、Emoji 与代理对
  • 时间戳、时区、DST
  • 跨时区存储方案

高频题速览

编号 题目 难度 频率
01.6.5-001 Unicode 和 UTF-8 关系 基础 ★★★★★
01.6.5-002 UTF-8 编码规则 进阶 ★★★★★
01.6.5-003 GBK 和 UTF-8 区别 基础 ★★★★☆
01.6.5-004 乱码怎么产生和修复 进阶 ★★★★★
01.6.5-005 Emoji 为什么占 4 字节 进阶 ★★★★☆
01.6.5-006 时间戳是什么 基础 ★★★★★
01.6.5-007 时区和夏令时怎么处理 进阶 ★★★★★
01.6.5-008 跨时区时间怎么存储 进阶 ★★★★★

01.6.5-001 Unicode 和 UTF-8 是什么关系?

一句话结论

Unicode 是字符集(给每个字符一个码点,如 U+4E2D),UTF-8 是编码规则(把码点编码成字节序列);Unicode 还有 UTF-16、UTF-32 等编码,UTF-8 是最常用的变长编码。

概念解释

  • Unicode:字符集,码点范围 U+0000 到 U+10FFFF。
  • UTF-8:变长 1~4 字节编码,兼容 ASCII。
  • UTF-16:Windows/Java 内部常用,2 或 4 字节。
  • UTF-32:定长 4 字节。

原理流程

  1. 字符"中"的码点 U+4E2D。
  2. UTF-8 编码成 E4 B8 AD(3 字节)。
  3. 存储/传输按字节序列。

代码或图示

Unicode 码点:U+4E2D(中)
UTF-8:E4 B8 AD(3 字节)
ASCII:U+0041(A)→ 0x41(1 字节)

常见误区

  • 以为 Unicode 就是 UTF-8:Unicode 是字符集,UTF-8 是编码方式。
  • 以为 UTF-8 一定比 UTF-16 慢:ASCII 范围内 UTF-8 单字节,更省。

追问

  • 为什么 UTF-8 兼容 ASCII?答:0x00~0x7F 编码为单字节,与 ASCII 完全一致。
  • BOM 是什么?答:UTF-8 BOM(EF BB BF)标记字节序,通常不用,Windows 记事本历史产物。

01.6.5-002 UTF-8 编码规则是什么?

一句话结论

UTF-8 按码点范围用 1~4 字节:ASCII 单字节(0xxxxxxx),2 字节(110xxxxx 10xxxxxx),3 字节(1110xxxx 10xxxxxx 10xxxxxx),4 字节(11110xxx ...)。

概念解释

  • 1 字节:0x00~0x7F(ASCII)。
  • 2 字节:0x80~0x7FF(拉丁、欧洲语言)。
  • 3 字节:0x800~0xFFFF(常用汉字、BMP)。
  • 4 字节:0x10000~0x10FFFF(Emoji、生僻字)。

原理流程

  1. 码点转成二进制。
  2. 按范围填入对应模板。
  3. 最高位标记字节类型。

代码或图示

1 字节:0xxxxxxx
2 字节:110xxxxx 10xxxxxx
3 字节:1110xxxx 10xxxxxx 10xxxxxx
4 字节:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

常见误区

  • 以为 UTF-8 所有字符 3 字节:ASCII 1 字节,汉字 3 字节,Emoji 4 字节。
  • 以为 UTF-8 有大小端:它是字节流,无 BOM,不存在大小端。

追问

  • 怎么判断一个字节是否首字节?答:首字节以 0/110/1110/11110 开头,后续字节以 10 开头。
  • 汉字占几字节?答:常用汉字在 BMP(U+4E00~U+9FFF),3 字节。

01.6.5-003 GBK 和 UTF-8 有什么区别?

一句话结论

GBK 是中文 Windows 本地编码,定长 2 字节表示汉字,不兼容 ASCII 以外的国际字符;UTF-8 是全球通用变长编码,兼容 ASCII,多语言混合场景首选 UTF-8。

概念解释

  • GBK:兼容 GB2312,2 字节汉字,1 字节 ASCII。
  • UTF-8:全球字符集,多语言混合。
  • 问题:GBK 编码的文件在 UTF-8 环境打开乱码。

原理流程

  1. 中文 Windows 历史用 GBK。
  2. 现代系统统一 UTF-8。
  3. 旧文件需 iconv 转换。

代码或图示

iconv -f GBK -t UTF-8 file.gbk > file.utf8

常见误区

  • 以为服务器默认 UTF-8 就不会乱码:文件本身是 GBK,按 UTF-8 读就乱。
  • 以为浏览器指定 charset 就行:源文件编码必须匹配。

追问

  • 怎么判断文件编码?答:file -i 或 enca,具体工具随系统。
  • 数据库连接编码?答:MySQL charset=utf8mb4,连接串也要指定,否则中文乱码。

01.6.5-004 乱码怎么产生和修复?

一句话结论

乱码是按错误编码解码造成的:文件是 UTF-8 按 GBK 读,或反之;修复方法是用原始编码重新编码,再按正确编码解码(即"编码反转")。

概念解释

  • 成因:读写双方编码不一致。
  • 修复:bytes → 错误解码字符串 → 重新编码回原字节 → 正确解码。
  • 不可逆:如果错误解码时字符已丢失(如 ?),无法恢复。

原理流程

  1. 原 UTF-8 字节流。
  2. 被 GBK 解码成乱码字符串。
  3. 把乱码按 GBK 编码回字节,再按 UTF-8 解码。

代码或图示

# 乱码 s 实际是 UTF-8 字节被 GBK 解
fixed = s.encode('gbk').decode('utf-8')

常见误区

  • 看到乱码就重新输入:先尝试编码反转。
  • 以为所有乱码都能修:信息丢失(如 ?)不可逆。

追问

  • 终端乱码怎么办?答:locale 设置 LANG=en_US.UTF-8 或 zh_CN.UTF-8,确保终端和文件一致。
  • MySQL 中文乱码?答:表、连接、结果集都要 utf8mb4,utf8 在 MySQL 是 3 字节,不支持 Emoji。

01.6.5-005 Emoji 为什么占 4 字节?

一句话结论

Emoji 码点在 U+10000 以上(BMP 之外),UTF-8 用 4 字节编码;MySQL 的 utf8(3 字节)存不下,必须用 utf8mb4。

概念解释

  • BMP(基本多文种平面):U+0000~U+FFFF,UTF-8 最多 3 字节。
  • Emoji 多在补充平面(U+1F600 等),4 字节。
  • MySQL utf8 历史上只支持 3 字节,utf8mb4 才是完整 UTF-8。

原理流程

  1. Emoji 码点 U+1F600。
  2. UTF-8 编码成 4 字节 F0 9F 98 80。
  3. MySQL utf8mb4 存储,utf8 报错。

代码或图示

😀 = U+1F600 = F0 9F 98 80(4 字节)
MySQL:utf8mb4 才能存

常见误区

  • 以为 MySQL utf8 就是 UTF-8:它是阉割版,3 字节,不支持 Emoji。
  • 以为 Emoji 一个字符一字宽:它在终端和数据库里占 4 字节。

追问

  • 什么是代理对(surrogate pair)?答:UTF-16 用两个 16 位单元表示 BMP 外字符(U+D800~U+DFFF 代理区),Java char 是 16 位,Emoji 占两个 char。
  • 怎么统计 Emoji 字符数?答:按 Unicode 码点(grapheme cluster),不是按 UTF-16 单元数。

01.6.5-006 时间戳是什么?

一句话结论

Unix 时间戳是从 1970-01-01 00:00:00 UTC 起经过的秒数(或毫秒/微秒),与时区无关,是机器间传递时间的标准方式。

概念解释

  • 秒级:time.time()。
  • 毫秒/微秒:高并发、日志排序用。
  • 时区无关:同一时刻全球时间戳相同。

原理流程

  1. 机器内部用 UTC 计时。
  2. 时间戳是 UTC 偏移量。
  3. 展示时按本地时区转换。

代码或图示

import time
time.time()        # 秒级浮点
int(time.time()*1000)  # 毫秒

常见误区

  • 以为时间戳带时区:不带,它是 UTC 基准。
  • 以为 2038 年问题:32 位有符号秒级时间戳在 2038 年溢出,现代系统用 64 位。

追问

  • JavaScript 时间戳?答:Date.now() 是毫秒,后端常用秒,注意单位。
  • 怎么从时间戳转本地时间?答:datetime.fromtimestamp(ts)(本地)或 utcfromtimestamp(UTC)。

01.6.5-007 时区和夏令时怎么处理?

一句话结论

时区是相对 UTC 的偏移(如 UTC+8),夏令时(DST)是部分国家夏季人为调快 1 小时;处理时间必须带时区信息,不能只用偏移量,因为 DST 会变。

概念解释

  • 时区数据库(IANA tzdata):如 Asia/Shanghai、America/New_York。
  • 偏移量:UTC+8 是固定偏移,不处理 DST。
  • DST:如美国夏季 UTC-4,冬季 UTC-5。

原理流程

  1. 存储用 UTC 时间戳。
  2. 展示时按用户时区和 tzdata 转换。
  3. 时区数据库定期更新 DST 规则变化。

代码或图示

from zoneinfo import ZoneInfo
from datetime import datetime
dt = datetime.now(ZoneInfo("Asia/Shanghai"))

常见误区

  • 存固定偏移量:DST 变化后偏移错。
  • 用字符串存时间:解析歧义多。

追问

  • 中国有夏令时吗?答:中国 1992 年后取消夏令时,Asia/Shanghai 固定 UTC+8。
  • 怎么处理跨时区会议?答:存 UTC 时间,各端按本地时区显示。

01.6.5-008 跨时区时间怎么存储?

一句话结论

数据库统一存 UTC 时间戳(或带时区的 TIMESTAMP WITH TIME ZONE),展示层按用户时区转换;不要存本地时间字符串,不要存带偏移的 naive datetime。

概念解释

  • 最佳实践:数据库存 UTC,应用层转换。
  • PostgreSQL TIMESTAMPTZ:存储时转 UTC,读取时按会话时区。
  • MySQL DATETIME 不带时区:要自己存 UTC;TIMESTAMP 自动转 UTC。

原理流程

  1. 业务事件发生,记录 UTC 时间戳。
  2. 数据库存 UTC。
  3. 前端按用户时区显示。

代码或图示

存储:UTC 时间戳(如 1700000000)
展示:UTC+8 → 2023-11-15 08:53:20
     UTC-5 → 2023-11-14 19:53:20

常见误区

  • 存本地时间:服务器迁移或跨时区用户看就错。
  • 存字符串:排序、解析都麻烦。

追问

  • 日志时间怎么对齐?答:所有服务用 UTC 或 NTP 同步,日志带时区偏移。
  • 定时任务跨时区?答:按 UTC 设定 cron,或用调度系统(如 Quartz)带时区。

01.6.5-009 为什么 MySQL 用 utf8mb4 而不是 utf8?

一句话结论

MySQL 的 utf8 是历史实现,最多只存 3 字节 UTF-8(不支持 Emoji 等 4 字节字符);utf8mb4 才是完整 UTF-8;存 Emoji 或生僻字必须用 utf8mb4。

概念解释

  • utf8:3 字节阉割版。
  • utf8mb4:完整 4 字节。
  • 连接、表、字段都要 utf8mb4。

原理流程

  1. 表字段用 utf8mb4。
  2. 连接串指定 charset=utf8mb4。
  3. Emoji 正常存取。

代码或图示

CREATE TABLE t (content VARCHAR(255)) CHARSET=utf8mb4;
-- 连接串:jdbc:mysql://db?characterEncoding=utf8mb4

常见误区

  • 以为 MySQL utf8 就是标准 UTF-8:它是 3 字节阉割版。
  • 只改表不改连接:连接串不对仍乱码。

追问

  • 索引长度限制?答:utf8mb4 下索引前缀最长 768 字节(或 191 字符),大字段索引要注意。
  • PostgreSQL 呢?答:text 类型就是完整 UTF-8,无此问题。

待整理清单

  • [ ] Unicode 码点平面与代理对详解
  • [ ] tzdata 更新机制与 DST 规则变化
  • [ ] MySQL/PostgreSQL 时间类型选型
  • [ ] 文本编码在各语言标准库中的处理