01.6.5 字符编码与时区
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查
覆盖范围
- ASCII/GBK/Unicode/UTF-8
- 编码转换、Emoji 与代理对
- 时间戳、时区、DST
- 跨时区存储方案
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 01.6.5-001 | Unicode 和 UTF-8 关系 | 基础 | ★★★★★ |
| 01.6.5-002 | UTF-8 编码规则 | 进阶 | ★★★★★ |
| 01.6.5-003 | GBK 和 UTF-8 区别 | 基础 | ★★★★☆ |
| 01.6.5-004 | 乱码怎么产生和修复 | 进阶 | ★★★★★ |
| 01.6.5-005 | Emoji 为什么占 4 字节 | 进阶 | ★★★★☆ |
| 01.6.5-006 | 时间戳是什么 | 基础 | ★★★★★ |
| 01.6.5-007 | 时区和夏令时怎么处理 | 进阶 | ★★★★★ |
| 01.6.5-008 | 跨时区时间怎么存储 | 进阶 | ★★★★★ |
01.6.5-001 Unicode 和 UTF-8 是什么关系?
一句话结论
Unicode 是字符集(给每个字符一个码点,如 U+4E2D),UTF-8 是编码规则(把码点编码成字节序列);Unicode 还有 UTF-16、UTF-32 等编码,UTF-8 是最常用的变长编码。
概念解释
- Unicode:字符集,码点范围 U+0000 到 U+10FFFF。
- UTF-8:变长 1~4 字节编码,兼容 ASCII。
- UTF-16:Windows/Java 内部常用,2 或 4 字节。
- UTF-32:定长 4 字节。
原理流程
- 字符"中"的码点 U+4E2D。
- UTF-8 编码成 E4 B8 AD(3 字节)。
- 存储/传输按字节序列。
代码或图示
Unicode 码点:U+4E2D(中)
UTF-8:E4 B8 AD(3 字节)
ASCII:U+0041(A)→ 0x41(1 字节)
常见误区
- 以为 Unicode 就是 UTF-8:Unicode 是字符集,UTF-8 是编码方式。
- 以为 UTF-8 一定比 UTF-16 慢:ASCII 范围内 UTF-8 单字节,更省。
追问
- 为什么 UTF-8 兼容 ASCII?答:0x00~0x7F 编码为单字节,与 ASCII 完全一致。
- BOM 是什么?答:UTF-8 BOM(EF BB BF)标记字节序,通常不用,Windows 记事本历史产物。
01.6.5-002 UTF-8 编码规则是什么?
一句话结论
UTF-8 按码点范围用 1~4 字节:ASCII 单字节(0xxxxxxx),2 字节(110xxxxx 10xxxxxx),3 字节(1110xxxx 10xxxxxx 10xxxxxx),4 字节(11110xxx ...)。
概念解释
- 1 字节:0x00~0x7F(ASCII)。
- 2 字节:0x80~0x7FF(拉丁、欧洲语言)。
- 3 字节:0x800~0xFFFF(常用汉字、BMP)。
- 4 字节:0x10000~0x10FFFF(Emoji、生僻字)。
原理流程
- 码点转成二进制。
- 按范围填入对应模板。
- 最高位标记字节类型。
代码或图示
1 字节:0xxxxxxx
2 字节:110xxxxx 10xxxxxx
3 字节:1110xxxx 10xxxxxx 10xxxxxx
4 字节:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
常见误区
- 以为 UTF-8 所有字符 3 字节:ASCII 1 字节,汉字 3 字节,Emoji 4 字节。
- 以为 UTF-8 有大小端:它是字节流,无 BOM,不存在大小端。
追问
- 怎么判断一个字节是否首字节?答:首字节以 0/110/1110/11110 开头,后续字节以 10 开头。
- 汉字占几字节?答:常用汉字在 BMP(U+4E00~U+9FFF),3 字节。
01.6.5-003 GBK 和 UTF-8 有什么区别?
一句话结论
GBK 是中文 Windows 本地编码,定长 2 字节表示汉字,不兼容 ASCII 以外的国际字符;UTF-8 是全球通用变长编码,兼容 ASCII,多语言混合场景首选 UTF-8。
概念解释
- GBK:兼容 GB2312,2 字节汉字,1 字节 ASCII。
- UTF-8:全球字符集,多语言混合。
- 问题:GBK 编码的文件在 UTF-8 环境打开乱码。
原理流程
- 中文 Windows 历史用 GBK。
- 现代系统统一 UTF-8。
- 旧文件需 iconv 转换。
代码或图示
iconv -f GBK -t UTF-8 file.gbk > file.utf8
常见误区
- 以为服务器默认 UTF-8 就不会乱码:文件本身是 GBK,按 UTF-8 读就乱。
- 以为浏览器指定 charset 就行:源文件编码必须匹配。
追问
- 怎么判断文件编码?答:
file -i或enca,具体工具随系统。 - 数据库连接编码?答:MySQL
charset=utf8mb4,连接串也要指定,否则中文乱码。
01.6.5-004 乱码怎么产生和修复?
一句话结论
乱码是按错误编码解码造成的:文件是 UTF-8 按 GBK 读,或反之;修复方法是用原始编码重新编码,再按正确编码解码(即"编码反转")。
概念解释
- 成因:读写双方编码不一致。
- 修复:
bytes → 错误解码字符串 → 重新编码回原字节 → 正确解码。 - 不可逆:如果错误解码时字符已丢失(如
?),无法恢复。
原理流程
- 原 UTF-8 字节流。
- 被 GBK 解码成乱码字符串。
- 把乱码按 GBK 编码回字节,再按 UTF-8 解码。
代码或图示
# 乱码 s 实际是 UTF-8 字节被 GBK 解
fixed = s.encode('gbk').decode('utf-8')
常见误区
- 看到乱码就重新输入:先尝试编码反转。
- 以为所有乱码都能修:信息丢失(如
?)不可逆。
追问
- 终端乱码怎么办?答:
locale设置LANG=en_US.UTF-8或zh_CN.UTF-8,确保终端和文件一致。 - MySQL 中文乱码?答:表、连接、结果集都要
utf8mb4,utf8在 MySQL 是 3 字节,不支持 Emoji。
01.6.5-005 Emoji 为什么占 4 字节?
一句话结论
Emoji 码点在 U+10000 以上(BMP 之外),UTF-8 用 4 字节编码;MySQL 的 utf8(3 字节)存不下,必须用 utf8mb4。
概念解释
- BMP(基本多文种平面):U+0000~U+FFFF,UTF-8 最多 3 字节。
- Emoji 多在补充平面(U+1F600 等),4 字节。
- MySQL
utf8历史上只支持 3 字节,utf8mb4才是完整 UTF-8。
原理流程
- Emoji 码点 U+1F600。
- UTF-8 编码成 4 字节 F0 9F 98 80。
- MySQL
utf8mb4存储,utf8报错。
代码或图示
😀 = U+1F600 = F0 9F 98 80(4 字节)
MySQL:utf8mb4 才能存
常见误区
- 以为 MySQL
utf8就是 UTF-8:它是阉割版,3 字节,不支持 Emoji。 - 以为 Emoji 一个字符一字宽:它在终端和数据库里占 4 字节。
追问
- 什么是代理对(surrogate pair)?答:UTF-16 用两个 16 位单元表示 BMP 外字符(U+D800~U+DFFF 代理区),Java
char是 16 位,Emoji 占两个 char。 - 怎么统计 Emoji 字符数?答:按 Unicode 码点(grapheme cluster),不是按 UTF-16 单元数。
01.6.5-006 时间戳是什么?
一句话结论
Unix 时间戳是从 1970-01-01 00:00:00 UTC 起经过的秒数(或毫秒/微秒),与时区无关,是机器间传递时间的标准方式。
概念解释
- 秒级:
time.time()。 - 毫秒/微秒:高并发、日志排序用。
- 时区无关:同一时刻全球时间戳相同。
原理流程
- 机器内部用 UTC 计时。
- 时间戳是 UTC 偏移量。
- 展示时按本地时区转换。
代码或图示
import time
time.time() # 秒级浮点
int(time.time()*1000) # 毫秒
常见误区
- 以为时间戳带时区:不带,它是 UTC 基准。
- 以为 2038 年问题:32 位有符号秒级时间戳在 2038 年溢出,现代系统用 64 位。
追问
- JavaScript 时间戳?答:
Date.now()是毫秒,后端常用秒,注意单位。 - 怎么从时间戳转本地时间?答:
datetime.fromtimestamp(ts)(本地)或utcfromtimestamp(UTC)。
01.6.5-007 时区和夏令时怎么处理?
一句话结论
时区是相对 UTC 的偏移(如 UTC+8),夏令时(DST)是部分国家夏季人为调快 1 小时;处理时间必须带时区信息,不能只用偏移量,因为 DST 会变。
概念解释
- 时区数据库(IANA tzdata):如
Asia/Shanghai、America/New_York。 - 偏移量:UTC+8 是固定偏移,不处理 DST。
- DST:如美国夏季 UTC-4,冬季 UTC-5。
原理流程
- 存储用 UTC 时间戳。
- 展示时按用户时区和 tzdata 转换。
- 时区数据库定期更新 DST 规则变化。
代码或图示
from zoneinfo import ZoneInfo
from datetime import datetime
dt = datetime.now(ZoneInfo("Asia/Shanghai"))
常见误区
- 存固定偏移量:DST 变化后偏移错。
- 用字符串存时间:解析歧义多。
追问
- 中国有夏令时吗?答:中国 1992 年后取消夏令时,
Asia/Shanghai固定 UTC+8。 - 怎么处理跨时区会议?答:存 UTC 时间,各端按本地时区显示。
01.6.5-008 跨时区时间怎么存储?
一句话结论
数据库统一存 UTC 时间戳(或带时区的 TIMESTAMP WITH TIME ZONE),展示层按用户时区转换;不要存本地时间字符串,不要存带偏移的 naive datetime。
概念解释
- 最佳实践:数据库存 UTC,应用层转换。
- PostgreSQL
TIMESTAMPTZ:存储时转 UTC,读取时按会话时区。 - MySQL
DATETIME不带时区:要自己存 UTC;TIMESTAMP自动转 UTC。
原理流程
- 业务事件发生,记录 UTC 时间戳。
- 数据库存 UTC。
- 前端按用户时区显示。
代码或图示
存储:UTC 时间戳(如 1700000000)
展示:UTC+8 → 2023-11-15 08:53:20
UTC-5 → 2023-11-14 19:53:20
常见误区
- 存本地时间:服务器迁移或跨时区用户看就错。
- 存字符串:排序、解析都麻烦。
追问
- 日志时间怎么对齐?答:所有服务用 UTC 或 NTP 同步,日志带时区偏移。
- 定时任务跨时区?答:按 UTC 设定 cron,或用调度系统(如 Quartz)带时区。
01.6.5-009 为什么 MySQL 用 utf8mb4 而不是 utf8?
一句话结论
MySQL 的 utf8 是历史实现,最多只存 3 字节 UTF-8(不支持 Emoji 等 4 字节字符);utf8mb4 才是完整 UTF-8;存 Emoji 或生僻字必须用 utf8mb4。
概念解释
- utf8:3 字节阉割版。
- utf8mb4:完整 4 字节。
- 连接、表、字段都要 utf8mb4。
原理流程
- 表字段用 utf8mb4。
- 连接串指定 charset=utf8mb4。
- Emoji 正常存取。
代码或图示
CREATE TABLE t (content VARCHAR(255)) CHARSET=utf8mb4;
-- 连接串:jdbc:mysql://db?characterEncoding=utf8mb4
常见误区
- 以为 MySQL utf8 就是标准 UTF-8:它是 3 字节阉割版。
- 只改表不改连接:连接串不对仍乱码。
追问
- 索引长度限制?答:utf8mb4 下索引前缀最长 768 字节(或 191 字符),大字段索引要注意。
- PostgreSQL 呢?答:
text类型就是完整 UTF-8,无此问题。
待整理清单
- [ ] Unicode 码点平面与代理对详解
- [ ] tzdata 更新机制与 DST 规则变化
- [ ] MySQL/PostgreSQL 时间类型选型
- [ ] 文本编码在各语言标准库中的处理