05.10.5 数据治理
所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL
覆盖范围
- 元数据管理
- 数据血缘
- 指标口径一致
- 数据成本治理(存储/计算)
- 数据安全与权限
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.10.5-001 | 元数据管理包括什么 | 基础 | ★★★★ |
| 05.10.5-002 | 数据血缘怎么采集和用 | 进阶 | ★★★ |
| 05.10.5-003 | 指标口径怎么治理 | 进阶 | ★★★★ |
| 05.10.5-004 | 数据成本怎么治理 | 进阶 | ★★★ |
| 05.10.5-005 | 数据安全与权限怎么做 | 基础 | ★★★ |
05.10.5-001 元数据管理包括什么?
频率 ★★★★ | 难度 基础
一句话结论
元数据分技术元数据(表结构、分区、任务)、业务元数据(业务含义、口径、负责人)、操作元数据(访问记录、血缘);统一元数据平台(如 Atlas/DataWorks)集中管理。
05.10.5-002 数据血缘怎么采集和使用?
频率 ★★★ | 难度 进阶
一句话结论
通过解析 SQL 执行计划或任务日志自动采集表/字段级血缘;用于影响分析(改字段前看哪些下游受影响)、问题定位(指标异常追到源头)、合规审计。
05.10.5-003 指标口径怎么治理?
频率 ★★★★ | 难度 进阶
一句话结论
建指标平台:每个指标有唯一 ID、口径定义、负责人、加工逻辑;DWS 层按指标平台口径生成,ADS 与报表统一引用;杜绝"同名不同义"。
05.10.5-004 数据成本怎么治理?
频率 ★★★ | 难度 进阶
一句话结论
存储治理:冷数据转对象存储/压缩、过期分区清理;计算治理:识别重复任务、大表全扫任务、优化调度、按队列隔离;按业务 owner 分摊成本。
05.10.5-005 数据安全与权限怎么做?
频率 ★★★ | 难度 基础
一句话结论
敏感字段(手机号、身份证)脱敏/加密,行列级权限控制,最小权限原则,访问审计日志;生产库禁止直连,通过平台申请。
05.10.5-006 元数据变更如何影响下游?
频率 ★★★ | 难度 进阶
一句话结论
改字段前先查血缘,找到所有依赖该字段的下游任务和报表;通过平台批量通知 owner,变更窗口内灰度,确认无报错后再完成变更。
常见误区
- 误区:改个字段名而已。正解:血缘没排查会导致几十个下游任务同时失败。
05.10.5-007 数据资产怎么盘点?
频率 ★★★ | 难度 基础
一句话结论
按业务域盘点表,标注负责人、业务含义、敏感等级、更新频率、使用次数;长期无人访问的表下线,释放存储和计算成本。
05.10.5-008 口径一致怎么落地?
频率 ★★★ | 难度 进阶
一句话结论
所有报表的指标必须从指标平台取数,不允许报表层自己写 SQL 算指标;指标平台统一管理口径、负责人、加工逻辑,报表只是展示。
典型场景与代码示例
元数据平台结构
元数据平台
├── 技术元数据:库表结构、字段类型、分区、任务依赖
├── 业务元数据:业务含义、负责人、敏感等级、口径定义
└── 操作元数据:访问记录、查询频次、成本归属
血缘采集方式
方式一:解析 SQL(Apache Calcite / JSqlParser)
输入:SELECT a.col, b.col FROM t1 a JOIN t2 b ON a.id=b.id
输出:t1.col -> target.col; t2.col -> target.col
方式二:调度平台记录任务输入输出
任务读取 t1、t2,写入 t3,自动建边
方式三:从执行计划采集(最准确)
解析 Explain 计划中的 scan / project 节点
成本治理流程
1. 统计每个表每天的存储大小和查询次数
2. 三个月无访问的表标记冷数据
3. 冷数据转低频存储或归档
4. 重复任务(同一 SQL 多任务跑)合并
5. 按业务 owner 分摊成本
敏感数据分级
L1 公开:商品名、类目
L2 内部:订单金额、用户 ID
L3 敏感:手机号、身份证、地址
L4 机密:银行卡、密码哈希、生物特征
L3+ 字段:查询需审批、脱敏展示、审计日志
指标治理流程
1. 业务方提出指标需求
2. 指标平台注册:指标名、口径定义、计算公式
3. DWS 层按口径生成指标
4. 报表引用指标 ID,不自己写计算逻辑
5. 口径变更走评审,通知所有下游
面试高频追问
问:数据治理和数据管理有什么区别?
答:数据管理是日常操作(建表、跑任务),数据治理是制度和标准(口径、权限、成本);治理是让数据可信、可用、可追溯。
问:数据治理项目从哪里开始?
答:先解决最痛的问题:指标口径不一致就先做指标平台,数据质量差就先做质量校验,权限混乱就先做权限治理;不要一上来建大而全的平台。
问:元数据采集最准的方式是什么?
答:从执行计划采集最准(知道实际读了哪些列),SQL 解析次之;调度平台记录任务输入输出是最简单但不够精确。
问:数据成本怎么分摊到业务?
答:按表的存储大小和计算频率统计,归属到业务 owner;在平台上展示每个业务的数据成本,推动优化。
核心要点速记
| 治理领域 | 核心动作 | 常见工具 |
|---|---|---|
| 元数据 | 采集技术/业务/操作元数据 | Atlas、DataWorks |
| 血缘 | SQL 解析或执行计划采集 | Atlas、OpenLineage |
| 指标口径 | 指标平台统一管理 | 指标平台、Superset |
| 数据质量 | 完整性/一致性/及时性校验 | Great Expectations |
| 成本治理 | 冷热分层、重复任务合并 | 自研、云厂商 |
| 安全权限 | 脱敏、行列级权限、审计 | Ranger、RDS 权限 |
一句话记忆:数据治理不是建大平台,而是先解决最痛的问题(口径不一致、质量差、权限乱),逐步推进。
相关概念辨析
元数据 vs 数据字典
- 元数据:描述数据的数据,技术+业务。
- 数据字典:数据库字段定义,纯技术。
- 选择:数据治理需要元数据,不只是数据字典。
血缘 vs 影响分析
- 血缘:数据从哪来,向上追溯。
- 影响分析:数据到哪去,向下影响。
- 选择:出问题用血缘;变更用影响分析。
05.10.5-009 元数据怎么自动化采集?
频率 ★★★ | 难度 进阶
一句话结论
技术元数据自动采集:从数据库 information_schema、调度系统 API、SQL 解析获取;业务元数据人工标注(业务描述、负责人)。
概念解释
- 技术元数据:表名、列名、类型、行数、存储大小。
- 业务元数据:业务描述、负责人、口径定义。
- 采集方式:自动采集技术元数据,人工标注业务元数据。
原理流程
- 技术元数据:定期从 information_schema 拉取表结构。
- 血缘:解析 SQL 提取表级和字段级依赖。
- 业务元数据:人工在元数据系统中标注业务描述。
常见误区
- 误区:元数据自动采集就好。正解:业务元数据必须人工标注。
追问延伸
- 元数据系统:Apache Atlas、DataHub、OpenMetadata。
- 元数据治理:数据治理的基础。
05.10.5-010 数据成本治理有哪些具体手段?
频率 ★★★ | 难度 进阶
一句话结论
成本治理:1)冷热分层(热数据 SSD,冷数据对象存储);2)小文件合并;3)计算优化(减少全表扫描);4)下线无用表。
概念解释
- 冷热分层:热数据高性能存储,冷数据低成本存储。
- 小文件合并:减少 NameNode/Metastore 压力。
- 计算优化:减少不必要的全表扫描。
- 下线无用表:删除无人使用的表。
原理流程
- 冷热分层:30 天内热数据 SSD,30 天以上冷数据 S3。
- 小文件合并:定期合并小文件。
- 下线无用表:90 天无人查询的表,下线。
常见误区
- 误区:成本治理就是砍机器。正解:先做冷热分层和计算优化。
追问延伸
- 成本监控:监控存储和计算成本,按部门分摊。
- 数据生命周期:自动过期删除。
05.10.5-011 指标字典怎么维护?
频率 ★★ | 难度 进阶
一句话结论
指标字典:记录指标名称、业务定义、计算公式、口径、负责人;口径变更走审批,通知所有使用方。
概念解释
- 指标字典:全公司指标的统一定义。
- 口径变更:申请审批,变更后通知使用方。
- 负责人:每个指标有负责人,负责口径维护。
原理流程
- 指标字典:记录"GMV = 已支付订单金额(不含退款)"。
- 口径变更:申请审批,变更后通知所有使用方。
- 负责人:指标负责人维护口径。
常见误区
- 误区:指标字典是文档工作。正解:指标字典是数据治理的核心。
追问延伸
- 指标平台:专门的指标管理系统。
- 口径冲突:同一指标不同部门定义不同,要统一。
05.10.5-012 数据安全分级怎么做?
频率 ★★ | 难度 进阶
一句话结论
数据安全分级:1)公开数据;2)内部数据;3)敏感数据(手机号、身份证);4)机密数据(财务、密码);不同级别有不同的访问控制。
概念解释
- 公开数据:可对外公开。
- 内部数据:公司内部使用。
- 敏感数据:个人隐私,需脱敏。
- 机密数据:核心业务数据,严格控制。
原理流程
- 公开数据:无限制访问。
- 内部数据:员工账号访问。
- 敏感数据:脱敏后访问,手机号掩码 138****1234。
- 机密数据:审批后访问,记录审计日志。
常见误区
- 误区:所有数据都公开。正解:敏感数据必须脱敏,机密数据严格控制。
追问延伸
- 脱敏:手机号、身份证、银行卡掩码。
- 审计:记录谁访问了什么数据。
场景题:公司数据治理从哪里入手?答:先做元数据采集和血缘分析,再做指标口径统一,最后做成本治理;治理是持续运营,不是一次性项目。
追问延伸:治理目标是可发现、可信任、可追溯;技术元数据自动采集,业务元数据人工标注。
核心要点:治理是持续运营,不是一次性项目;成本治理先做冷热分层和计算优化,不是砍机器。
待整理清单
- [ ] 数据治理成熟度模型
- [ ] 主数据管理 MDM
- [ ] 数据资产目录与检索