罗罗编程学习记录
本页内容 展开查看

05.10.5 数据治理

所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL

覆盖范围

  • 元数据管理
  • 数据血缘
  • 指标口径一致
  • 数据成本治理(存储/计算)
  • 数据安全与权限

高频题速览

编号 题目 难度 频率
05.10.5-001 元数据管理包括什么 基础 ★★★★
05.10.5-002 数据血缘怎么采集和用 进阶 ★★★
05.10.5-003 指标口径怎么治理 进阶 ★★★★
05.10.5-004 数据成本怎么治理 进阶 ★★★
05.10.5-005 数据安全与权限怎么做 基础 ★★★

05.10.5-001 元数据管理包括什么?

频率 ★★★★ | 难度 基础

一句话结论

元数据分技术元数据(表结构、分区、任务)、业务元数据(业务含义、口径、负责人)、操作元数据(访问记录、血缘);统一元数据平台(如 Atlas/DataWorks)集中管理。


05.10.5-002 数据血缘怎么采集和使用?

频率 ★★★ | 难度 进阶

一句话结论

通过解析 SQL 执行计划或任务日志自动采集表/字段级血缘;用于影响分析(改字段前看哪些下游受影响)、问题定位(指标异常追到源头)、合规审计。


05.10.5-003 指标口径怎么治理?

频率 ★★★★ | 难度 进阶

一句话结论

建指标平台:每个指标有唯一 ID、口径定义、负责人、加工逻辑;DWS 层按指标平台口径生成,ADS 与报表统一引用;杜绝"同名不同义"。


05.10.5-004 数据成本怎么治理?

频率 ★★★ | 难度 进阶

一句话结论

存储治理:冷数据转对象存储/压缩、过期分区清理;计算治理:识别重复任务、大表全扫任务、优化调度、按队列隔离;按业务 owner 分摊成本。


05.10.5-005 数据安全与权限怎么做?

频率 ★★★ | 难度 基础

一句话结论

敏感字段(手机号、身份证)脱敏/加密,行列级权限控制,最小权限原则,访问审计日志;生产库禁止直连,通过平台申请。


05.10.5-006 元数据变更如何影响下游?

频率 ★★★ | 难度 进阶

一句话结论

改字段前先查血缘,找到所有依赖该字段的下游任务和报表;通过平台批量通知 owner,变更窗口内灰度,确认无报错后再完成变更。

常见误区

  • 误区:改个字段名而已。正解:血缘没排查会导致几十个下游任务同时失败。

05.10.5-007 数据资产怎么盘点?

频率 ★★★ | 难度 基础

一句话结论

按业务域盘点表,标注负责人、业务含义、敏感等级、更新频率、使用次数;长期无人访问的表下线,释放存储和计算成本。


05.10.5-008 口径一致怎么落地?

频率 ★★★ | 难度 进阶

一句话结论

所有报表的指标必须从指标平台取数,不允许报表层自己写 SQL 算指标;指标平台统一管理口径、负责人、加工逻辑,报表只是展示。

典型场景与代码示例

元数据平台结构

元数据平台
├── 技术元数据:库表结构、字段类型、分区、任务依赖
├── 业务元数据:业务含义、负责人、敏感等级、口径定义
└── 操作元数据:访问记录、查询频次、成本归属

血缘采集方式

方式一:解析 SQL(Apache Calcite / JSqlParser)
  输入:SELECT a.col, b.col FROM t1 a JOIN t2 b ON a.id=b.id
  输出:t1.col -> target.col; t2.col -> target.col

方式二:调度平台记录任务输入输出
  任务读取 t1、t2,写入 t3,自动建边

方式三:从执行计划采集(最准确)
  解析 Explain 计划中的 scan / project 节点

成本治理流程

1. 统计每个表每天的存储大小和查询次数
2. 三个月无访问的表标记冷数据
3. 冷数据转低频存储或归档
4. 重复任务(同一 SQL 多任务跑)合并
5. 按业务 owner 分摊成本

敏感数据分级

L1 公开:商品名、类目
L2 内部:订单金额、用户 ID
L3 敏感:手机号、身份证、地址
L4 机密:银行卡、密码哈希、生物特征

L3+ 字段:查询需审批、脱敏展示、审计日志

指标治理流程

1. 业务方提出指标需求
2. 指标平台注册:指标名、口径定义、计算公式
3. DWS 层按口径生成指标
4. 报表引用指标 ID,不自己写计算逻辑
5. 口径变更走评审,通知所有下游

面试高频追问

问:数据治理和数据管理有什么区别?

答:数据管理是日常操作(建表、跑任务),数据治理是制度和标准(口径、权限、成本);治理是让数据可信、可用、可追溯。

问:数据治理项目从哪里开始?

答:先解决最痛的问题:指标口径不一致就先做指标平台,数据质量差就先做质量校验,权限混乱就先做权限治理;不要一上来建大而全的平台。

问:元数据采集最准的方式是什么?

答:从执行计划采集最准(知道实际读了哪些列),SQL 解析次之;调度平台记录任务输入输出是最简单但不够精确。

问:数据成本怎么分摊到业务?

答:按表的存储大小和计算频率统计,归属到业务 owner;在平台上展示每个业务的数据成本,推动优化。

核心要点速记

治理领域 核心动作 常见工具
元数据 采集技术/业务/操作元数据 Atlas、DataWorks
血缘 SQL 解析或执行计划采集 Atlas、OpenLineage
指标口径 指标平台统一管理 指标平台、Superset
数据质量 完整性/一致性/及时性校验 Great Expectations
成本治理 冷热分层、重复任务合并 自研、云厂商
安全权限 脱敏、行列级权限、审计 Ranger、RDS 权限

一句话记忆:数据治理不是建大平台,而是先解决最痛的问题(口径不一致、质量差、权限乱),逐步推进。

相关概念辨析

元数据 vs 数据字典

  • 元数据:描述数据的数据,技术+业务。
  • 数据字典:数据库字段定义,纯技术。
  • 选择:数据治理需要元数据,不只是数据字典。

血缘 vs 影响分析

  • 血缘:数据从哪来,向上追溯。
  • 影响分析:数据到哪去,向下影响。
  • 选择:出问题用血缘;变更用影响分析。

05.10.5-009 元数据怎么自动化采集?

频率 ★★★ | 难度 进阶

一句话结论

技术元数据自动采集:从数据库 information_schema、调度系统 API、SQL 解析获取;业务元数据人工标注(业务描述、负责人)。

概念解释

  • 技术元数据:表名、列名、类型、行数、存储大小。
  • 业务元数据:业务描述、负责人、口径定义。
  • 采集方式:自动采集技术元数据,人工标注业务元数据。

原理流程

  1. 技术元数据:定期从 information_schema 拉取表结构。
  2. 血缘:解析 SQL 提取表级和字段级依赖。
  3. 业务元数据:人工在元数据系统中标注业务描述。

常见误区

  • 误区:元数据自动采集就好。正解:业务元数据必须人工标注。

追问延伸

  • 元数据系统:Apache Atlas、DataHub、OpenMetadata。
  • 元数据治理:数据治理的基础。

05.10.5-010 数据成本治理有哪些具体手段?

频率 ★★★ | 难度 进阶

一句话结论

成本治理:1)冷热分层(热数据 SSD,冷数据对象存储);2)小文件合并;3)计算优化(减少全表扫描);4)下线无用表。

概念解释

  • 冷热分层:热数据高性能存储,冷数据低成本存储。
  • 小文件合并:减少 NameNode/Metastore 压力。
  • 计算优化:减少不必要的全表扫描。
  • 下线无用表:删除无人使用的表。

原理流程

  1. 冷热分层:30 天内热数据 SSD,30 天以上冷数据 S3。
  2. 小文件合并:定期合并小文件。
  3. 下线无用表:90 天无人查询的表,下线。

常见误区

  • 误区:成本治理就是砍机器。正解:先做冷热分层和计算优化。

追问延伸

  • 成本监控:监控存储和计算成本,按部门分摊。
  • 数据生命周期:自动过期删除。

05.10.5-011 指标字典怎么维护?

频率 ★★ | 难度 进阶

一句话结论

指标字典:记录指标名称、业务定义、计算公式、口径、负责人;口径变更走审批,通知所有使用方。

概念解释

  • 指标字典:全公司指标的统一定义。
  • 口径变更:申请审批,变更后通知使用方。
  • 负责人:每个指标有负责人,负责口径维护。

原理流程

  1. 指标字典:记录"GMV = 已支付订单金额(不含退款)"。
  2. 口径变更:申请审批,变更后通知所有使用方。
  3. 负责人:指标负责人维护口径。

常见误区

  • 误区:指标字典是文档工作。正解:指标字典是数据治理的核心。

追问延伸

  • 指标平台:专门的指标管理系统。
  • 口径冲突:同一指标不同部门定义不同,要统一。

05.10.5-012 数据安全分级怎么做?

频率 ★★ | 难度 进阶

一句话结论

数据安全分级:1)公开数据;2)内部数据;3)敏感数据(手机号、身份证);4)机密数据(财务、密码);不同级别有不同的访问控制。

概念解释

  • 公开数据:可对外公开。
  • 内部数据:公司内部使用。
  • 敏感数据:个人隐私,需脱敏。
  • 机密数据:核心业务数据,严格控制。

原理流程

  1. 公开数据:无限制访问。
  2. 内部数据:员工账号访问。
  3. 敏感数据:脱敏后访问,手机号掩码 138****1234。
  4. 机密数据:审批后访问,记录审计日志。

常见误区

  • 误区:所有数据都公开。正解:敏感数据必须脱敏,机密数据严格控制。

追问延伸

  • 脱敏:手机号、身份证、银行卡掩码。
  • 审计:记录谁访问了什么数据。

场景题:公司数据治理从哪里入手?答:先做元数据采集和血缘分析,再做指标口径统一,最后做成本治理;治理是持续运营,不是一次性项目。

追问延伸:治理目标是可发现、可信任、可追溯;技术元数据自动采集,业务元数据人工标注。

核心要点:治理是持续运营,不是一次性项目;成本治理先做冷热分层和计算优化,不是砍机器。


待整理清单

  • [ ] 数据治理成熟度模型
  • [ ] 主数据管理 MDM
  • [ ] 数据资产目录与检索