10.12.3 合成数据与数据清洗
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.12 评测与数据
覆盖范围
- 合成数据的价值与风险
- 合成数据生成方法
- 数据清洗流程
- 数据去重与质量控制
- 合成数据的应用场景
- 数据泄露与污染
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.12.3-001 | 为什么需要合成数据? | 基础 | ★★★★ |
| 10.12.3-002 | 合成数据怎么生成? | 进阶 | ★★★ |
| 10.12.3-003 | 数据清洗流程是什么? | 进阶 | ★★★★ |
| 10.12.3-004 | 怎么去重? | 基础 | ★★★ |
| 10.12.3-005 | 合成数据有什么风险? | 进阶 | ★★★ |
| 10.12.3-006 | 合成数据怎么用? | 基础 | ★★★ |
| 10.12.3-007 | 数据质量怎么评估? | 基础 | ★★★ |
| 10.12.3-008 | 数据泄露与污染怎么防? | 进阶 | ★★★ |
10.12.3-001 为什么需要合成数据?
频率 ★★★★ | 难度 基础
一句话结论
合成数据解决真实数据不足的问题:真实标注数据贵、慢、少,用强模型生成合成数据可以快速扩充数据集,用于 SFT、评测、测试;但要注意质量和偏差。
概念解释
- 真实数据:人工标注,贵、慢、量少。
- 合成数据:用强模型(GPT-4o)生成,便宜、快、量大。
- 用途:SFT 训练、评测集、测试用例。
- 风险:合成数据有模型偏差,可能不够真实。
原理流程
- 真实数据不足。
- 用强模型生成合成数据。
- 清洗和筛选。
- 用于训练或评测。
代码 / 示例
合成数据的价值:
- 真实标注: 1 条 $1, 1 万条 $1 万
- 合成数据: 1 条 $0.01, 10 万条 $1000
- 速度: 人工标注 1 个月, 合成数据 1 天
用途:
- SFT 训练数据
- 评测集
- 测试用例
- 边界 case
常见误区
- 误区:合成数据完全替代真实数据;正解:合成数据补充,不能完全替代,真实数据才是金标准。
- 误区:合成数据质量不行;正解:强模型生成的合成数据质量很高,经过筛选后可用。
追问
- Q:合成数据主要用在什么场景? A:SFT 训练、评测集扩充、边界 case 生成、测试用例。
- Q:合成数据和真实数据比例? A:真实数据 20% + 合成数据 80%,效果通常不错。
10.12.3-002 合成数据怎么生成?
频率 ★★★ | 难度 进阶
一句话结论
生成方法:种子法(先有几条种子,让模型扩展)、模板法(按模板生成)、自指导法(让模型自己生成问题和回答);核心是多样化和质量控制。
概念解释
- 种子法:先有几条高质量种子,让模型扩展生成更多。
- 模板法:按预定义模板生成问题和回答。
- 自指导:让模型自己生成问题和回答,过滤后再用。
- 质量控制:生成后要筛选,去掉低质量的。
原理流程
- 准备种子数据或模板。
- 调用强模型生成合成数据。
- 过滤:去重、质量打分、人工抽检。
- 得到高质量合成数据集。
代码 / 示例
# 合成数据生成示例
prompt = """
根据以下主题生成 10 条问答对:
主题: 公司退款政策
要求:
- 问题要多样化
- 回答要准确
- 格式: JSON 数组
"""
# 用 GPT-4o 生成
result = gpt4o.generate(prompt)
data = json.loads(result)
常见误区
- 误区:生成完直接用;正解:要过滤和筛选,合成数据有噪声,直接用会引入偏差。
- 误区:合成数据越多越好;正解:质量比数量重要,1 万条高质量比 10 万条水数据有用。
追问
- Q:怎么保证合成数据多样化? A:控制主题、难度、角度,不要都生成相似的问题。
- Q:怎么过滤低质量? A:用规则过滤(长度、格式)、用模型打分、人工抽检。
10.12.3-003 数据清洗流程是什么?
频率 ★★★★ | 难度 进阶
一句话结论
清洗流程:去重 → 去噪 → 质量过滤 → 格式统一 → 敏感信息脱敏;每一步都去掉不合格数据,剩下的才是可用的。
概念解释
- 去重:去掉重复或高度相似的数据。
- 去噪:去掉错误、乱码、无意义的数据。
- 质量过滤:用规则或模型打分,去掉低质量。
- 格式统一:统一格式,方便后续处理。
- 脱敏:去掉敏感信息(PII)。
原理流程
- 去重:精确去重 + 语义去重。
- 去噪:去掉乱码、太短、无意义。
- 质量过滤:按规则或模型打分。
- 格式统一:统一 JSON 格式。
- 脱敏:PII 替换。
代码 / 示例
数据清洗流程:
1. 去重: 精确去重 (hash) + 语义去重 (Embedding 相似度)
2. 去噪: 去掉乱码, 太短 (<10 字), 无意义
3. 质量过滤:
- 规则: 格式检查, 长度检查
- 模型: 用强模型打分, 去掉低分
4. 格式统一: 统一为 JSON 格式
5. 脱敏: 去掉姓名, 电话, 身份证等 PII
常见误区
- 误区:数据清洗就是去重;正解:去重只是第一步,还有去噪、质量过滤、脱敏等。
- 误区:清洗会丢数据;正解:清洗是去掉垃圾数据,保留高质量的,数据质量比数量重要。
追问
- Q:语义去重怎么做? A:用 Embedding 算相似度,超过阈值(如 0.9)就认为是重复。
- Q:质量过滤用什么标准? A:先用规则(长度、格式),再用模型打分(如用 GPT-4o 给数据质量打分)。
10.12.3-004 怎么去重?
频率 ★★★ | 难度 基础
一句话结论
去重分两步:精确去重(hash 完全相同)和语义去重(Embedding 相似度高);精确去重快,语义去重找相似但不完全相同的。
概念解释
- 精确去重:文本完全相同,用 hash 去重。
- 语义去重:文本相似但不完全相同,用 Embedding 相似度找。
- 阈值:相似度 >0.9 认为重复。
- 作用:减少重复数据,提高数据多样性。
原理流程
- 精确去重:算 hash,去掉重复。
- 语义去重:算 Embedding,找相似度 >0.9 的。
- 保留一份,去掉其他。
代码 / 示例
# 精确去重
seen = set()
unique_data = []
for item in data:
h = hash(item["text"])
if h not in seen:
seen.add(h)
unique_data.append(item)
# 语义去重 (示意)
# 1. 所有文本算 Embedding
# 2. 两两算相似度
# 3. 相似度 > 0.9 认为重复, 保留一份
常见误区
- 误区:精确去重就够了;正解:精确去重只能找完全相同的,语义去重才能找相似的。
- 误区:语义去重阈值越高越好;正解:阈值太高漏过相似,太低误删,通常 0.9 左右。
追问
- Q:语义去重要算所有两两相似度吗? A:大数据量时用近似最近邻(ANN),不用两两算。
- Q:去重会丢数据吗? A:会,去掉重复的,保留一份,数据量减少但质量提高。
10.12.3-005 合成数据有什么风险?
频率 ★★★ | 难度 进阶
一句话结论
风险:模型偏差(合成数据带有生成模型的偏差)、质量不一致、过拟合(模型记住合成数据模式)、数据泄露(合成数据可能泄露训练数据);需要筛选和混合真实数据。
概念解释
- 模型偏差:合成数据反映生成模型的偏见和局限。
- 质量不一致:合成数据质量参差不齐。
- 过拟合:模型学到合成数据的模式,泛化差。
- 数据泄露:合成数据可能包含训练数据中的敏感信息。
原理流程
- 用强模型生成合成数据。
- 筛选:去掉低质量。
- 混合真实数据:真实数据 20% + 合成 80%。
- 评测:确保效果提升,不下降。
代码 / 示例
合成数据风险:
- 模型偏差: 生成模型的偏见会传到训练数据
- 质量不一致: 有的好有的差, 要筛选
- 过拟合: 模型记住合成数据模式
- 数据泄露: 合成数据可能包含训练数据中的信息
应对:
- 筛选高质量数据
- 混合真实数据
- 评测验证
常见误区
- 误区:合成数据完美无缺;正解:合成数据有偏差和噪声,必须筛选和验证。
- 误区:合成数据越多越好;正解:太多合成数据会过拟合,真实数据混合很重要。
追问
- Q:怎么减少合成数据偏差? A:混合真实数据、多个模型生成、人工抽检。
- Q:怎么验证合成数据有效? A:用合成数据训练,在真实评测集上测,看效果是否提升。
10.12.3-006 合成数据怎么用?
频率 ★★★ | 难度 基础
一句话结论
主要用途:SFT 训练数据、评测集扩充、边界 case 生成、测试用例生成;核心是补充真实数据,不是替代。
概念解释
- SFT 训练:补充指令微调数据。
- 评测集:扩充评测题量。
- 边界 case:生成困难和边界场景。
- 测试用例:为代码或 API 生成测试用例。
原理流程
- 真实数据不足的场景。
- 生成合成数据补充。
- 清洗筛选。
- 混合真实数据使用。
代码 / 示例
合成数据用途:
- SFT 训练: 补充指令数据, 真实数据不够时
- 评测集: 扩充题量, 覆盖更多场景
- 边界 case: 生成困难场景, 测试模型鲁棒性
- 测试用例: 为代码或 API 生成测试
常见误区
- 误区:合成数据用来预训练;正解:预训练用真实文本,合成数据主要用于 SFT 和评测。
- 误区:合成数据直接用;正解:要筛选和混合真实数据。
追问
- Q:合成数据在 SFT 中占多少? A:通常 50%~80%,真实数据至少 20%。
- Q:怎么判断合成数据好不好? A:用合成数据训练后,在真实评测集上效果提升,就说明有效。
10.12.3-007 数据质量怎么评估?
频率 ★★★ | 难度 基础
一句话结论
评估维度:正确性(内容对不对)、多样性(覆盖各种场景)、一致性(格式和风格统一)、干净度(无垃圾和敏感信息);用规则和模型打分综合评估。
概念解释
- 正确性:内容准确,没有错误。
- 多样性:覆盖各种场景和难度。
- 一致性:格式和风格统一。
- 干净度:无垃圾、无敏感信息。
原理流程
- 规则检查:格式、长度、敏感词。
- 模型打分:用强模型给数据质量打分。
- 多样性检查:去重,看场景覆盖。
- 综合评估。
代码 / 示例
数据质量评估:
- 正确性: 内容准确吗?
- 多样性: 覆盖各种场景吗?
- 一致性: 格式风格统一吗?
- 干净度: 有垃圾和敏感信息吗?
方法:
- 规则: 格式, 长度, 敏感词检查
- 模型: 用 GPT-4o 给质量打分
- 统计: 场景分布, 难度分布
常见误区
- 误区:数据越多质量越好;正解:质量比数量重要,1 万条高质量比 10 万条垃圾好。
- 误区:数据质量不用管;正解:垃圾进垃圾出,数据质量直接决定模型效果。
追问
- Q:怎么量化数据质量? A:用规则过滤率、模型打平均分、多样性指标,综合看。
- Q:数据质量不好怎么提升? A:清洗去噪、人工抽检、补充高质量数据。
10.12.3-008 数据泄露与污染怎么防?
频率 ★★★ | 难度 进阶
一句话结论
数据泄露:训练数据里包含评测集或敏感信息,导致评测分数虚高;数据污染:合成数据混入真实数据,导致评测不准;防护:去重、数据隔离、评测集保密。
概念解释
- 数据泄露:训练数据里有评测集题目,评测分数虚高。
- 数据污染:合成数据或外部数据混入,影响评测。
- 防护:去重、评测集不公开、训练和评测数据隔离。
原理流程
- 训练前去重,确保评测集不在训练数据里。
- 评测集保密,不公开。
- 定期更新评测集,防止泄露。
- 数据来源清晰,不混入不明数据。
代码 / 示例
数据泄露与污染:
数据泄露: 训练数据里有评测集题目
→ 评测分数虚高, 实际效果没那么好
数据污染: 合成数据或外部数据混入
→ 评测不准
防护:
- 训练前去重, 确保评测集不在训练数据
- 评测集保密, 不公开
- 定期更新评测集
- 数据来源清晰, 可追溯
常见误区
- 误区:评测集公开没关系;正解:公开的评测集容易被泄露到训练数据里,导致分数虚高。
- 误区:去重就能防泄露;正解:语义去重才能发现改写过的评测题,精确去重不够。
追问
- Q:怎么发现数据泄露? A:用新评测集测,如果分数突然很高,可能是旧评测集泄露了。
- Q:怎么防合成数据泄露? A:合成数据生成时不要用评测集作为种子,确保不混入。
待整理清单
- [ ] 合成数据的质量评估方法
- [ ] 数据版本管理
- [ ] 数据 pipeline 自动化
- [ ] 多语言数据处理
- [ ] 数据标注的众包管理