罗罗编程学习记录
本页内容 展开查看

10.12.3 合成数据与数据清洗

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.12 评测与数据

覆盖范围

  • 合成数据的价值与风险
  • 合成数据生成方法
  • 数据清洗流程
  • 数据去重与质量控制
  • 合成数据的应用场景
  • 数据泄露与污染

高频题速览

编号 题目 难度 频率
10.12.3-001 为什么需要合成数据? 基础 ★★★★
10.12.3-002 合成数据怎么生成? 进阶 ★★★
10.12.3-003 数据清洗流程是什么? 进阶 ★★★★
10.12.3-004 怎么去重? 基础 ★★★
10.12.3-005 合成数据有什么风险? 进阶 ★★★
10.12.3-006 合成数据怎么用? 基础 ★★★
10.12.3-007 数据质量怎么评估? 基础 ★★★
10.12.3-008 数据泄露与污染怎么防? 进阶 ★★★

10.12.3-001 为什么需要合成数据?

频率 ★★★★ | 难度 基础

一句话结论

合成数据解决真实数据不足的问题:真实标注数据贵、慢、少,用强模型生成合成数据可以快速扩充数据集,用于 SFT、评测、测试;但要注意质量和偏差。

概念解释

  • 真实数据:人工标注,贵、慢、量少。
  • 合成数据:用强模型(GPT-4o)生成,便宜、快、量大。
  • 用途:SFT 训练、评测集、测试用例。
  • 风险:合成数据有模型偏差,可能不够真实。

原理流程

  1. 真实数据不足。
  2. 用强模型生成合成数据。
  3. 清洗和筛选。
  4. 用于训练或评测。

代码 / 示例

合成数据的价值:
  - 真实标注: 1 条 $1, 1 万条 $1 万
  - 合成数据: 1 条 $0.01, 10 万条 $1000
  - 速度: 人工标注 1 个月, 合成数据 1 天

  用途:
    - SFT 训练数据
    - 评测集
    - 测试用例
    - 边界 case

常见误区

  • 误区:合成数据完全替代真实数据;正解:合成数据补充,不能完全替代,真实数据才是金标准。
  • 误区:合成数据质量不行;正解:强模型生成的合成数据质量很高,经过筛选后可用。

追问

  • Q:合成数据主要用在什么场景? A:SFT 训练、评测集扩充、边界 case 生成、测试用例。
  • Q:合成数据和真实数据比例? A:真实数据 20% + 合成数据 80%,效果通常不错。

10.12.3-002 合成数据怎么生成?

频率 ★★★ | 难度 进阶

一句话结论

生成方法:种子法(先有几条种子,让模型扩展)、模板法(按模板生成)、自指导法(让模型自己生成问题和回答);核心是多样化和质量控制。

概念解释

  • 种子法:先有几条高质量种子,让模型扩展生成更多。
  • 模板法:按预定义模板生成问题和回答。
  • 自指导:让模型自己生成问题和回答,过滤后再用。
  • 质量控制:生成后要筛选,去掉低质量的。

原理流程

  1. 准备种子数据或模板。
  2. 调用强模型生成合成数据。
  3. 过滤:去重、质量打分、人工抽检。
  4. 得到高质量合成数据集。

代码 / 示例

# 合成数据生成示例
prompt = """
根据以下主题生成 10 条问答对:
主题: 公司退款政策

要求:
  - 问题要多样化
  - 回答要准确
  - 格式: JSON 数组
"""

# 用 GPT-4o 生成
result = gpt4o.generate(prompt)
data = json.loads(result)

常见误区

  • 误区:生成完直接用;正解:要过滤和筛选,合成数据有噪声,直接用会引入偏差。
  • 误区:合成数据越多越好;正解:质量比数量重要,1 万条高质量比 10 万条水数据有用。

追问

  • Q:怎么保证合成数据多样化? A:控制主题、难度、角度,不要都生成相似的问题。
  • Q:怎么过滤低质量? A:用规则过滤(长度、格式)、用模型打分、人工抽检。

10.12.3-003 数据清洗流程是什么?

频率 ★★★★ | 难度 进阶

一句话结论

清洗流程:去重 → 去噪 → 质量过滤 → 格式统一 → 敏感信息脱敏;每一步都去掉不合格数据,剩下的才是可用的。

概念解释

  • 去重:去掉重复或高度相似的数据。
  • 去噪:去掉错误、乱码、无意义的数据。
  • 质量过滤:用规则或模型打分,去掉低质量。
  • 格式统一:统一格式,方便后续处理。
  • 脱敏:去掉敏感信息(PII)。

原理流程

  1. 去重:精确去重 + 语义去重。
  2. 去噪:去掉乱码、太短、无意义。
  3. 质量过滤:按规则或模型打分。
  4. 格式统一:统一 JSON 格式。
  5. 脱敏:PII 替换。

代码 / 示例

数据清洗流程:
  1. 去重: 精确去重 (hash) + 语义去重 (Embedding 相似度)
  2. 去噪: 去掉乱码, 太短 (<10 字), 无意义
  3. 质量过滤: 
     - 规则: 格式检查, 长度检查
     - 模型: 用强模型打分, 去掉低分
  4. 格式统一: 统一为 JSON 格式
  5. 脱敏: 去掉姓名, 电话, 身份证等 PII

常见误区

  • 误区:数据清洗就是去重;正解:去重只是第一步,还有去噪、质量过滤、脱敏等。
  • 误区:清洗会丢数据;正解:清洗是去掉垃圾数据,保留高质量的,数据质量比数量重要。

追问

  • Q:语义去重怎么做? A:用 Embedding 算相似度,超过阈值(如 0.9)就认为是重复。
  • Q:质量过滤用什么标准? A:先用规则(长度、格式),再用模型打分(如用 GPT-4o 给数据质量打分)。

10.12.3-004 怎么去重?

频率 ★★★ | 难度 基础

一句话结论

去重分两步:精确去重(hash 完全相同)和语义去重(Embedding 相似度高);精确去重快,语义去重找相似但不完全相同的。

概念解释

  • 精确去重:文本完全相同,用 hash 去重。
  • 语义去重:文本相似但不完全相同,用 Embedding 相似度找。
  • 阈值:相似度 >0.9 认为重复。
  • 作用:减少重复数据,提高数据多样性。

原理流程

  1. 精确去重:算 hash,去掉重复。
  2. 语义去重:算 Embedding,找相似度 >0.9 的。
  3. 保留一份,去掉其他。

代码 / 示例

# 精确去重
seen = set()
unique_data = []
for item in data:
    h = hash(item["text"])
    if h not in seen:
        seen.add(h)
        unique_data.append(item)

# 语义去重 (示意)
# 1. 所有文本算 Embedding
# 2. 两两算相似度
# 3. 相似度 > 0.9 认为重复, 保留一份

常见误区

  • 误区:精确去重就够了;正解:精确去重只能找完全相同的,语义去重才能找相似的。
  • 误区:语义去重阈值越高越好;正解:阈值太高漏过相似,太低误删,通常 0.9 左右。

追问

  • Q:语义去重要算所有两两相似度吗? A:大数据量时用近似最近邻(ANN),不用两两算。
  • Q:去重会丢数据吗? A:会,去掉重复的,保留一份,数据量减少但质量提高。

10.12.3-005 合成数据有什么风险?

频率 ★★★ | 难度 进阶

一句话结论

风险:模型偏差(合成数据带有生成模型的偏差)、质量不一致、过拟合(模型记住合成数据模式)、数据泄露(合成数据可能泄露训练数据);需要筛选和混合真实数据。

概念解释

  • 模型偏差:合成数据反映生成模型的偏见和局限。
  • 质量不一致:合成数据质量参差不齐。
  • 过拟合:模型学到合成数据的模式,泛化差。
  • 数据泄露:合成数据可能包含训练数据中的敏感信息。

原理流程

  1. 用强模型生成合成数据。
  2. 筛选:去掉低质量。
  3. 混合真实数据:真实数据 20% + 合成 80%。
  4. 评测:确保效果提升,不下降。

代码 / 示例

合成数据风险:
  - 模型偏差: 生成模型的偏见会传到训练数据
  - 质量不一致: 有的好有的差, 要筛选
  - 过拟合: 模型记住合成数据模式
  - 数据泄露: 合成数据可能包含训练数据中的信息

  应对:
    - 筛选高质量数据
    - 混合真实数据
    - 评测验证

常见误区

  • 误区:合成数据完美无缺;正解:合成数据有偏差和噪声,必须筛选和验证。
  • 误区:合成数据越多越好;正解:太多合成数据会过拟合,真实数据混合很重要。

追问

  • Q:怎么减少合成数据偏差? A:混合真实数据、多个模型生成、人工抽检。
  • Q:怎么验证合成数据有效? A:用合成数据训练,在真实评测集上测,看效果是否提升。

10.12.3-006 合成数据怎么用?

频率 ★★★ | 难度 基础

一句话结论

主要用途:SFT 训练数据、评测集扩充、边界 case 生成、测试用例生成;核心是补充真实数据,不是替代。

概念解释

  • SFT 训练:补充指令微调数据。
  • 评测集:扩充评测题量。
  • 边界 case:生成困难和边界场景。
  • 测试用例:为代码或 API 生成测试用例。

原理流程

  1. 真实数据不足的场景。
  2. 生成合成数据补充。
  3. 清洗筛选。
  4. 混合真实数据使用。

代码 / 示例

合成数据用途:
  - SFT 训练: 补充指令数据, 真实数据不够时
  - 评测集: 扩充题量, 覆盖更多场景
  - 边界 case: 生成困难场景, 测试模型鲁棒性
  - 测试用例: 为代码或 API 生成测试

常见误区

  • 误区:合成数据用来预训练;正解:预训练用真实文本,合成数据主要用于 SFT 和评测。
  • 误区:合成数据直接用;正解:要筛选和混合真实数据。

追问

  • Q:合成数据在 SFT 中占多少? A:通常 50%~80%,真实数据至少 20%。
  • Q:怎么判断合成数据好不好? A:用合成数据训练后,在真实评测集上效果提升,就说明有效。

10.12.3-007 数据质量怎么评估?

频率 ★★★ | 难度 基础

一句话结论

评估维度:正确性(内容对不对)、多样性(覆盖各种场景)、一致性(格式和风格统一)、干净度(无垃圾和敏感信息);用规则和模型打分综合评估。

概念解释

  • 正确性:内容准确,没有错误。
  • 多样性:覆盖各种场景和难度。
  • 一致性:格式和风格统一。
  • 干净度:无垃圾、无敏感信息。

原理流程

  1. 规则检查:格式、长度、敏感词。
  2. 模型打分:用强模型给数据质量打分。
  3. 多样性检查:去重,看场景覆盖。
  4. 综合评估。

代码 / 示例

数据质量评估:
  - 正确性: 内容准确吗?
  - 多样性: 覆盖各种场景吗?
  - 一致性: 格式风格统一吗?
  - 干净度: 有垃圾和敏感信息吗?
  
  方法:
    - 规则: 格式, 长度, 敏感词检查
    - 模型: 用 GPT-4o 给质量打分
    - 统计: 场景分布, 难度分布

常见误区

  • 误区:数据越多质量越好;正解:质量比数量重要,1 万条高质量比 10 万条垃圾好。
  • 误区:数据质量不用管;正解:垃圾进垃圾出,数据质量直接决定模型效果。

追问

  • Q:怎么量化数据质量? A:用规则过滤率、模型打平均分、多样性指标,综合看。
  • Q:数据质量不好怎么提升? A:清洗去噪、人工抽检、补充高质量数据。

10.12.3-008 数据泄露与污染怎么防?

频率 ★★★ | 难度 进阶

一句话结论

数据泄露:训练数据里包含评测集或敏感信息,导致评测分数虚高;数据污染:合成数据混入真实数据,导致评测不准;防护:去重、数据隔离、评测集保密。

概念解释

  • 数据泄露:训练数据里有评测集题目,评测分数虚高。
  • 数据污染:合成数据或外部数据混入,影响评测。
  • 防护:去重、评测集不公开、训练和评测数据隔离。

原理流程

  1. 训练前去重,确保评测集不在训练数据里。
  2. 评测集保密,不公开。
  3. 定期更新评测集,防止泄露。
  4. 数据来源清晰,不混入不明数据。

代码 / 示例

数据泄露与污染:
  数据泄露: 训练数据里有评测集题目
    → 评测分数虚高, 实际效果没那么好
  数据污染: 合成数据或外部数据混入
    → 评测不准

  防护:
    - 训练前去重, 确保评测集不在训练数据
    - 评测集保密, 不公开
    - 定期更新评测集
    - 数据来源清晰, 可追溯

常见误区

  • 误区:评测集公开没关系;正解:公开的评测集容易被泄露到训练数据里,导致分数虚高。
  • 误区:去重就能防泄露;正解:语义去重才能发现改写过的评测题,精确去重不够。

追问

  • Q:怎么发现数据泄露? A:用新评测集测,如果分数突然很高,可能是旧评测集泄露了。
  • Q:怎么防合成数据泄露? A:合成数据生成时不要用评测集作为种子,确保不混入。

待整理清单

  • [ ] 合成数据的质量评估方法
  • [ ] 数据版本管理
  • [ ] 数据 pipeline 自动化
  • [ ] 多语言数据处理
  • [ ] 数据标注的众包管理