罗罗编程学习记录
本页内容 展开查看

10.13.4 生成内容合规与风控

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.13 AI 安全

覆盖范围

  • 生成内容审核
  • 内容安全分类
  • 合规要求(中国生成式 AI 管理办法)
  • 内容标识与溯源
  • 风控规则与策略
  • 用户反馈与申诉

高频题速览

编号 题目 难度 频率
10.13.4-001 生成内容为什么要审核? 基础 ★★★★
10.13.4-002 内容审核怎么做? 进阶 ★★★★
10.13.4-003 中国生成式 AI 有什么合规要求? 基础 ★★★
10.13.4-004 生成内容要标识吗? 基础 ★★★
10.13.4-005 风控规则怎么设计? 进阶 ★★★
10.13.4-006 输入审核和输出审核有什么区别? 基础 ★★★
10.13.4-007 用户反馈和申诉怎么处理? 基础 ★★
10.13.4-008 内容审核用什么模型? 进阶 ★★★

10.13.4-001 生成内容为什么要审核?

频率 ★★★★ | 难度 基础

一句话结论

LLM 可能生成有害内容(暴力、色情、政治敏感、虚假信息),必须审核;不审核会导致合规风险(违法)、品牌风险(负面舆情)、用户体验差。

概念解释

  • 有害内容:暴力、色情、政治敏感、虚假信息、歧视。
  • 合规风险:违反法律法规,会被处罚。
  • 品牌风险:生成有害内容,品牌形象受损。
  • 必要性:不审核就不能上线。

原理流程

  1. LLM 生成内容。
  2. 可能包含有害内容。
  3. 不审核直接输出 → 合规风险 + 品牌风险。
  4. 所以要审核。

代码 / 示例

生成内容风险:
  - 暴力: 教怎么制作武器
  - 色情: 生成色情内容
  - 政治敏感: 生成政治敏感内容
  - 虚假信息: 生成虚假新闻
  - 歧视: 生成歧视性内容

常见误区

  • 误区:模型对齐好了就不用审核;正解:对齐不能 100% 挡住,还是要审核。
  • 误区:审核是法务部门的事;正解:技术上要做内容审核,是产品功能的一部分。

追问

  • Q:最严重的合规风险是什么? A:生成违法内容,会被监管处罚甚至下架。
  • Q:不审核能上线吗? A:不能,中国要求生成式 AI 必须做内容安全审核。

10.13.4-002 内容审核怎么做?

频率 ★★★★ | 难度 进阶

一句话结论

审核分两层:输入审核(用户输入是否合规)和输出审核(模型输出是否合规);用专门的审核模型(如 OpenAI Moderation、自研分类模型);命中规则的拦截或人工复审。

概念解释

  • 输入审核:用户输入是否合规,不合规直接拒绝。
  • 输出审核:模型输出是否合规,不合规拦截或重写。
  • 审核模型:专门训练的内容安全分类模型。
  • 规则:关键词、分类、风险等级。

原理流程

  1. 用户输入 → 输入审核。
  2. 不合规 → 拒绝,不调用模型。
  3. 模型生成 → 输出审核。
  4. 不合规 → 拦截或替换。

代码 / 示例

内容审核流程:
  输入:
    用户输入 → 输入审核
    不合规 → 拒绝, 不调用模型
  
  输出:
    模型输出 → 输出审核
    不合规 → 拦截 / 替换为安全内容

常见误区

  • 误区:只审核输出就行;正解:输入也要审核,防止用户诱导模型生成有害内容。
  • 误区:关键词过滤就够了;正解:关键词太粗糙,要用专门的审核模型。

追问

  • Q:输入审核和输出审核哪个重要? A:都重要,输入挡在前面,输出兜底。
  • Q:审核模型怎么训练? A:用人工标注的安全/不安全样本训练分类模型。

10.13.4-003 中国生成式 AI 有什么合规要求?

频率 ★★★ | 难度 基础

一句话结论

中国《生成式人工智能服务管理暂行办法》要求:内容安全审核、算法备案、安全评估、用户实名制、内容标识、未成年人保护;面向公众提供服务的都要遵守。

概念解释

  • 内容审核:必须有内容安全机制。
  • 算法备案:向监管部门备案。
  • 安全评估:上线前做安全评估。
  • 实名制:用户要实名认证。
  • 内容标识:生成内容要标识。

原理流程

  1. 服务上线前做安全评估。
  2. 算法备案。
  3. 建立内容审核机制。
  4. 用户实名制。
  5. 生成内容标识。

代码 / 示例

中国生成式 AI 合规要求:
  1. 内容安全: 建立审核机制
  2. 算法备案: 向监管部门备案
  3. 安全评估: 上线前评估
  4. 实名制: 用户实名认证
  5. 内容标识: AI 生成内容要标识
  6. 未成年人保护: 未成年人模式

常见误区

  • 误区:内部用的也要备案;正解:面向公众的才要备案,内部用的不用。
  • 误区:合规是上线后补的;正解:上线前就要做,先评估再上线。

追问

  • Q:面向公众提供服务要做什么? A:算法备案、安全评估、内容审核、实名制。
  • Q:不备案会怎样? A:可能被要求下架、处罚。

10.13.4-004 生成内容要标识吗?

频率 ★★★ | 难度 基础

一句话结论

要,中国要求 AI 生成内容要标识,让用户知道这是 AI 生成的;防止 AI 生成内容被当作真实信息传播;是合规要求之一。

概念解释

  • 标识:明确告诉用户这是 AI 生成的。
  • 目的:防止 AI 生成内容被当作真实信息。
  • 方式:页面上标注、内容水印、元数据。
  • 合规:中国要求生成式 AI 做内容标识。

原理流程

  1. 生成内容时加标识。
  2. 页面上标注"AI 生成"。
  3. 内容里加水印或元数据。
  4. 用户能知道这是 AI 生成的。

代码 / 示例

内容标识方式:
  1. 页面标注: "本内容由 AI 生成"
  2. 文本水印: 末尾加隐藏标识
  3. 元数据: 文件里加 AI 生成标记
  4. 图片水印: AI 生成图片加可见水印

常见误区

  • 误区:内容标识是可选项;正解:合规要求,必须做。
  • 误区:只有图片要标识;正解:文本、图片、视频都要标识。

追问

  • Q:怎么标识文本? A:页面标注 + 隐藏水印(末尾加不可见字符)。
  • Q:怎么标识图片? A:可见水印 + 元数据标记。

10.13.4-005 风控规则怎么设计?

频率 ★★★ | 难度 进阶

一句话结论

风控规则分层:高危直接拦截(违法内容)、中危人工复审、低危记录观察;按风险等级处理,不能一刀切;还要考虑误杀率,不能把正常内容也拦了。

概念解释

  • 高危:直接拦截,不输出。
  • 中危:人工复审,审核后决定。
  • 低危:记录日志,观察。
  • 误杀:正常内容被误拦,要平衡。

原理流程

  1. 审核模型输出风险等级。
  2. 高危 → 直接拦截。
  3. 中危 → 人工复审。
  4. 低危 → 记录观察。
  5. 定期复盘误杀率。

代码 / 示例

风控规则分层:
  高危: 直接拦截
    - 违法内容
    - 暴力色情
    - 政治敏感
  
  中危: 人工复审
    - 可能违规
    - 边界情况
  
  低危: 记录观察
    - 轻微风险
    - 定期复盘

常见误区

  • 误区:越严格越好;正解:太严格误杀率高,用户体验差,要平衡。
  • 误区:规则设好就不用管;正解:要持续复盘,根据新情况调整。

追问

  • Q:怎么平衡严格和误杀? A:分层处理,高危严格,中危人工复审,定期复盘调整。
  • Q:人工复审成本高吗? A:高,所以只复审中危的,高危自动拦截,低危记录。

10.13.4-006 输入审核和输出审核有什么区别?

频率 ★★★ | 难度 基础

一句话结论

输入审核是挡用户的恶意输入(防止诱导模型生成有害内容),输出审核是挡模型的有害输出(兜底);两个都要做,输入挡前面,输出兜底。

概念解释

  • 输入审核:用户输入是否合规。
  • 输出审核:模型输出是否合规。
  • 输入:挡在前面,不调用模型。
  • 输出:兜底,防止模型生成有害内容。

原理流程

  1. 用户输入 → 输入审核。
  2. 不合规 → 拒绝,不调用模型。
  3. 模型生成 → 输出审核。
  4. 不合规 → 拦截或替换。

代码 / 示例

输入审核 vs 输出审核:
  输入审核:
    挡用户恶意输入
    防止诱导模型生成有害内容
    不合规直接拒绝, 不调用模型
  
  输出审核:
    挡模型有害输出
    兜底机制
    不合规拦截或替换

常见误区

  • 误区:输出审核就够了;正解:输入也要挡,防止浪费模型调用、防止绕过。
  • 误区:输入审核就是关键词过滤;正解:用专门的审核模型。

追问

  • Q:为什么输入审核很重要? A:挡在前面,不调用模型,省成本、防绕过。
  • Q:输出审核要兜底什么? A:模型对齐没挡住的有害内容。

10.13.4-007 用户反馈和申诉怎么处理?

频率 ★★ | 难度 基础

一句话结论

用户可以举报不当内容,申诉误拦;建立反馈渠道,人工处理,根据反馈优化审核模型;是持续改进的机制。

概念解释

  • 举报:用户举报不当内容。
  • 申诉:被误拦了,用户申诉。
  • 人工处理:人工审核举报和申诉。
  • 优化:根据反馈优化审核模型。

原理流程

  1. 用户举报不当内容。
  2. 用户申诉误拦。
  3. 人工审核处理。
  4. 根据反馈优化审核模型。

代码 / 示例

用户反馈机制:
  1. 举报: 用户可以举报不当内容
  2. 申诉: 被误拦的用户可以申诉
  3. 人工处理: 人工审核举报和申诉
  4. 优化: 根据反馈优化审核模型

常见误区

  • 误区:审核模型很准,不用反馈;正解:误杀和漏判都会有,反馈很重要。
  • 误区:反馈是客服的事;正解:技术上要做反馈收集和处理流程。

追问

  • Q:反馈怎么用? A:作为标注数据,优化审核模型,提高准确率。
  • Q:申诉要多久处理? A:一般 1-3 个工作日。

10.13.4-008 内容审核用什么模型?

频率 ★★★ | 难度 进阶

一句话结论

选项:开源审核模型(如 LlamaGuard、Qwen 审核版)、云厂商审核 API(阿里云内容安全、腾讯云内容安全)、自研分类模型;按准确率、成本、合规要求选择。

概念解释

  • 开源审核模型:本地部署,数据不出本地。
  • 云厂商 API:现成服务,准确率高,成本低。
  • 自研:用自己的标注数据训练。
  • 选择:按准确率、成本、合规要求。

原理流程

  1. 评估不同方案的准确率。
  2. 评估成本。
  3. 考虑合规要求(数据不能出本地)。
  4. 选择方案。

代码 / 示例

内容审核方案:
  开源模型:
    - LlamaGuard, Qwen 审核版
    - 本地部署, 数据不出本地
  
  云厂商 API:
    - 阿里云内容安全, 腾讯云内容安全
    - 现成服务, 准确率高
  
  自研:
    - 用自己的标注数据训练
    - 适合特定场景

常见误区

  • 误区:云厂商 API 就够了;正解:如果数据敏感,要本地部署开源模型。
  • 误区:开源模型准确率不高;正解:最新开源审核模型准确率已经很高。

追问

  • Q:什么场景用云厂商 API? A:一般场景,数据不敏感,追求低成本。
  • Q:什么场景用本地部署? A:数据敏感、合规要求数据不出本地。

待整理清单

  • [ ] 内容审核模型对比
  • [ ] 最新合规政策
  • [ ] 误杀率优化方法
  • [ ] 多模态内容审核
  • [ ] 未成年人模式设计