10.13.4 生成内容合规与风控
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.13 AI 安全
覆盖范围
- 生成内容审核
- 内容安全分类
- 合规要求(中国生成式 AI 管理办法)
- 内容标识与溯源
- 风控规则与策略
- 用户反馈与申诉
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.13.4-001 | 生成内容为什么要审核? | 基础 | ★★★★ |
| 10.13.4-002 | 内容审核怎么做? | 进阶 | ★★★★ |
| 10.13.4-003 | 中国生成式 AI 有什么合规要求? | 基础 | ★★★ |
| 10.13.4-004 | 生成内容要标识吗? | 基础 | ★★★ |
| 10.13.4-005 | 风控规则怎么设计? | 进阶 | ★★★ |
| 10.13.4-006 | 输入审核和输出审核有什么区别? | 基础 | ★★★ |
| 10.13.4-007 | 用户反馈和申诉怎么处理? | 基础 | ★★ |
| 10.13.4-008 | 内容审核用什么模型? | 进阶 | ★★★ |
10.13.4-001 生成内容为什么要审核?
频率 ★★★★ | 难度 基础
一句话结论
LLM 可能生成有害内容(暴力、色情、政治敏感、虚假信息),必须审核;不审核会导致合规风险(违法)、品牌风险(负面舆情)、用户体验差。
概念解释
- 有害内容:暴力、色情、政治敏感、虚假信息、歧视。
- 合规风险:违反法律法规,会被处罚。
- 品牌风险:生成有害内容,品牌形象受损。
- 必要性:不审核就不能上线。
原理流程
- LLM 生成内容。
- 可能包含有害内容。
- 不审核直接输出 → 合规风险 + 品牌风险。
- 所以要审核。
代码 / 示例
生成内容风险:
- 暴力: 教怎么制作武器
- 色情: 生成色情内容
- 政治敏感: 生成政治敏感内容
- 虚假信息: 生成虚假新闻
- 歧视: 生成歧视性内容
常见误区
- 误区:模型对齐好了就不用审核;正解:对齐不能 100% 挡住,还是要审核。
- 误区:审核是法务部门的事;正解:技术上要做内容审核,是产品功能的一部分。
追问
- Q:最严重的合规风险是什么? A:生成违法内容,会被监管处罚甚至下架。
- Q:不审核能上线吗? A:不能,中国要求生成式 AI 必须做内容安全审核。
10.13.4-002 内容审核怎么做?
频率 ★★★★ | 难度 进阶
一句话结论
审核分两层:输入审核(用户输入是否合规)和输出审核(模型输出是否合规);用专门的审核模型(如 OpenAI Moderation、自研分类模型);命中规则的拦截或人工复审。
概念解释
- 输入审核:用户输入是否合规,不合规直接拒绝。
- 输出审核:模型输出是否合规,不合规拦截或重写。
- 审核模型:专门训练的内容安全分类模型。
- 规则:关键词、分类、风险等级。
原理流程
- 用户输入 → 输入审核。
- 不合规 → 拒绝,不调用模型。
- 模型生成 → 输出审核。
- 不合规 → 拦截或替换。
代码 / 示例
内容审核流程:
输入:
用户输入 → 输入审核
不合规 → 拒绝, 不调用模型
输出:
模型输出 → 输出审核
不合规 → 拦截 / 替换为安全内容
常见误区
- 误区:只审核输出就行;正解:输入也要审核,防止用户诱导模型生成有害内容。
- 误区:关键词过滤就够了;正解:关键词太粗糙,要用专门的审核模型。
追问
- Q:输入审核和输出审核哪个重要? A:都重要,输入挡在前面,输出兜底。
- Q:审核模型怎么训练? A:用人工标注的安全/不安全样本训练分类模型。
10.13.4-003 中国生成式 AI 有什么合规要求?
频率 ★★★ | 难度 基础
一句话结论
中国《生成式人工智能服务管理暂行办法》要求:内容安全审核、算法备案、安全评估、用户实名制、内容标识、未成年人保护;面向公众提供服务的都要遵守。
概念解释
- 内容审核:必须有内容安全机制。
- 算法备案:向监管部门备案。
- 安全评估:上线前做安全评估。
- 实名制:用户要实名认证。
- 内容标识:生成内容要标识。
原理流程
- 服务上线前做安全评估。
- 算法备案。
- 建立内容审核机制。
- 用户实名制。
- 生成内容标识。
代码 / 示例
中国生成式 AI 合规要求:
1. 内容安全: 建立审核机制
2. 算法备案: 向监管部门备案
3. 安全评估: 上线前评估
4. 实名制: 用户实名认证
5. 内容标识: AI 生成内容要标识
6. 未成年人保护: 未成年人模式
常见误区
- 误区:内部用的也要备案;正解:面向公众的才要备案,内部用的不用。
- 误区:合规是上线后补的;正解:上线前就要做,先评估再上线。
追问
- Q:面向公众提供服务要做什么? A:算法备案、安全评估、内容审核、实名制。
- Q:不备案会怎样? A:可能被要求下架、处罚。
10.13.4-004 生成内容要标识吗?
频率 ★★★ | 难度 基础
一句话结论
要,中国要求 AI 生成内容要标识,让用户知道这是 AI 生成的;防止 AI 生成内容被当作真实信息传播;是合规要求之一。
概念解释
- 标识:明确告诉用户这是 AI 生成的。
- 目的:防止 AI 生成内容被当作真实信息。
- 方式:页面上标注、内容水印、元数据。
- 合规:中国要求生成式 AI 做内容标识。
原理流程
- 生成内容时加标识。
- 页面上标注"AI 生成"。
- 内容里加水印或元数据。
- 用户能知道这是 AI 生成的。
代码 / 示例
内容标识方式:
1. 页面标注: "本内容由 AI 生成"
2. 文本水印: 末尾加隐藏标识
3. 元数据: 文件里加 AI 生成标记
4. 图片水印: AI 生成图片加可见水印
常见误区
- 误区:内容标识是可选项;正解:合规要求,必须做。
- 误区:只有图片要标识;正解:文本、图片、视频都要标识。
追问
- Q:怎么标识文本? A:页面标注 + 隐藏水印(末尾加不可见字符)。
- Q:怎么标识图片? A:可见水印 + 元数据标记。
10.13.4-005 风控规则怎么设计?
频率 ★★★ | 难度 进阶
一句话结论
风控规则分层:高危直接拦截(违法内容)、中危人工复审、低危记录观察;按风险等级处理,不能一刀切;还要考虑误杀率,不能把正常内容也拦了。
概念解释
- 高危:直接拦截,不输出。
- 中危:人工复审,审核后决定。
- 低危:记录日志,观察。
- 误杀:正常内容被误拦,要平衡。
原理流程
- 审核模型输出风险等级。
- 高危 → 直接拦截。
- 中危 → 人工复审。
- 低危 → 记录观察。
- 定期复盘误杀率。
代码 / 示例
风控规则分层:
高危: 直接拦截
- 违法内容
- 暴力色情
- 政治敏感
中危: 人工复审
- 可能违规
- 边界情况
低危: 记录观察
- 轻微风险
- 定期复盘
常见误区
- 误区:越严格越好;正解:太严格误杀率高,用户体验差,要平衡。
- 误区:规则设好就不用管;正解:要持续复盘,根据新情况调整。
追问
- Q:怎么平衡严格和误杀? A:分层处理,高危严格,中危人工复审,定期复盘调整。
- Q:人工复审成本高吗? A:高,所以只复审中危的,高危自动拦截,低危记录。
10.13.4-006 输入审核和输出审核有什么区别?
频率 ★★★ | 难度 基础
一句话结论
输入审核是挡用户的恶意输入(防止诱导模型生成有害内容),输出审核是挡模型的有害输出(兜底);两个都要做,输入挡前面,输出兜底。
概念解释
- 输入审核:用户输入是否合规。
- 输出审核:模型输出是否合规。
- 输入:挡在前面,不调用模型。
- 输出:兜底,防止模型生成有害内容。
原理流程
- 用户输入 → 输入审核。
- 不合规 → 拒绝,不调用模型。
- 模型生成 → 输出审核。
- 不合规 → 拦截或替换。
代码 / 示例
输入审核 vs 输出审核:
输入审核:
挡用户恶意输入
防止诱导模型生成有害内容
不合规直接拒绝, 不调用模型
输出审核:
挡模型有害输出
兜底机制
不合规拦截或替换
常见误区
- 误区:输出审核就够了;正解:输入也要挡,防止浪费模型调用、防止绕过。
- 误区:输入审核就是关键词过滤;正解:用专门的审核模型。
追问
- Q:为什么输入审核很重要? A:挡在前面,不调用模型,省成本、防绕过。
- Q:输出审核要兜底什么? A:模型对齐没挡住的有害内容。
10.13.4-007 用户反馈和申诉怎么处理?
频率 ★★ | 难度 基础
一句话结论
用户可以举报不当内容,申诉误拦;建立反馈渠道,人工处理,根据反馈优化审核模型;是持续改进的机制。
概念解释
- 举报:用户举报不当内容。
- 申诉:被误拦了,用户申诉。
- 人工处理:人工审核举报和申诉。
- 优化:根据反馈优化审核模型。
原理流程
- 用户举报不当内容。
- 用户申诉误拦。
- 人工审核处理。
- 根据反馈优化审核模型。
代码 / 示例
用户反馈机制:
1. 举报: 用户可以举报不当内容
2. 申诉: 被误拦的用户可以申诉
3. 人工处理: 人工审核举报和申诉
4. 优化: 根据反馈优化审核模型
常见误区
- 误区:审核模型很准,不用反馈;正解:误杀和漏判都会有,反馈很重要。
- 误区:反馈是客服的事;正解:技术上要做反馈收集和处理流程。
追问
- Q:反馈怎么用? A:作为标注数据,优化审核模型,提高准确率。
- Q:申诉要多久处理? A:一般 1-3 个工作日。
10.13.4-008 内容审核用什么模型?
频率 ★★★ | 难度 进阶
一句话结论
选项:开源审核模型(如 LlamaGuard、Qwen 审核版)、云厂商审核 API(阿里云内容安全、腾讯云内容安全)、自研分类模型;按准确率、成本、合规要求选择。
概念解释
- 开源审核模型:本地部署,数据不出本地。
- 云厂商 API:现成服务,准确率高,成本低。
- 自研:用自己的标注数据训练。
- 选择:按准确率、成本、合规要求。
原理流程
- 评估不同方案的准确率。
- 评估成本。
- 考虑合规要求(数据不能出本地)。
- 选择方案。
代码 / 示例
内容审核方案:
开源模型:
- LlamaGuard, Qwen 审核版
- 本地部署, 数据不出本地
云厂商 API:
- 阿里云内容安全, 腾讯云内容安全
- 现成服务, 准确率高
自研:
- 用自己的标注数据训练
- 适合特定场景
常见误区
- 误区:云厂商 API 就够了;正解:如果数据敏感,要本地部署开源模型。
- 误区:开源模型准确率不高;正解:最新开源审核模型准确率已经很高。
追问
- Q:什么场景用云厂商 API? A:一般场景,数据不敏感,追求低成本。
- Q:什么场景用本地部署? A:数据敏感、合规要求数据不出本地。
待整理清单
- [ ] 内容审核模型对比
- [ ] 最新合规政策
- [ ] 误杀率优化方法
- [ ] 多模态内容审核
- [ ] 未成年人模式设计