10.5.1.5 安全、合规与内容风控
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化
10.5.1.5-001 LLM 应用面临哪些内容安全风险?
一句话结论
风险包括:违规与有害内容生成、隐私泄露、越权信息输出、提示注入劫持指令、工具被滥用、错误事实造成误导;防护分层:输入过滤、模型行为约束、输出过滤、工具权限控制与审计;单一环节不能覆盖全部风险,需多层配合。
概念解释
- 内容风险:有害/违规/误导输出。
- 指令风险:注入与越权劫持。
- 工具风险:被诱导执行危险动作。
原理流程
- 梳理业务风险场景清单。
- 分层部署防护环节。
- 红队与抽样持续验证。
代码 / 图示
输入过滤 → 模型约束 → 输出过滤 → 工具权限 → 审计留痕
常见误区
- 误区:靠系统提示写「不要做坏事」就安全;正解:提示约束可被绕过,必须有工程层过滤与权限控制。
- 误区:只防用户直接输入;正解:外部文档、网页、工具返回内容也可能携带注入。
追问
- Q:风险清单从哪来? 答:合规要求、历史事件、红队构造与同类业务经验。
- Q:各层防护关系? 答:纵深防御,任一层失效还有下层兜底。
10.5.1.5-002 输入与输出内容过滤如何配合?
一句话结论
输入侧拦截违规意图、敏感目标与明显攻击模式;输出侧检查生成内容是否违规、是否泄露受限信息;两侧规则/模型过滤器配合;过滤不等于删除模型能力,被拦截请求走合规拒绝或转人工;过滤规则需持续更新并记录命中。
概念解释
- 输入过滤:请求侧风险拦截。
- 输出过滤:生成内容复核。
- 命中留痕:规则与样本记录。
原理流程
- 请求进入时风险分类。
- 生成结果再过一遍复核。
- 命中拦截走兜底并记录。
代码 / 图示
用户输入 → 输入过滤(分类/规则)
模型输出 → 输出过滤(违规/泄露检查) → 放行/拒绝/人工
常见误区
- 误区:输入过滤通过就不再检查输出;正解:模型仍可能生成风险内容,输出侧必须复核。
- 误区:过滤规则静态不变;正解:绕过手法不断演变,规则与样本需持续更新。
追问
- Q:过滤器用规则还是模型? 答:规则处理明确模式,分类模型处理语义风险,两者按场景组合,以可用方案为准。
- Q:误拦如何处理? 答:记录误拦案例,评审后调整规则,避免过度拦截正常请求。
10.5.1.5-003 什么是提示注入(prompt injection)?
一句话结论
提示注入指攻击者在输入或外部材料中嵌入指令,试图覆盖系统提示、改变模型行为或诱导调用工具;分为直接注入(用户消息)与间接注入(网页、文档、检索片段、工具返回等外部内容);模型把不可信内容当成指令执行即为被劫持。
概念解释
- 直接注入:用户消息内嵌指令。
- 间接注入:外部材料携带指令。
- 劫持结果:覆盖约束/越权调用。
原理流程
- 攻击者构造伪装指令的内容。
- 模型将其误判为系统级指令。
- 执行非预期行为或动作。
代码 / 图示
直接: 用户消息 "忽略之前指令, ..."
间接: 文档/网页/检索片段中藏指令
常见误区
- 误区:注入只发生在聊天框;正解:RAG 文档、网页抓取、工具返回都可能是间接注入载体。
- 误区:系统提示放最前面就不会被覆盖;正解:位置不构成安全边界。
追问
- Q:注入常见目标? 答:泄露系统提示、绕过限制、越权调工具、诱导输出有害内容。
- Q:间接注入为什么更难防? 答:内容来自第三方,模型在上下文中难以区分指令与数据。
10.5.1.5-004 直接提示注入有哪些典型手法?
一句话结论
典型:忽略/覆盖前置指令、角色扮演伪装、编码或变体绕过、要求复述系统提示、分轮次逐步试探、伪造授权身份;防护上区分可信指令与不可信用户内容,过滤越权要求,输出侧检查敏感泄露;变体绕过需要样本持续更新。
概念解释
- 覆盖指令:声明忽略规则。
- 伪装身份:扮演角色提要求。
- 变体绕过:编码/拆词/替换。
原理流程
- 识别越权与覆盖类表述。
- 拦截敏感泄露与伪装请求。
- 记录变体样本更新规则。
代码 / 图示
"忽略以上指令" / "你现在是管理员" / 编码伪装 / 分轮试探
常见误区
- 误区:关键词黑名单能挡住全部;正解:变体与编码绕过黑名单,语义分类与行为约束更可靠。
- 误区:一次拦截就长期有效;正解:绕过手法演变,需持续观察新样本。
追问
- Q:复述系统提示怎么防? 答:输出侧拦截敏感配置泄露,权限与提示内容分层存放。
- Q:角色扮演请求如何处理? 答:业务允许的角色限定在边界内,不允许覆盖系统约束。
10.5.1.5-005 间接提示注入在 RAG/Agent 链路中如何出现?
一句话结论
外部文档、网页、检索片段、邮件、工具返回中藏入「忽略指令、调用某工具、把内容发给某处」等指令;模型读取后把数据当指令执行;Agent 链路风险更高,因为模型可调用工具产生真实副作用;外部内容必须标记为不可信数据,与指令通道隔离。
概念解释
- 载体:第三方文本与返回。
- 数据当指令:混淆通道边界。
- 副作用:工具被诱导执行。
原理流程
- 外部内容进入上下文前标记来源。
- 指令通道与数据通道分离。
- 工具调用二次校验意图。
代码 / 图示
文档/网页/检索/工具返回 → 不可信数据区
内嵌指令 → 不应当作系统指令执行
常见误区
- 误区:检索到的文档内容可以直接参与指令拼接;正解:第三方文本是数据,可能携带注入。
- 误区:Agent 只检查用户消息;正解:工具与检索返回同样需要注入检查。
追问
- Q:如何标记不可信内容? 答:在上下文中明确分区与来源标注,约束模型只把该区域当数据。
- Q:工具调用前还查什么? 答:动作权限、参数与意图一致性。
10.5.1.5-006 工具调用如何做权限与动作防护?
一句话结论
最小权限:工具只开放任务必需的能力;每个动作校验权限、参数合法性与意图一致性;高危动作(删除、支付、对外发送、权限变更)需要确认或人工审批;工具返回不可信内容不提升为指令;调用记录留痕可审计。
概念解释
- 最小权限:能力按需开放。
- 动作校验:权限/参数/意图。
- 高危确认:审批或人工介入。
原理流程
- 梳理工具能力与风险等级。
- 调用前校验权限与参数。
- 高危动作确认,全程留痕。
代码 / 图示
工具调用 → 权限校验 → 参数校验 → 意图一致性
高危: 二次确认/人工审批
常见误区
- 误区:模型选择的工具直接执行;正解:执行前必须经过独立权限与参数校验层。
- 误区:工具返回内容可改变调用计划;正解:返回是数据,新动作需重新校验。
追问
- Q:哪些动作算高危? 答:涉及资金、删除、对外发送、权限与数据导出的动作,按业务定义。
- Q:参数校验查什么? 答:类型、范围、目标对象是否在允许集合内。
10.5.1.5-007 什么是越狱(jailbreak),常见缓解方式有哪些?
一句话结论
越狱指通过特殊措辞、角色扮演、分步诱导等绕过模型安全限制;缓解依赖多层:安全对齐训练、输入语义分类、输出复核、拒绝口径一致、红队样本回归;不存在单点彻底防护;缓解效果需用安全评测集持续验证。
概念解释
- 越狱手法:伪装/分步/变体诱导。
- 多层缓解:训练+过滤+复核。
- 持续验证:安全集回归。
原理流程
- 收集越狱手法样本。
- 分层部署防护与拒绝口径。
- 红队回归验证缓解效果。
代码 / 图示
安全对齐 + 输入分类 + 输出复核 + 拒绝口径 + 红队回归
常见误区
- 误区:封禁几个短语即可防越狱;正解:语义绕过持续演变,黑名单不可靠。
- 误区:缓解一次到位;正解:新型手法出现后需要补充样本与规则。
追问
- Q:安全评测集包含什么? 答:违规请求、注入变体、越权要求与边界正常对照样本。
- Q:缓解过度表现? 答:正常请求被误拒,需统计误拒率并平衡。
10.5.1.5-008 如何区分正常边界请求与攻击请求?
一句话结论
按意图、内容与动作综合判定:合法业务问题即使措辞直接也应放行;攻击特征是覆盖指令、越权目标、规避限制或诱导副作用;判定留有余地时保守处理并转人工;区分标准结合业务规则书面化,避免过滤器一刀切误拒。
概念解释
- 意图判定:合法业务 vs 攻击目标。
- 特征识别:覆盖/越权/规避/副作用。
- 保守兜底:不确定转人工。
原理流程
- 定义合法场景与风险特征。
- 分类判定请求性质。
- 不确定样本人工复核。
代码 / 图示
合法业务问题 → 放行
覆盖指令/越权/规避/诱导动作 → 拦截
不确定 → 转人工
常见误区
- 误区:含敏感词就拦截;正解:正常业务讨论可能涉及敏感话题,需结合意图判断。
- 误区:过滤器自动决定一切;正解:灰区样本必须有人工复核通道。
追问
- Q:误拒案例如何回流? 答:评审后调整判定规则,补充正常对照样本。
- Q:判定标准谁维护? 答:安全/合规与业务共同确认,版本化管理。
10.5.1.5-009 输出侧要检查哪些风险内容?
一句话结论
检查:违规有害内容、受限信息泄露(密钥、内部数据、他人隐私)、越权结论、无依据的危险建议、伪造来源;敏感信息在输出前脱敏或拦截;输出检查结果与依据留痕;发现泄露事件按流程处置并追溯触发路径。
概念解释
- 违规内容:违法违规表达。
- 泄露检查:密钥/内部/隐私。
- 危险建议:无依据高风险动作。
原理流程
- 生成结果进入输出检查。
- 命中风险分类拦截或脱敏。
- 记录检查结果与处置。
代码 / 图示
输出 → 违规/泄露/越权/危险建议/伪造来源检查
处置: 放行 / 脱敏 / 拦截 / 人工复核
常见误区
- 误区:只检查内容主题不查泄露;正解:密钥、内部路径与隐私同样是输出侧风险。
- 误区:检查通过即永久信任该用户;正解:每次输出独立检查,不缓存放行结论。
追问
- Q:敏感信息模式有哪些? 答:密钥形态、内部地址、证件/联系方式等,按业务清单维护。
- Q:拦截后回复什么? 答:合规说明,不解释内部规则细节。
10.5.1.5-010 什么是 PII,如何在链路中识别与脱敏?
一句话结论
PII(个人可识别信息)指可直接或间接识别到个人的信息,如姓名、证件号、联系方式、地址、账号等;链路中通过规则匹配与识别模型发现,在存储、评测、训练与日志环节脱敏或匿名化;脱敏后仍需评估是否可结合其他信息重新识别。
概念解释
- 直接标识:姓名、证件、联系方式。
- 间接标识:可组合识别的属性。
- 脱敏:替换/遮蔽/匿名化。
原理流程
- 定义业务 PII 清单。
- 入口与存储环节识别。
- 按场景脱敏或移除。
代码 / 图示
PII 清单 → 规则/识别模型 → 遮蔽/替换/移除
入库与训练/评测前再过一遍
常见误区
- 误区:只脱敏直接标识;正解:间接标识组合也可能识别个人,需评估重识别风险。
- 误区:脱敏后不可逆处理随意留存;正解:脱敏映射表属于敏感数据,需严格权限管理。
追问
- Q:脱敏方式有哪些? 答:遮蔽掩码、假名替换、泛化与移除,按用途选择。
- Q:模型调用前要脱敏吗? 答:非必要不把 PII 送入外部模型,必须传入时按业务规则处理。
10.5.1.5-011 用户对话与日志应当留存多久、如何管理?
一句话结论
留存期限按业务必要、合规要求与用户协议确定,到期清理;日志按最小权限访问,加密存储;包含 PII 的对话在评测/训练使用前脱敏;留存记录可追溯访问行为;具体期限与保留范围以合规要求和业务制度为准,不自行拍板。
概念解释
- 最小留存:期限与范围必要。
- 访问控制:权限与审计。
- 到期清理:自动过期机制。
原理流程
- 定义各类数据留存期限。
- 日志加密与权限管理。
- 到期清理并记录。
代码 / 图示
对话/日志 → 加密存储 + 最小权限
到期 → 自动清理; 复用前脱敏
常见误区
- 误区:日志永久留存方便排查;正解:超期留存增加泄露风险与合规负担。
- 误区:开发人员可直接查生产对话;正解:生产数据访问需授权与审计。
追问
- Q:排查问题需要原始日志怎么办? 答:按需授权访问,使用后回收权限并留痕。
- Q:日志能否进入评测集? 答:脱敏并确认授权后才能使用。
10.5.1.5-012 把数据发给第三方模型 API 前要评估什么?
一句话结论
评估:数据是否含敏感/PII、供应商数据使用条款(是否用于训练、留存期限与区域)、传输与存储合规、合同责任约定;敏感数据优先自托管或合规区域;不向未确认条款的第三方发送敏感内容;供应商条款与能力以官方文档和合同为准。
概念解释
- 数据敏感度:分类分级。
- 供应商条款:留存/训练/区域。
- 合同责任:约束与责任划分。
原理流程
- 对请求数据分级。
- 核对供应商条款与合规。
- 敏感数据选合规通道或自托管。
代码 / 图示
数据分级 → 供应商条款(留存/训练/区域) → 合同约定
敏感: 合规区域/自托管
常见误区
- 误区:API 服务商默认不会留存数据;正解:必须核对条款,不同供应商策略不同,以官方文档为准。
- 误区:加密传输就等于合规;正解:传输加密不解决数据用途与留存授权问题。
追问
- Q:如何确认供应商不用于训练? 答:查阅合同与官方条款,必要时书面约定。
- Q:多供应商选型合规维度? 答:数据区域、留存、删除机制与责任条款并列评估。
10.5.1.5-013 训练与评测数据的授权边界如何确认?
一句话结论
确认数据来源、用户协议或授权范围是否允许用于模型适配与评测;自有业务数据按内部制度审批;公开数据核对许可条款;授权范围、用途与版本留痕;超出授权的数据不得进入训练或评测;授权不明确时按未授权处理。
概念解释
- 来源授权:采集与使用许可。
- 用途边界:训练/评测/展示。
- 留痕记录:授权凭证归档。
原理流程
- 整理数据来源与授权凭证。
- 核对用途是否在授权内。
- 超范围数据隔离不用。
代码 / 图示
数据来源 → 授权条款/协议 → 用途范围 → 留痕归档
授权不明 → 不使用
常见误区
- 误区:业务收集的数据默认可用于训练;正解:采集目的不等于模型训练授权,需单独确认。
- 误区:公开网页内容可任意训练;正解:许可条款与使用限制需核对。
追问
- Q:授权记录存什么? 答:来源、条款版本、审批人与用途,随数据集版本归档。
- Q:发现越权数据怎么办? 答:从训练/评测集中移除,并排查已训练产物影响。
10.5.1.5-014 内部提示、规则与业务数据的访问权限如何控制?
一句话结论
按角色最小权限:普通调用不接触内部规则与敏感配置;提示模板、工具凭证与业务数据分层存放;凭证通过服务侧注入,不进入模型上下文;访问操作审计;权限变更走审批;模型输出不暴露内部实现细节。
概念解释
- 最小权限:按需授予。
- 分层存放:配置/凭证/数据。
- 凭证注入:服务侧管理。
原理流程
- 梳理角色与数据权限。
- 分层存储与访问控制。
- 操作审计与审批流程。
代码 / 图示
凭证/内部规则 → 服务侧, 不进上下文
角色权限 → 最小授予 + 审批 + 审计
常见误区
- 误区:把凭证写进提示或代码示例;正解:凭证由服务侧环境变量/密钥管理注入。
- 误区:内部规则对模型全量开放;正解:只传运行所需的最小约束。
追问
- Q:工具凭证怎么用? 答:服务侧保存,调用时注入,模型与日志中不出现明文。
- Q:权限审批流程? 答:按内部制度申请、审批、定期复核回收。
10.5.1.5-015 审计日志应记录哪些内容?
一句话结论
记录:请求与响应摘要、模型/适配器/提示版本、检索与工具调用轨迹、权限校验结果、安全拦截与脱敏动作、操作者与时间;日志不含明文敏感信息;日志访问受控并可追溯到具体会话;审计记录用于合规检查、事件复盘与责任界定。
概念解释
- 链路轨迹:版本/检索/工具。
- 安全动作:拦截/脱敏/校验。
- 访问留痕:谁在何时查看。
原理流程
- 定义审计字段清单。
- 各环节自动写入日志。
- 日志受控存储与访问审计。
代码 / 图示
时间 · 操作者 · 版本 · 请求摘要 · 检索/工具轨迹
权限结果 · 拦截/脱敏动作 · 响应摘要
常见误区
- 误区:审计日志只记错误事件;正解:正常链路轨迹也是事后复盘与合规检查所需。
- 误区:日志记录完整原文;正解:敏感信息脱敏后再写入,避免二次泄露。
追问
- Q:日志能保存多久? 答:按合规与业务制度定,到期清理。
- Q:谁能访问审计日志? 答:仅限授权角色,访问行为本身也被记录。
10.5.1.5-016 如何处理模型或供应商变更带来的合规影响?
一句话结论
更换模型/供应商时复核:数据条款、数据区域、留存与删除机制、能力与安全水平、合同责任;新旧通道数据隔离;变更评估记录归档;涉及高敏数据迁移需合规确认;模型版本与数据策略一并登记。
概念解释
- 变更复核:条款与通道。
- 数据隔离:新旧环境分开。
- 评估留痕:记录决策依据。
原理流程
- 变更前做合规评估。
- 确认条款与通道要求。
- 迁移隔离并归档记录。
代码 / 图示
新供应商/模型 → 条款·区域·留存·责任评估
确认合规 → 切换; 旧数据按期限清理
常见误区
- 误区:供应商切换只看能力与价格;正解:数据条款与责任边界是变更前置条件。
- 误区:旧环境数据忘记清理;正解:切换后按留存策略处理旧通道数据。
追问
- Q:跨区域调用有什么约束? 答:对照适用的数据跨境要求,合规意见确认前不迁移高敏数据。
- Q:变更记录包含什么? 答:评估结论、条款版本、审批人与生效时间。
10.5.1.5-017 合规检查在发布流程中放在哪一步?
一句话结论
发布前检查:数据分级、PII 处理、第三方供应商条款、日志留存、权限控制与内容标识;合规项与质量、安全门禁并列;遗留风险登记并经合规确认;上线后定期复核合规状态;技术检查清单与合规角色评审配合执行。
概念解释
- 发布门禁:合规项前置。
- 风险登记:遗留项确认。
- 定期复核:状态持续检查。
原理流程
- 列合规检查清单。
- 发布前逐项核对。
- 上线后周期复核。
代码 / 图示
数据分级 · 脱敏 · 供应商条款 · 留存 · 权限 · 标识
发布门禁: 合规通过 / 风险登记确认
常见误区
- 误区:合规检查在上线后补材料;正解:数据与通道选择在架构阶段就要考虑合规约束。
- 误区:一次合规检查长期有效;正解:法规、供应商条款与业务范围变化后需复核。
追问
- Q:哪些项必须发布前完成? 答:高敏数据通道、权限控制与个人信息处理方式。
- Q:遗留风险如何处理? 答:书面登记、责任人与期限,经合规确认后跟踪关闭。
10.5.1.5-018 安全合规落地清单是什么?
一句话结论
清单:风险场景梳理、输入输出双层过滤、可信指令与不可信数据分区、工具最小权限与动作校验、高危动作确认审批、外部内容来源标记与剥离、系统提示最小化、PII 识别脱敏、留存期限与权限审计、供应商条款评估、发布合规门禁、事件轨迹审计与规则版本留痕。
概念解释
- 分层防护:过滤/约束/权限/审计。
- 攻击面覆盖:直接/间接/Agent。
- 合规治理:数据/留存/授权。
原理流程
- 按攻击面与数据流转部署防护。
- 安全集门禁加合规评审。
- 事件复盘补充规则与审计记录。
代码 / 图示
□ 风险梳理 □ 双层过滤 □ 指令数据分区 □ 工具权限校验
□ 高危确认 □ 外部内容处理 □ 提示最小化 □ PII脱敏
□ 留存审计 □ 供应商条款 □ 发布门禁 □ 规则留痕
常见误区
- 误区:把安全寄托在单一模型或单一规则上;正解:纵深防御加持续验证才可靠。
- 误区:合规是合规部门单独的事;正解:链路设计、数据处理与权限实现都需要技术落地。
追问
- Q:在线安全如何持续监控? 答:拦截率、误拦漏拦与注入尝试分布纳入在线看板。
- Q:评测如何覆盖安全场景? 答:安全用例纳入离线回归集,见 10.5.1.3。