罗罗编程学习记录
本页内容 展开查看

10.5.1.5 安全、合规与内容风控

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化

10.5.1.5-001 LLM 应用面临哪些内容安全风险?

一句话结论

风险包括:违规与有害内容生成、隐私泄露、越权信息输出、提示注入劫持指令、工具被滥用、错误事实造成误导;防护分层:输入过滤、模型行为约束、输出过滤、工具权限控制与审计;单一环节不能覆盖全部风险,需多层配合。

概念解释

  • 内容风险:有害/违规/误导输出。
  • 指令风险:注入与越权劫持。
  • 工具风险:被诱导执行危险动作。

原理流程

  1. 梳理业务风险场景清单。
  2. 分层部署防护环节。
  3. 红队与抽样持续验证。

代码 / 图示

输入过滤 → 模型约束 → 输出过滤 → 工具权限 → 审计留痕

常见误区

  • 误区:靠系统提示写「不要做坏事」就安全;正解:提示约束可被绕过,必须有工程层过滤与权限控制。
  • 误区:只防用户直接输入;正解:外部文档、网页、工具返回内容也可能携带注入。

追问

  • Q:风险清单从哪来? 答:合规要求、历史事件、红队构造与同类业务经验。
  • Q:各层防护关系? 答:纵深防御,任一层失效还有下层兜底。

10.5.1.5-002 输入与输出内容过滤如何配合?

一句话结论

输入侧拦截违规意图、敏感目标与明显攻击模式;输出侧检查生成内容是否违规、是否泄露受限信息;两侧规则/模型过滤器配合;过滤不等于删除模型能力,被拦截请求走合规拒绝或转人工;过滤规则需持续更新并记录命中。

概念解释

  • 输入过滤:请求侧风险拦截。
  • 输出过滤:生成内容复核。
  • 命中留痕:规则与样本记录。

原理流程

  1. 请求进入时风险分类。
  2. 生成结果再过一遍复核。
  3. 命中拦截走兜底并记录。

代码 / 图示

用户输入 → 输入过滤(分类/规则)
模型输出 → 输出过滤(违规/泄露检查) → 放行/拒绝/人工

常见误区

  • 误区:输入过滤通过就不再检查输出;正解:模型仍可能生成风险内容,输出侧必须复核。
  • 误区:过滤规则静态不变;正解:绕过手法不断演变,规则与样本需持续更新。

追问

  • Q:过滤器用规则还是模型? 答:规则处理明确模式,分类模型处理语义风险,两者按场景组合,以可用方案为准。
  • Q:误拦如何处理? 答:记录误拦案例,评审后调整规则,避免过度拦截正常请求。

10.5.1.5-003 什么是提示注入(prompt injection)?

一句话结论

提示注入指攻击者在输入或外部材料中嵌入指令,试图覆盖系统提示、改变模型行为或诱导调用工具;分为直接注入(用户消息)与间接注入(网页、文档、检索片段、工具返回等外部内容);模型把不可信内容当成指令执行即为被劫持。

概念解释

  • 直接注入:用户消息内嵌指令。
  • 间接注入:外部材料携带指令。
  • 劫持结果:覆盖约束/越权调用。

原理流程

  1. 攻击者构造伪装指令的内容。
  2. 模型将其误判为系统级指令。
  3. 执行非预期行为或动作。

代码 / 图示

直接: 用户消息 "忽略之前指令, ..."
间接: 文档/网页/检索片段中藏指令

常见误区

  • 误区:注入只发生在聊天框;正解:RAG 文档、网页抓取、工具返回都可能是间接注入载体。
  • 误区:系统提示放最前面就不会被覆盖;正解:位置不构成安全边界。

追问

  • Q:注入常见目标? 答:泄露系统提示、绕过限制、越权调工具、诱导输出有害内容。
  • Q:间接注入为什么更难防? 答:内容来自第三方,模型在上下文中难以区分指令与数据。

10.5.1.5-004 直接提示注入有哪些典型手法?

一句话结论

典型:忽略/覆盖前置指令、角色扮演伪装、编码或变体绕过、要求复述系统提示、分轮次逐步试探、伪造授权身份;防护上区分可信指令与不可信用户内容,过滤越权要求,输出侧检查敏感泄露;变体绕过需要样本持续更新。

概念解释

  • 覆盖指令:声明忽略规则。
  • 伪装身份:扮演角色提要求。
  • 变体绕过:编码/拆词/替换。

原理流程

  1. 识别越权与覆盖类表述。
  2. 拦截敏感泄露与伪装请求。
  3. 记录变体样本更新规则。

代码 / 图示

"忽略以上指令" / "你现在是管理员" / 编码伪装 / 分轮试探

常见误区

  • 误区:关键词黑名单能挡住全部;正解:变体与编码绕过黑名单,语义分类与行为约束更可靠。
  • 误区:一次拦截就长期有效;正解:绕过手法演变,需持续观察新样本。

追问

  • Q:复述系统提示怎么防? 答:输出侧拦截敏感配置泄露,权限与提示内容分层存放。
  • Q:角色扮演请求如何处理? 答:业务允许的角色限定在边界内,不允许覆盖系统约束。

10.5.1.5-005 间接提示注入在 RAG/Agent 链路中如何出现?

一句话结论

外部文档、网页、检索片段、邮件、工具返回中藏入「忽略指令、调用某工具、把内容发给某处」等指令;模型读取后把数据当指令执行;Agent 链路风险更高,因为模型可调用工具产生真实副作用;外部内容必须标记为不可信数据,与指令通道隔离。

概念解释

  • 载体:第三方文本与返回。
  • 数据当指令:混淆通道边界。
  • 副作用:工具被诱导执行。

原理流程

  1. 外部内容进入上下文前标记来源。
  2. 指令通道与数据通道分离。
  3. 工具调用二次校验意图。

代码 / 图示

文档/网页/检索/工具返回 → 不可信数据区
内嵌指令 → 不应当作系统指令执行

常见误区

  • 误区:检索到的文档内容可以直接参与指令拼接;正解:第三方文本是数据,可能携带注入。
  • 误区:Agent 只检查用户消息;正解:工具与检索返回同样需要注入检查。

追问

  • Q:如何标记不可信内容? 答:在上下文中明确分区与来源标注,约束模型只把该区域当数据。
  • Q:工具调用前还查什么? 答:动作权限、参数与意图一致性。

10.5.1.5-006 工具调用如何做权限与动作防护?

一句话结论

最小权限:工具只开放任务必需的能力;每个动作校验权限、参数合法性与意图一致性;高危动作(删除、支付、对外发送、权限变更)需要确认或人工审批;工具返回不可信内容不提升为指令;调用记录留痕可审计。

概念解释

  • 最小权限:能力按需开放。
  • 动作校验:权限/参数/意图。
  • 高危确认:审批或人工介入。

原理流程

  1. 梳理工具能力与风险等级。
  2. 调用前校验权限与参数。
  3. 高危动作确认,全程留痕。

代码 / 图示

工具调用 → 权限校验 → 参数校验 → 意图一致性
高危: 二次确认/人工审批

常见误区

  • 误区:模型选择的工具直接执行;正解:执行前必须经过独立权限与参数校验层。
  • 误区:工具返回内容可改变调用计划;正解:返回是数据,新动作需重新校验。

追问

  • Q:哪些动作算高危? 答:涉及资金、删除、对外发送、权限与数据导出的动作,按业务定义。
  • Q:参数校验查什么? 答:类型、范围、目标对象是否在允许集合内。

10.5.1.5-007 什么是越狱(jailbreak),常见缓解方式有哪些?

一句话结论

越狱指通过特殊措辞、角色扮演、分步诱导等绕过模型安全限制;缓解依赖多层:安全对齐训练、输入语义分类、输出复核、拒绝口径一致、红队样本回归;不存在单点彻底防护;缓解效果需用安全评测集持续验证。

概念解释

  • 越狱手法:伪装/分步/变体诱导。
  • 多层缓解:训练+过滤+复核。
  • 持续验证:安全集回归。

原理流程

  1. 收集越狱手法样本。
  2. 分层部署防护与拒绝口径。
  3. 红队回归验证缓解效果。

代码 / 图示

安全对齐 + 输入分类 + 输出复核 + 拒绝口径 + 红队回归

常见误区

  • 误区:封禁几个短语即可防越狱;正解:语义绕过持续演变,黑名单不可靠。
  • 误区:缓解一次到位;正解:新型手法出现后需要补充样本与规则。

追问

  • Q:安全评测集包含什么? 答:违规请求、注入变体、越权要求与边界正常对照样本。
  • Q:缓解过度表现? 答:正常请求被误拒,需统计误拒率并平衡。

10.5.1.5-008 如何区分正常边界请求与攻击请求?

一句话结论

按意图、内容与动作综合判定:合法业务问题即使措辞直接也应放行;攻击特征是覆盖指令、越权目标、规避限制或诱导副作用;判定留有余地时保守处理并转人工;区分标准结合业务规则书面化,避免过滤器一刀切误拒。

概念解释

  • 意图判定:合法业务 vs 攻击目标。
  • 特征识别:覆盖/越权/规避/副作用。
  • 保守兜底:不确定转人工。

原理流程

  1. 定义合法场景与风险特征。
  2. 分类判定请求性质。
  3. 不确定样本人工复核。

代码 / 图示

合法业务问题 → 放行
覆盖指令/越权/规避/诱导动作 → 拦截
不确定 → 转人工

常见误区

  • 误区:含敏感词就拦截;正解:正常业务讨论可能涉及敏感话题,需结合意图判断。
  • 误区:过滤器自动决定一切;正解:灰区样本必须有人工复核通道。

追问

  • Q:误拒案例如何回流? 答:评审后调整判定规则,补充正常对照样本。
  • Q:判定标准谁维护? 答:安全/合规与业务共同确认,版本化管理。

10.5.1.5-009 输出侧要检查哪些风险内容?

一句话结论

检查:违规有害内容、受限信息泄露(密钥、内部数据、他人隐私)、越权结论、无依据的危险建议、伪造来源;敏感信息在输出前脱敏或拦截;输出检查结果与依据留痕;发现泄露事件按流程处置并追溯触发路径。

概念解释

  • 违规内容:违法违规表达。
  • 泄露检查:密钥/内部/隐私。
  • 危险建议:无依据高风险动作。

原理流程

  1. 生成结果进入输出检查。
  2. 命中风险分类拦截或脱敏。
  3. 记录检查结果与处置。

代码 / 图示

输出 → 违规/泄露/越权/危险建议/伪造来源检查
处置: 放行 / 脱敏 / 拦截 / 人工复核

常见误区

  • 误区:只检查内容主题不查泄露;正解:密钥、内部路径与隐私同样是输出侧风险。
  • 误区:检查通过即永久信任该用户;正解:每次输出独立检查,不缓存放行结论。

追问

  • Q:敏感信息模式有哪些? 答:密钥形态、内部地址、证件/联系方式等,按业务清单维护。
  • Q:拦截后回复什么? 答:合规说明,不解释内部规则细节。

10.5.1.5-010 什么是 PII,如何在链路中识别与脱敏?

一句话结论

PII(个人可识别信息)指可直接或间接识别到个人的信息,如姓名、证件号、联系方式、地址、账号等;链路中通过规则匹配与识别模型发现,在存储、评测、训练与日志环节脱敏或匿名化;脱敏后仍需评估是否可结合其他信息重新识别。

概念解释

  • 直接标识:姓名、证件、联系方式。
  • 间接标识:可组合识别的属性。
  • 脱敏:替换/遮蔽/匿名化。

原理流程

  1. 定义业务 PII 清单。
  2. 入口与存储环节识别。
  3. 按场景脱敏或移除。

代码 / 图示

PII 清单 → 规则/识别模型 → 遮蔽/替换/移除
入库与训练/评测前再过一遍

常见误区

  • 误区:只脱敏直接标识;正解:间接标识组合也可能识别个人,需评估重识别风险。
  • 误区:脱敏后不可逆处理随意留存;正解:脱敏映射表属于敏感数据,需严格权限管理。

追问

  • Q:脱敏方式有哪些? 答:遮蔽掩码、假名替换、泛化与移除,按用途选择。
  • Q:模型调用前要脱敏吗? 答:非必要不把 PII 送入外部模型,必须传入时按业务规则处理。

10.5.1.5-011 用户对话与日志应当留存多久、如何管理?

一句话结论

留存期限按业务必要、合规要求与用户协议确定,到期清理;日志按最小权限访问,加密存储;包含 PII 的对话在评测/训练使用前脱敏;留存记录可追溯访问行为;具体期限与保留范围以合规要求和业务制度为准,不自行拍板。

概念解释

  • 最小留存:期限与范围必要。
  • 访问控制:权限与审计。
  • 到期清理:自动过期机制。

原理流程

  1. 定义各类数据留存期限。
  2. 日志加密与权限管理。
  3. 到期清理并记录。

代码 / 图示

对话/日志 → 加密存储 + 最小权限
到期 → 自动清理; 复用前脱敏

常见误区

  • 误区:日志永久留存方便排查;正解:超期留存增加泄露风险与合规负担。
  • 误区:开发人员可直接查生产对话;正解:生产数据访问需授权与审计。

追问

  • Q:排查问题需要原始日志怎么办? 答:按需授权访问,使用后回收权限并留痕。
  • Q:日志能否进入评测集? 答:脱敏并确认授权后才能使用。

10.5.1.5-012 把数据发给第三方模型 API 前要评估什么?

一句话结论

评估:数据是否含敏感/PII、供应商数据使用条款(是否用于训练、留存期限与区域)、传输与存储合规、合同责任约定;敏感数据优先自托管或合规区域;不向未确认条款的第三方发送敏感内容;供应商条款与能力以官方文档和合同为准。

概念解释

  • 数据敏感度:分类分级。
  • 供应商条款:留存/训练/区域。
  • 合同责任:约束与责任划分。

原理流程

  1. 对请求数据分级。
  2. 核对供应商条款与合规。
  3. 敏感数据选合规通道或自托管。

代码 / 图示

数据分级 → 供应商条款(留存/训练/区域) → 合同约定
敏感: 合规区域/自托管

常见误区

  • 误区:API 服务商默认不会留存数据;正解:必须核对条款,不同供应商策略不同,以官方文档为准。
  • 误区:加密传输就等于合规;正解:传输加密不解决数据用途与留存授权问题。

追问

  • Q:如何确认供应商不用于训练? 答:查阅合同与官方条款,必要时书面约定。
  • Q:多供应商选型合规维度? 答:数据区域、留存、删除机制与责任条款并列评估。

10.5.1.5-013 训练与评测数据的授权边界如何确认?

一句话结论

确认数据来源、用户协议或授权范围是否允许用于模型适配与评测;自有业务数据按内部制度审批;公开数据核对许可条款;授权范围、用途与版本留痕;超出授权的数据不得进入训练或评测;授权不明确时按未授权处理。

概念解释

  • 来源授权:采集与使用许可。
  • 用途边界:训练/评测/展示。
  • 留痕记录:授权凭证归档。

原理流程

  1. 整理数据来源与授权凭证。
  2. 核对用途是否在授权内。
  3. 超范围数据隔离不用。

代码 / 图示

数据来源 → 授权条款/协议 → 用途范围 → 留痕归档
授权不明 → 不使用

常见误区

  • 误区:业务收集的数据默认可用于训练;正解:采集目的不等于模型训练授权,需单独确认。
  • 误区:公开网页内容可任意训练;正解:许可条款与使用限制需核对。

追问

  • Q:授权记录存什么? 答:来源、条款版本、审批人与用途,随数据集版本归档。
  • Q:发现越权数据怎么办? 答:从训练/评测集中移除,并排查已训练产物影响。

10.5.1.5-014 内部提示、规则与业务数据的访问权限如何控制?

一句话结论

按角色最小权限:普通调用不接触内部规则与敏感配置;提示模板、工具凭证与业务数据分层存放;凭证通过服务侧注入,不进入模型上下文;访问操作审计;权限变更走审批;模型输出不暴露内部实现细节。

概念解释

  • 最小权限:按需授予。
  • 分层存放:配置/凭证/数据。
  • 凭证注入:服务侧管理。

原理流程

  1. 梳理角色与数据权限。
  2. 分层存储与访问控制。
  3. 操作审计与审批流程。

代码 / 图示

凭证/内部规则 → 服务侧, 不进上下文
角色权限 → 最小授予 + 审批 + 审计

常见误区

  • 误区:把凭证写进提示或代码示例;正解:凭证由服务侧环境变量/密钥管理注入。
  • 误区:内部规则对模型全量开放;正解:只传运行所需的最小约束。

追问

  • Q:工具凭证怎么用? 答:服务侧保存,调用时注入,模型与日志中不出现明文。
  • Q:权限审批流程? 答:按内部制度申请、审批、定期复核回收。

10.5.1.5-015 审计日志应记录哪些内容?

一句话结论

记录:请求与响应摘要、模型/适配器/提示版本、检索与工具调用轨迹、权限校验结果、安全拦截与脱敏动作、操作者与时间;日志不含明文敏感信息;日志访问受控并可追溯到具体会话;审计记录用于合规检查、事件复盘与责任界定。

概念解释

  • 链路轨迹:版本/检索/工具。
  • 安全动作:拦截/脱敏/校验。
  • 访问留痕:谁在何时查看。

原理流程

  1. 定义审计字段清单。
  2. 各环节自动写入日志。
  3. 日志受控存储与访问审计。

代码 / 图示

时间 · 操作者 · 版本 · 请求摘要 · 检索/工具轨迹
权限结果 · 拦截/脱敏动作 · 响应摘要

常见误区

  • 误区:审计日志只记错误事件;正解:正常链路轨迹也是事后复盘与合规检查所需。
  • 误区:日志记录完整原文;正解:敏感信息脱敏后再写入,避免二次泄露。

追问

  • Q:日志能保存多久? 答:按合规与业务制度定,到期清理。
  • Q:谁能访问审计日志? 答:仅限授权角色,访问行为本身也被记录。

10.5.1.5-016 如何处理模型或供应商变更带来的合规影响?

一句话结论

更换模型/供应商时复核:数据条款、数据区域、留存与删除机制、能力与安全水平、合同责任;新旧通道数据隔离;变更评估记录归档;涉及高敏数据迁移需合规确认;模型版本与数据策略一并登记。

概念解释

  • 变更复核:条款与通道。
  • 数据隔离:新旧环境分开。
  • 评估留痕:记录决策依据。

原理流程

  1. 变更前做合规评估。
  2. 确认条款与通道要求。
  3. 迁移隔离并归档记录。

代码 / 图示

新供应商/模型 → 条款·区域·留存·责任评估
确认合规 → 切换; 旧数据按期限清理

常见误区

  • 误区:供应商切换只看能力与价格;正解:数据条款与责任边界是变更前置条件。
  • 误区:旧环境数据忘记清理;正解:切换后按留存策略处理旧通道数据。

追问

  • Q:跨区域调用有什么约束? 答:对照适用的数据跨境要求,合规意见确认前不迁移高敏数据。
  • Q:变更记录包含什么? 答:评估结论、条款版本、审批人与生效时间。

10.5.1.5-017 合规检查在发布流程中放在哪一步?

一句话结论

发布前检查:数据分级、PII 处理、第三方供应商条款、日志留存、权限控制与内容标识;合规项与质量、安全门禁并列;遗留风险登记并经合规确认;上线后定期复核合规状态;技术检查清单与合规角色评审配合执行。

概念解释

  • 发布门禁:合规项前置。
  • 风险登记:遗留项确认。
  • 定期复核:状态持续检查。

原理流程

  1. 列合规检查清单。
  2. 发布前逐项核对。
  3. 上线后周期复核。

代码 / 图示

数据分级 · 脱敏 · 供应商条款 · 留存 · 权限 · 标识
发布门禁: 合规通过 / 风险登记确认

常见误区

  • 误区:合规检查在上线后补材料;正解:数据与通道选择在架构阶段就要考虑合规约束。
  • 误区:一次合规检查长期有效;正解:法规、供应商条款与业务范围变化后需复核。

追问

  • Q:哪些项必须发布前完成? 答:高敏数据通道、权限控制与个人信息处理方式。
  • Q:遗留风险如何处理? 答:书面登记、责任人与期限,经合规确认后跟踪关闭。

10.5.1.5-018 安全合规落地清单是什么?

一句话结论

清单:风险场景梳理、输入输出双层过滤、可信指令与不可信数据分区、工具最小权限与动作校验、高危动作确认审批、外部内容来源标记与剥离、系统提示最小化、PII 识别脱敏、留存期限与权限审计、供应商条款评估、发布合规门禁、事件轨迹审计与规则版本留痕。

概念解释

  • 分层防护:过滤/约束/权限/审计。
  • 攻击面覆盖:直接/间接/Agent。
  • 合规治理:数据/留存/授权。

原理流程

  1. 按攻击面与数据流转部署防护。
  2. 安全集门禁加合规评审。
  3. 事件复盘补充规则与审计记录。

代码 / 图示

□ 风险梳理  □ 双层过滤  □ 指令数据分区  □ 工具权限校验
□ 高危确认  □ 外部内容处理  □ 提示最小化  □ PII脱敏
□ 留存审计  □ 供应商条款  □ 发布门禁  □ 规则留痕

常见误区

  • 误区:把安全寄托在单一模型或单一规则上;正解:纵深防御加持续验证才可靠。
  • 误区:合规是合规部门单独的事;正解:链路设计、数据处理与权限实现都需要技术落地。

追问

  • Q:在线安全如何持续监控? 答:拦截率、误拦漏拦与注入尝试分布纳入在线看板。
  • Q:评测如何覆盖安全场景? 答:安全用例纳入离线回归集,见 10.5.1.3。