10.2.2 提示评测与注入防护
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.2 Prompt 工程
这个知识域解决什么问题
提示上线前要回答两个问题:改动有没有变好、会不会被绕过。前者靠评测集与回归流程量化,后者靠分层防护、安全审计与红队演练兜底。本知识域主线:注入与越狱的攻击形态 → 评测集构建与回归 → LLM-as-judge 的偏差控制 → 安全审计与红队治理。提示设计与结构化约束见 10.2.1 提示设计与结构化输出。
知识地图
提示注入与越狱防护(1)
→ 评测集构建与回归测试(2)
→ LLM-as-Judge 与偏差控制(3)
→ 提示安全审计与红队演练(4)
子主题
| 编号 | 子主题 | 核心内容 | 题数 |
|---|---|---|---|
| 10.2.2.1 | 提示注入与越狱防护 | 直接/间接注入、越狱边界、内容隔离、工具权限、多轮潜伏、分层护栏与检查清单 | 20 |
| 10.2.2.2 | 评测集构建与回归测试 | 样本构造、标注口径、黄金答案、指标与阈值、失败样本库、CI 回归、归因与版本对比 | 20 |
| 10.2.2.3 | LLM-as-Judge 与偏差控制 | 评判方式、judge 提示、位置/长度/风格偏差、同源风险、校准、多 judge 聚合与不适用场景 | 20 |
| 10.2.2.4 | 提示安全审计与红队演练 | 攻击面、越狱样例库、越权剧本、工具滥用、分级跟踪、上线检查、监控响应与合规留痕 | 20 |
合计 80 题。 每题按「一句话结论 → 概念解释 → 原理流程 → 代码/图示 → 常见误区 → 追问(带答案)」组织;安全措施按分层防御描述,提示层约束不替代执行层权限控制。
学习路径
先 1 识别注入与越狱的主要形态和防护分层,再 2 建立评测集与回归流程量化提示质量,然后 3 掌握自动评判的用法与偏差控制,最后 4 通过审计与红队把安全要求固化到上线流程。
自检
- [ ] 能区分直接注入、间接注入与越狱,并说出各自的工程防护位置
- [ ] 能构造覆盖典型、边界与失败类型的评测集并定义指标阈值
- [ ] 能识别 LLM-as-judge 的主要偏差并设计校准与人工抽检方案
- [ ] 能列出上线前安全检查项与线上异常响应流程
- [ ] 能说明为什么提示层防护必须配合工具权限与代码校验