罗罗编程学习记录
本页内容 展开查看

10.2.2 提示评测与注入防护

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.2 Prompt 工程

这个知识域解决什么问题

提示上线前要回答两个问题:改动有没有变好、会不会被绕过。前者靠评测集与回归流程量化,后者靠分层防护、安全审计与红队演练兜底。本知识域主线:注入与越狱的攻击形态 → 评测集构建与回归 → LLM-as-judge 的偏差控制 → 安全审计与红队治理。提示设计与结构化约束见 10.2.1 提示设计与结构化输出。

知识地图

提示注入与越狱防护(1)
  → 评测集构建与回归测试(2)
    → LLM-as-Judge 与偏差控制(3)
      → 提示安全审计与红队演练(4)

子主题

编号 子主题 核心内容 题数
10.2.2.1 提示注入与越狱防护 直接/间接注入、越狱边界、内容隔离、工具权限、多轮潜伏、分层护栏与检查清单 20
10.2.2.2 评测集构建与回归测试 样本构造、标注口径、黄金答案、指标与阈值、失败样本库、CI 回归、归因与版本对比 20
10.2.2.3 LLM-as-Judge 与偏差控制 评判方式、judge 提示、位置/长度/风格偏差、同源风险、校准、多 judge 聚合与不适用场景 20
10.2.2.4 提示安全审计与红队演练 攻击面、越狱样例库、越权剧本、工具滥用、分级跟踪、上线检查、监控响应与合规留痕 20

合计 80 题。 每题按「一句话结论 → 概念解释 → 原理流程 → 代码/图示 → 常见误区 → 追问(带答案)」组织;安全措施按分层防御描述,提示层约束不替代执行层权限控制。

学习路径

先 1 识别注入与越狱的主要形态和防护分层,再 2 建立评测集与回归流程量化提示质量,然后 3 掌握自动评判的用法与偏差控制,最后 4 通过审计与红队把安全要求固化到上线流程。

自检

  • [ ] 能区分直接注入、间接注入与越狱,并说出各自的工程防护位置
  • [ ] 能构造覆盖典型、边界与失败类型的评测集并定义指标阈值
  • [ ] 能识别 LLM-as-judge 的主要偏差并设计校准与人工抽检方案
  • [ ] 能列出上线前安全检查项与线上异常响应流程
  • [ ] 能说明为什么提示层防护必须配合工具权限与代码校验