10.13.3 模型窃取与对抗样本
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.13 AI 安全
覆盖范围
- 模型窃取攻击
- API 蒸馏与模型提取
- 对抗样本攻击
- 模型水印与溯源
- 防护措施
- 知识产权保护
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.13.3-001 | 什么是模型窃取? | 基础 | ★★★ |
| 10.13.3-002 | API 蒸馏是什么? | 进阶 | ★★★ |
| 10.13.3-003 | 什么是对抗样本? | 进阶 | ★★★ |
| 10.13.3-004 | 模型水印怎么做? | 高级 | ★★ |
| 10.13.3-005 | 怎么防模型窃取? | 进阶 | ★★★ |
| 10.13.3-006 | 对抗样本有什么用? | 基础 | ★★ |
| 10.13.3-007 | 开源模型会被窃取吗? | 基础 | ★★ |
| 10.13.3-008 | 模型知识产权怎么保护? | 高级 | ★★ |
10.13.3-001 什么是模型窃取?
频率 ★★★ | 难度 基础
一句话结论
模型窃取(Model Stealing)是攻击者通过大量查询 API,训练一个副本模型,模仿原模型的行为;把 API 当黑盒,用输入输出对训练自己的模型。
概念解释
- 攻击方式:大量查询 API,收集输入输出对。
- 训练副本:用这些数据训练一个模型,模仿原模型。
- 目的:偷模型能力,不用付费调用 API。
- 风险:闭源模型 API 容易被窃取。
原理流程
- 攻击者写脚本大量调用 API。
- 收集输入输出对。
- 用这些数据训练一个小模型。
- 小模型模仿原模型行为。
代码 / 示例
模型窃取流程:
1. 写脚本, 生成大量测试输入
2. 调用 API, 收集输入输出对
3. 用这些数据训练一个小模型
4. 小模型模仿原模型
5. 用自己的小模型, 不用付费调用 API
常见误区
- 误区:模型窃取就是偷模型文件;正解:对黑盒 API,是通过大量查询蒸馏出副本。
- 误区:小模型不能模仿大模型;正解:研究表明可以蒸馏出行为相近的副本。
追问
- Q:模型窃取有多严重? A:闭源模型 API 的核心风险,攻击者可以低成本复制模型能力。
- Q:怎么检测模型窃取? A:检测异常大量查询、异常查询模式。
10.13.3-002 API 蒸馏是什么?
频率 ★★★ | 难度 进阶
一句话结论
API 蒸馏是模型窃取的具体方式:攻击者把 API 当老师模型,用大量输入查询 API,收集输出,训练自己的小模型模仿;本质是知识蒸馏,但目标是窃取。
概念解释
- 知识蒸馏:大模型教小模型,本来是模型压缩技术。
- API 蒸馏:攻击者用 API 当老师,偷模型能力。
- 收集:大量查询,收集输入输出对。
- 训练:用这些数据训练自己的模型。
原理流程
- 生成大量测试输入。
- 调用 API 得到输出。
- 用 (输入, 输出) 训练自己的模型。
- 自己的模型学会模仿 API。
代码 / 示例
API 蒸馏:
1. 生成 100 万条测试输入
2. 调用 API, 收集每条的输出
3. 用 (输入, 输出) 训练自己的模型
4. 自己的模型模仿 API 的行为
常见误区
- 误区:蒸馏是合法的模型压缩技术;正解:蒸馏本身合法,但用 API 蒸馏偷模型是侵权的。
- 误区:蒸馏需要很多数据;正解:研究表明用相对少的数据就能蒸馏出不错的副本。
追问
- Q:怎么防 API 蒸馏? A:限制查询频率、检测异常查询、对敏感输出做扰动。
- Q:蒸馏能完全复制模型吗? A:不能完全复制,但能复制大部分能力,足以商用。
10.13.3-003 什么是对抗样本?
频率 ★★★ | 难度 进阶
一句话结论
对抗样本是在输入里加人眼看不出来的微小扰动,让模型出错;比如把一张熊猫图片加微小噪声,模型就认为是长臂猿;是模型鲁棒性问题。
概念解释
- 对抗样本:加了微小扰动的输入,人眼看不出区别,但模型判断错误。
- 原理:模型的判断边界很脆弱,微小扰动就能越界。
- 攻击:让模型分类错误、生成错误输出。
- LLM 也有:对抗 prompt 让模型绕过安全限制。
原理流程
- 找一个输入(图片/文本)。
- 计算加什么扰动能让模型出错。
- 加上扰动,人眼看不出区别。
- 模型判断错误。
代码 / 示例
对抗样本示例:
图片: 熊猫 + 微小噪声 = 模型认为是长臂猿
人眼看: 还是熊猫
模型看: 长臂猿
LLM 对抗:
对抗 prompt: 让模型绕过安全限制, 输出不该输出的内容
常见误区
- 误区:对抗样本是模型 bug;正解:是模型的固有问题,所有模型都有。
- 误区:对抗样本只对图像分类有效;正解:LLM 也有对抗 prompt。
追问
- Q:LLM 的对抗样本是什么? A:对抗 prompt,加微小扰动让模型绕过安全限制。
- Q:怎么提高模型鲁棒性? A:对抗训练(用对抗样本训练模型)、输入检测。
10.13.3-004 模型水印怎么做?
频率 ★★ | 难度 高级
一句话结论
模型水印是在模型里嵌入不可见的标识,证明模型的所有权;如果发现盗版模型,可以用水印溯源;是保护知识产权的技术手段。
概念解释
- 水印:在模型里嵌入不可见标识。
- 溯源:发现盗版模型,检测水印证明所有权。
- 方式:特殊触发样本、权重里嵌入标识。
- 要求:水印不影响模型性能,难以去除。
原理流程
- 训练时嵌入水印(特殊触发样本)。
- 发现可疑模型,检测水印。
- 水印匹配 → 证明是盗版。
代码 / 示例
模型水印:
1. 训练时加入特殊触发样本
- 输入特定短语, 模型输出特定标记
2. 发现可疑模型
3. 用触发样本测试
4. 如果输出匹配 → 证明是盗版
常见误区
- 误区:水印很容易去掉;正解:好的水印设计难以去除,即使微调也保留。
- 误区:水印影响模型性能;正解:设计得好的水印对性能影响很小。
追问
- Q:水印可靠吗? A:不是 100%,但作为法律证据很有帮助。
- Q:开源模型需要水印吗? A:开源模型谁都能下载,水印主要保护闭源模型。
10.13.3-005 怎么防模型窃取?
频率 ★★★ | 难度 进阶
一句话结论
防护:限制查询频率、检测异常查询模式、对敏感输出做扰动、合同约束(API 条款禁止蒸馏)、模型水印;多层防护,没有完美方案。
概念解释
- 频率限制:每个用户限制查询次数。
- 异常检测:检测大量查询、奇怪的查询模式。
- 输出扰动:对敏感输出加噪声,让蒸馏效果差。
- 合同:API 条款禁止蒸馏,违约追责。
- 水印:溯源证明所有权。
原理流程
- 限制每个用户的查询频率。
- 检测异常查询模式(大量、随机)。
- 对敏感输出加扰动。
- 合同条款禁止蒸馏。
代码 / 示例
防模型窃取:
1. 频率限制: 每用户每天最多 N 次查询
2. 异常检测: 检测大量随机查询
3. 输出扰动: 敏感输出加噪声
4. 合同约束: API 条款禁止蒸馏
5. 模型水印: 溯源证明所有权
常见误区
- 误区:频率限制就能防住;正解:攻击者可以用很多账号分散查询,频率限制不够。
- 误区:API 完全防不住蒸馏;正解:能提高成本,但不能完全防住。
追问
- Q:最有效的防护是什么? A:合同 + 水印,技术手段 + 法律手段结合。
- Q:企业版 API 怎么防窃取? A:企业版有合同约束,法律上禁止蒸馏,比免费版安全。
10.13.3-006 对抗样本有什么用?
频率 ★★ | 难度 基础
一句话结论
对抗样本的用途:安全性测试(测试模型鲁棒性)、对抗训练(提高模型抗攻击能力)、红队测试(找安全漏洞);是研究和安全的工具。
概念解释
- 安全性测试:测试模型对对抗样本的鲁棒性。
- 对抗训练:用对抗样本训练模型,提高抗攻击能力。
- 红队测试:找模型的安全漏洞。
- 用途:让模型更鲁棒、更安全。
原理流程
- 生成对抗样本。
- 测试模型在对抗样本上的表现。
- 用对抗样本训练模型。
- 模型抗攻击能力提高。
代码 / 示例
对抗样本的用途:
1. 鲁棒性测试: 看模型对对抗样本的错误率
2. 对抗训练: 用对抗样本训练, 提高抗攻击
3. 红队测试: 找模型的安全漏洞
4. 模型评估: 评估模型的鲁棒性
常见误区
- 误区:对抗样本就是用来攻击的;正解:主要用于测试和提高模型鲁棒性。
- 误区:对抗样本只有负面作用;正解:是让模型更安全的工具。
追问
- Q:对抗训练有效吗? A:有效,能显著提高模型对对抗样本的鲁棒性,但会牺牲一点干净样本的性能。
- Q:工业界用对抗训练吗? A:关键安全场景(如自动驾驶、医疗)会用,普通场景用得少。
10.13.3-007 开源模型会被窃取吗?
频率 ★★ | 难度 基础
一句话结论
开源模型谁都能下载,不存在"窃取"问题;开源就是公开权重;但开源模型的衍生使用要遵守许可证(如 Llama 许可证、Apache 2.0)。
概念解释
- 开源模型:权重公开,谁都能下载。
- 不存在窃取:本来就是公开的。
- 许可证:开源有许可证,要遵守。
- 衍生使用:基于开源模型做衍生要符合许可证。
原理流程
- 模型开源,权重公开下载。
- 使用者遵守许可证。
- 基于开源模型做衍生,也要符合许可证。
代码 / 示例
开源模型的许可证:
- Apache 2.0: 很宽松, 商用几乎自由
- MIT: 最宽松
- Llama 许可证: 有使用限制
- GPL: 衍生必须开源
常见误区
- 误区:开源模型随便用;正解:要遵守许可证,有些许可证有商用限制。
- 误区:开源模型就是放弃知识产权;正解:开源是授予使用许可,不是放弃所有权。
追问
- Q:Llama 许可证有什么限制? A:月活超过一定数量要申请特殊许可,商用要注意。
- Q:开源模型微调后能闭源吗? A:看许可证,Apache 2.0/MIT 可以,GPL 不行。
10.13.3-008 模型知识产权怎么保护?
频率 ★★ | 难度 高级
一句话结论
保护手段:技术手段(水印、防窃取)、法律手段(专利、版权、合同)、商业手段(闭源 API、企业版);结合使用,没有单一完美方案。
概念解释
- 技术:水印、防蒸馏、访问控制。
- 法律:专利、版权登记、API 合同。
- 商业:闭源只做 API、企业版、专有许可。
- 结合:多层保护。
原理流程
- 技术上:水印、防窃取。
- 法律上:专利、版权、合同。
- 商业上:闭源 API、企业版。
- 多层结合。
代码 / 示例
模型知识产权保护:
1. 技术: 水印, 防蒸馏, 访问控制
2. 法律: 专利, 版权登记, API 合同
3. 商业: 闭源 API, 企业版, 专有许可
4. 多层结合
常见误区
- 误区:技术手段就能完全保护;正解:技术 + 法律 + 商业结合。
- 误区:模型能申请专利;正解:模型本身很难申请专利,方法和系统可以。
追问
- Q:模型权重有版权吗? A:目前法律上还有争议,不同国家看法不同。
- Q:最有效的保护是什么? A:商业手段——闭源 API,让用户拿不到权重。
待整理清单
- [ ] 对抗样本的最新研究
- [ ] 模型水印技术进展
- [ ] 开源许可证对比
- [ ] 模型知识产权法律
- [ ] 蒸馏攻击的最新方法