罗罗编程学习记录
本页内容 展开查看

10.13.3 模型窃取与对抗样本

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.13 AI 安全

覆盖范围

  • 模型窃取攻击
  • API 蒸馏与模型提取
  • 对抗样本攻击
  • 模型水印与溯源
  • 防护措施
  • 知识产权保护

高频题速览

编号 题目 难度 频率
10.13.3-001 什么是模型窃取? 基础 ★★★
10.13.3-002 API 蒸馏是什么? 进阶 ★★★
10.13.3-003 什么是对抗样本? 进阶 ★★★
10.13.3-004 模型水印怎么做? 高级 ★★
10.13.3-005 怎么防模型窃取? 进阶 ★★★
10.13.3-006 对抗样本有什么用? 基础 ★★
10.13.3-007 开源模型会被窃取吗? 基础 ★★
10.13.3-008 模型知识产权怎么保护? 高级 ★★

10.13.3-001 什么是模型窃取?

频率 ★★★ | 难度 基础

一句话结论

模型窃取(Model Stealing)是攻击者通过大量查询 API,训练一个副本模型,模仿原模型的行为;把 API 当黑盒,用输入输出对训练自己的模型。

概念解释

  • 攻击方式:大量查询 API,收集输入输出对。
  • 训练副本:用这些数据训练一个模型,模仿原模型。
  • 目的:偷模型能力,不用付费调用 API。
  • 风险:闭源模型 API 容易被窃取。

原理流程

  1. 攻击者写脚本大量调用 API。
  2. 收集输入输出对。
  3. 用这些数据训练一个小模型。
  4. 小模型模仿原模型行为。

代码 / 示例

模型窃取流程:
  1. 写脚本, 生成大量测试输入
  2. 调用 API, 收集输入输出对
  3. 用这些数据训练一个小模型
  4. 小模型模仿原模型
  5. 用自己的小模型, 不用付费调用 API

常见误区

  • 误区:模型窃取就是偷模型文件;正解:对黑盒 API,是通过大量查询蒸馏出副本。
  • 误区:小模型不能模仿大模型;正解:研究表明可以蒸馏出行为相近的副本。

追问

  • Q:模型窃取有多严重? A:闭源模型 API 的核心风险,攻击者可以低成本复制模型能力。
  • Q:怎么检测模型窃取? A:检测异常大量查询、异常查询模式。

10.13.3-002 API 蒸馏是什么?

频率 ★★★ | 难度 进阶

一句话结论

API 蒸馏是模型窃取的具体方式:攻击者把 API 当老师模型,用大量输入查询 API,收集输出,训练自己的小模型模仿;本质是知识蒸馏,但目标是窃取。

概念解释

  • 知识蒸馏:大模型教小模型,本来是模型压缩技术。
  • API 蒸馏:攻击者用 API 当老师,偷模型能力。
  • 收集:大量查询,收集输入输出对。
  • 训练:用这些数据训练自己的模型。

原理流程

  1. 生成大量测试输入。
  2. 调用 API 得到输出。
  3. 用 (输入, 输出) 训练自己的模型。
  4. 自己的模型学会模仿 API。

代码 / 示例

API 蒸馏:
  1. 生成 100 万条测试输入
  2. 调用 API, 收集每条的输出
  3. 用 (输入, 输出) 训练自己的模型
  4. 自己的模型模仿 API 的行为

常见误区

  • 误区:蒸馏是合法的模型压缩技术;正解:蒸馏本身合法,但用 API 蒸馏偷模型是侵权的。
  • 误区:蒸馏需要很多数据;正解:研究表明用相对少的数据就能蒸馏出不错的副本。

追问

  • Q:怎么防 API 蒸馏? A:限制查询频率、检测异常查询、对敏感输出做扰动。
  • Q:蒸馏能完全复制模型吗? A:不能完全复制,但能复制大部分能力,足以商用。

10.13.3-003 什么是对抗样本?

频率 ★★★ | 难度 进阶

一句话结论

对抗样本是在输入里加人眼看不出来的微小扰动,让模型出错;比如把一张熊猫图片加微小噪声,模型就认为是长臂猿;是模型鲁棒性问题。

概念解释

  • 对抗样本:加了微小扰动的输入,人眼看不出区别,但模型判断错误。
  • 原理:模型的判断边界很脆弱,微小扰动就能越界。
  • 攻击:让模型分类错误、生成错误输出。
  • LLM 也有:对抗 prompt 让模型绕过安全限制。

原理流程

  1. 找一个输入(图片/文本)。
  2. 计算加什么扰动能让模型出错。
  3. 加上扰动,人眼看不出区别。
  4. 模型判断错误。

代码 / 示例

对抗样本示例:
  图片: 熊猫 + 微小噪声 = 模型认为是长臂猿
  人眼看: 还是熊猫
  模型看: 长臂猿
  
  LLM 对抗:
    对抗 prompt: 让模型绕过安全限制, 输出不该输出的内容

常见误区

  • 误区:对抗样本是模型 bug;正解:是模型的固有问题,所有模型都有。
  • 误区:对抗样本只对图像分类有效;正解:LLM 也有对抗 prompt。

追问

  • Q:LLM 的对抗样本是什么? A:对抗 prompt,加微小扰动让模型绕过安全限制。
  • Q:怎么提高模型鲁棒性? A:对抗训练(用对抗样本训练模型)、输入检测。

10.13.3-004 模型水印怎么做?

频率 ★★ | 难度 高级

一句话结论

模型水印是在模型里嵌入不可见的标识,证明模型的所有权;如果发现盗版模型,可以用水印溯源;是保护知识产权的技术手段。

概念解释

  • 水印:在模型里嵌入不可见标识。
  • 溯源:发现盗版模型,检测水印证明所有权。
  • 方式:特殊触发样本、权重里嵌入标识。
  • 要求:水印不影响模型性能,难以去除。

原理流程

  1. 训练时嵌入水印(特殊触发样本)。
  2. 发现可疑模型,检测水印。
  3. 水印匹配 → 证明是盗版。

代码 / 示例

模型水印:
  1. 训练时加入特殊触发样本
     - 输入特定短语, 模型输出特定标记
  2. 发现可疑模型
  3. 用触发样本测试
  4. 如果输出匹配 → 证明是盗版

常见误区

  • 误区:水印很容易去掉;正解:好的水印设计难以去除,即使微调也保留。
  • 误区:水印影响模型性能;正解:设计得好的水印对性能影响很小。

追问

  • Q:水印可靠吗? A:不是 100%,但作为法律证据很有帮助。
  • Q:开源模型需要水印吗? A:开源模型谁都能下载,水印主要保护闭源模型。

10.13.3-005 怎么防模型窃取?

频率 ★★★ | 难度 进阶

一句话结论

防护:限制查询频率、检测异常查询模式、对敏感输出做扰动、合同约束(API 条款禁止蒸馏)、模型水印;多层防护,没有完美方案。

概念解释

  • 频率限制:每个用户限制查询次数。
  • 异常检测:检测大量查询、奇怪的查询模式。
  • 输出扰动:对敏感输出加噪声,让蒸馏效果差。
  • 合同:API 条款禁止蒸馏,违约追责。
  • 水印:溯源证明所有权。

原理流程

  1. 限制每个用户的查询频率。
  2. 检测异常查询模式(大量、随机)。
  3. 对敏感输出加扰动。
  4. 合同条款禁止蒸馏。

代码 / 示例

防模型窃取:
  1. 频率限制: 每用户每天最多 N 次查询
  2. 异常检测: 检测大量随机查询
  3. 输出扰动: 敏感输出加噪声
  4. 合同约束: API 条款禁止蒸馏
  5. 模型水印: 溯源证明所有权

常见误区

  • 误区:频率限制就能防住;正解:攻击者可以用很多账号分散查询,频率限制不够。
  • 误区:API 完全防不住蒸馏;正解:能提高成本,但不能完全防住。

追问

  • Q:最有效的防护是什么? A:合同 + 水印,技术手段 + 法律手段结合。
  • Q:企业版 API 怎么防窃取? A:企业版有合同约束,法律上禁止蒸馏,比免费版安全。

10.13.3-006 对抗样本有什么用?

频率 ★★ | 难度 基础

一句话结论

对抗样本的用途:安全性测试(测试模型鲁棒性)、对抗训练(提高模型抗攻击能力)、红队测试(找安全漏洞);是研究和安全的工具。

概念解释

  • 安全性测试:测试模型对对抗样本的鲁棒性。
  • 对抗训练:用对抗样本训练模型,提高抗攻击能力。
  • 红队测试:找模型的安全漏洞。
  • 用途:让模型更鲁棒、更安全。

原理流程

  1. 生成对抗样本。
  2. 测试模型在对抗样本上的表现。
  3. 用对抗样本训练模型。
  4. 模型抗攻击能力提高。

代码 / 示例

对抗样本的用途:
  1. 鲁棒性测试: 看模型对对抗样本的错误率
  2. 对抗训练: 用对抗样本训练, 提高抗攻击
  3. 红队测试: 找模型的安全漏洞
  4. 模型评估: 评估模型的鲁棒性

常见误区

  • 误区:对抗样本就是用来攻击的;正解:主要用于测试和提高模型鲁棒性。
  • 误区:对抗样本只有负面作用;正解:是让模型更安全的工具。

追问

  • Q:对抗训练有效吗? A:有效,能显著提高模型对对抗样本的鲁棒性,但会牺牲一点干净样本的性能。
  • Q:工业界用对抗训练吗? A:关键安全场景(如自动驾驶、医疗)会用,普通场景用得少。

10.13.3-007 开源模型会被窃取吗?

频率 ★★ | 难度 基础

一句话结论

开源模型谁都能下载,不存在"窃取"问题;开源就是公开权重;但开源模型的衍生使用要遵守许可证(如 Llama 许可证、Apache 2.0)。

概念解释

  • 开源模型:权重公开,谁都能下载。
  • 不存在窃取:本来就是公开的。
  • 许可证:开源有许可证,要遵守。
  • 衍生使用:基于开源模型做衍生要符合许可证。

原理流程

  1. 模型开源,权重公开下载。
  2. 使用者遵守许可证。
  3. 基于开源模型做衍生,也要符合许可证。

代码 / 示例

开源模型的许可证:
  - Apache 2.0: 很宽松, 商用几乎自由
  - MIT: 最宽松
  - Llama 许可证: 有使用限制
  - GPL: 衍生必须开源

常见误区

  • 误区:开源模型随便用;正解:要遵守许可证,有些许可证有商用限制。
  • 误区:开源模型就是放弃知识产权;正解:开源是授予使用许可,不是放弃所有权。

追问

  • Q:Llama 许可证有什么限制? A:月活超过一定数量要申请特殊许可,商用要注意。
  • Q:开源模型微调后能闭源吗? A:看许可证,Apache 2.0/MIT 可以,GPL 不行。

10.13.3-008 模型知识产权怎么保护?

频率 ★★ | 难度 高级

一句话结论

保护手段:技术手段(水印、防窃取)、法律手段(专利、版权、合同)、商业手段(闭源 API、企业版);结合使用,没有单一完美方案。

概念解释

  • 技术:水印、防蒸馏、访问控制。
  • 法律:专利、版权登记、API 合同。
  • 商业:闭源只做 API、企业版、专有许可。
  • 结合:多层保护。

原理流程

  1. 技术上:水印、防窃取。
  2. 法律上:专利、版权、合同。
  3. 商业上:闭源 API、企业版。
  4. 多层结合。

代码 / 示例

模型知识产权保护:
  1. 技术: 水印, 防蒸馏, 访问控制
  2. 法律: 专利, 版权登记, API 合同
  3. 商业: 闭源 API, 企业版, 专有许可
  4. 多层结合

常见误区

  • 误区:技术手段就能完全保护;正解:技术 + 法律 + 商业结合。
  • 误区:模型能申请专利;正解:模型本身很难申请专利,方法和系统可以。

追问

  • Q:模型权重有版权吗? A:目前法律上还有争议,不同国家看法不同。
  • Q:最有效的保护是什么? A:商业手段——闭源 API,让用户拿不到权重。

待整理清单

  • [ ] 对抗样本的最新研究
  • [ ] 模型水印技术进展
  • [ ] 开源许可证对比
  • [ ] 模型知识产权法律
  • [ ] 蒸馏攻击的最新方法