10.8.5 本地化部署与隐私合规
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.8 推理部署与本地化
覆盖范围
- 本地化部署的驱动因素(隐私、成本、离线)
- 本地化部署方案选型(Ollama/llama.cpp/vLLM)
- 数据不出域的架构设计
- 合规要求(数据安全法、个人信息保护法)
- 私有化部署 vs 云 API 的取舍
- 本地化部署的运维挑战
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.8.5-001 | 为什么要本地化部署? | 基础 | ★★★★ |
| 10.8.5-002 | 本地化部署有哪些方案? | 基础 | ★★★★ |
| 10.8.5-003 | 数据不出域怎么设计? | 进阶 | ★★★★ |
| 10.8.5-004 | 私有化部署和云 API 怎么选? | 基础 | ★★★★ |
| 10.8.5-005 | 本地化部署有哪些合规要求? | 进阶 | ★★★ |
| 10.8.5-006 | 本地化部署的运维挑战? | 进阶 | ★★★ |
| 10.8.5-007 | 敏感数据怎么处理? | 进阶 | ★★★ |
| 10.8.5-008 | 端侧部署(手机/边缘)有什么不同? | 高级 | ★★★ |
10.8.5-001 为什么要本地化部署?
频率 ★★★★ | 难度 基础
一句话结论
本地化部署的核心驱动:隐私合规(数据不出企业)、成本控制(长期大量调用成本更低)、离线可用(无网络环境)、定制化(可微调、可改造);金融、医疗、政务等行业是刚需。
概念解释
- 隐私合规:敏感数据不能发送到外部 API,必须本地处理。
- 成本:大量调用时,自建 GPU 的单位成本可能低于云 API。
- 离线:内网环境、无外网访问的场景。
- 定制化:可以微调模型、改造推理流程、集成内部系统。
原理流程
- 业务场景涉及敏感数据(客户信息、商业机密)。
- 数据不能出域,云 API 不可用。
- 选择本地化部署方案。
- 部署模型在企业内网,数据不出企业。
代码 / 示例
本地化部署的典型场景:
- 金融: 客户交易数据、风控模型
- 医疗: 病历、诊断数据
- 政务: 内部公文、敏感信息
- 法律: 案件资料、合同
- 企业: 内部代码、商业文档
驱动因素:
1. 合规要求 (数据安全法/个保法)
2. 成本 (长期大量调用)
3. 离线可用
4. 定制化需求
常见误区
- 误区:本地化部署一定比云 API 便宜;正解:初期投入大(GPU 采购、运维),只有调用量足够大时才划算。
- 误区:本地化部署就是把模型下载到本地;正解:本地化部署是一套完整方案,包括模型、推理引擎、API 层、监控、运维。
追问
- Q:怎么算本地化 vs 云 API 的成本? A:云 API 按 token 计费,量大时成本线性增长;本地化是固定成本(GPU + 运维),量大时单位成本更低。
- Q:哪些行业必须本地化? A:金融、医疗、政务、军工等受监管行业,数据不能出境或出域。
10.8.5-002 本地化部署有哪些方案?
频率 ★★★★ | 难度 基础
一句话结论
本地化部署方案按复杂度和性能分层:个人/开发用 Ollama(一键启动),中小团队用 llama.cpp(轻量),生产级用 vLLM(高并发),极致性能用 TensorRT-LLM;按硬件选 CPU/GPU 方案。
概念解释
- Ollama:一键安装,适合开发测试和小团队。
- llama.cpp:纯 C++,轻量,适合 CPU 和边缘设备。
- vLLM:生产级,高并发,适合有 GPU 的企业部署。
- TensorRT-LLM:极致性能,适合大规模生产。
原理流程
- 确定场景:开发测试还是生产。
- 确定硬件:有 GPU 还是只有 CPU。
- 确定并发量:小团队还是高并发。
- 选对应方案。
代码 / 示例
本地化部署方案选型:
场景 推荐方案
---------------------------- ----------------
个人开发/快速原型 Ollama
CPU/低资源服务器 llama.cpp
中小团队 GPU 部署 vLLM
大规模生产 GPU vLLM 或 TensorRT-LLM
边缘设备/嵌入式 llama.cpp (GGUF)
Mac M 系列本地 Ollama
常见误区
- 误区:本地化部署一定要 GPU;正解:小模型(7B 量化后)在 CPU 上也能跑,只是速度慢,适合低并发场景。
- 误区:Ollama 不能生产用;正解:Ollama 可以用于中小规模生产,但高并发场景性能不如 vLLM。
追问
- Q:怎么部署多个模型? A:Ollama 可以同时管理多个模型,按需加载;vLLM 每个实例一个模型,多模型需要多实例。
- Q:本地化部署怎么做 API 网关? A:前面加一层 Nginx/网关,统一暴露 OpenAI 兼容 API,做鉴权、限流、日志。
10.8.5-003 数据不出域怎么设计?
频率 ★★★★ | 难度 进阶
一句话结论
数据不出域的核心架构:模型和推理服务部署在企业内网,所有数据流转都在内部网络完成;不调用外部 API,不向外部发送任何数据;对外只暴露内部 API。
概念解释
- 内网部署:模型、推理服务、数据库都在企业内网。
- 无外部调用:不调用 OpenAI、Claude 等外部 API。
- 数据闭环:数据采集、处理、推理、存储都在内部。
- 审计日志:所有请求和响应都记录审计日志。
原理流程
- 模型部署在内网 GPU 服务器。
- 应用通过内网 API 调用推理服务。
- 数据在企业内网流转,不出域。
- 所有操作记录审计日志。
- 对外不暴露任何端口。
代码 / 示例
数据不出域架构:
应用层 (内网)
↓
API 网关 (内网, 鉴权/限流)
↓
推理服务 (内网 GPU, vLLM/Ollama)
↓
模型文件 (内网存储)
↓
向量库/知识库 (内网)
禁止:
- 调用外部 LLM API
- 模型文件外传
- 日志外传
常见误区
- 误区:数据不出域就是不能联网;正解:是不能把数据发到外部,内部可以有网络访问(如更新模型、下载依赖),但要走审批。
- 误区:用了外部模型就不合规;正解:如果外部模型做了数据脱敏和审批,某些场景也可以,但风险高。
追问
- Q:怎么验证数据真的不出域? A:网络审计、流量监控,确保推理服务器没有对外出站连接(除了运维需要的白名单)。
- Q:需要更新模型怎么办? A:走审批流程,在隔离环境更新模型,验证后再上线,不能直接从外网拉取。
10.8.5-004 私有化部署和云 API 怎么选?
频率 ★★★★ | 难度 基础
一句话结论
数据敏感、调用量大、需要定制化选私有化;数据不敏感、调用量小、快速上线选云 API;两者不是二选一,可以混合用(敏感数据走私有化,通用请求走云 API)。
概念解释
- 私有化:数据在自己服务器,可控性强,成本固定。
- 云 API:快速接入,按量付费,成本随用量增长。
- 混合模式:按数据敏感度和场景分流。
- 选择依据:合规要求、成本、定制化需求、上线时间。
原理流程
- 看合规:敏感数据必须私有化。
- 看成本:量大选私有化,量小选云 API。
- 看定制化:需要微调、特殊功能选私有化。
- 看上线时间:快速验证选云 API,长期方案选私有化。
代码 / 示例
私有化 vs 云 API 对比:
维度 私有化部署 云 API
------------ -------------------- ----------------
数据安全 数据不出域, 可控 数据发送到外部
成本 固定成本, 量大划算 按量付费, 量小划算
上线速度 慢 (采购/部署/运维) 快 (API 调用即可)
定制化 可微调, 可改造 只能调 prompt
运维 需要自己运维 服务商负责
性能 自己控制, 可优化 受服务商限制
常见误区
- 误区:私有化一定比云 API 便宜;正解:初期投入大(GPU 采购、运维团队),只有月调用量很大时才划算。
- 误区:云 API 数据不安全;正解:主流云厂商有严格的数据保护和合规认证,对非敏感数据是安全的。
追问
- Q:怎么从云 API 迁移到私有化? A:通过 OpenAI 兼容 API 抽象,业务代码不改,只换 base_url,平滑迁移。
- Q:混合模式怎么设计? A:API 网关按数据敏感度路由——敏感请求走私有化模型,非敏感走云 API,用户无感知。
10.8.5-005 本地化部署有哪些合规要求?
频率 ★★★ | 难度 进阶
一句话结论
本地化部署的合规要求主要来自:数据安全法(数据分类分级)、个人信息保护法(PII 处理)、网络安全法(等保)、以及行业监管规定(金融/医疗特定要求);核心是数据全生命周期可管可控。
概念解释
- 数据安全法:数据分类分级,重要数据保护。
- 个人信息保护法:PII 收集、存储、使用的合规。
- 网络安全法:等保要求,系统安全防护。
- 行业监管:金融(央行/银保监)、医疗(卫健委)、政务(等保三级)。
原理流程
- 数据分类分级:哪些是敏感数据,哪些是重要数据。
- 访问控制:谁能访问,怎么访问。
- 审计日志:所有操作可追溯。
- 数据加密:存储和传输加密。
- 合规审查:定期审计,满足监管要求。
代码 / 示例
本地化部署合规清单:
[ ] 数据分类分级完成
[ ] PII 数据脱敏或加密
[ ] 访问控制 (RBAC, 最小权限)
[ ] 审计日志 (所有请求/响应记录)
[ ] 数据加密 (存储加密, 传输 TLS)
[ ] 等保测评 (按行业要求)
[ ] 数据留存策略 (多久后删除)
[ ] 模型输出安全审核 (防止生成违规内容)
常见误区
- 误区:本地化部署就自动合规了;正解:本地化只是部署方式,还要满足数据安全、访问控制、审计等合规要求。
- 误区:合规是法务的事,技术不用管;正解:技术架构要满足合规要求,如数据加密、访问控制、审计日志。
追问
- Q:等保是什么? A:网络安全等级保护,中国的网络安全合规要求,分五级,三级以上要求严格。
- Q:模型输出要合规吗? A:是的,模型生成的内容也要符合内容合规要求(不生成违法违规内容),需要加输出审核。
10.8.5-006 本地化部署的运维挑战?
频率 ★★★ | 难度 进阶
一句话结论
本地化部署的运维挑战:GPU 硬件维护、模型版本管理、监控告警、扩容升级、故障排查;相比云 API"服务商负责一切",本地化需要自己有运维能力。
概念解释
- 硬件维护:GPU 服务器采购、保养、故障更换。
- 模型管理:模型版本、更新、回滚。
- 监控:GPU 利用率、显存、延迟、错误率。
- 扩容:业务增长时怎么加 GPU、加实例。
原理流程
- 硬件:采购 GPU 服务器,机房托管。
- 模型:模型文件版本管理,更新流程。
- 监控:部署 Prometheus/Grafana 监控 GPU 和服务。
- 告警:显存不足、延迟升高、错误率上升时告警。
- 故障排查:GPU 故障、OOM、服务崩溃。
代码 / 示例
本地化运维清单:
- GPU 监控: 利用率, 显存, 温度, 功耗
- 服务监控: QPS, 延迟, 错误率
- 模型管理: 版本号, 更新记录, 回滚方案
- 日志: 请求日志, 错误日志, 审计日志
- 备份: 模型文件备份, 配置备份
- 容灾: 主备节点, 故障切换
常见误区
- 误区:部署完就不用管了;正解:本地化部署需要持续运维,GPU 会坏、模型要更新、服务要监控。
- 误区:运维成本很低;正解:一个 GPU 服务器的年运维成本(电费、机房、人力)可能占硬件成本的 20%~30%。
追问
- Q:怎么降低运维复杂度? A:用容器化(Docker)、用编排工具(K8s)、用开源监控(Prometheus),减少手动操作。
- Q:没有运维团队怎么办? A:选托管式私有化方案(如云厂商提供的私有化部署),或用云 API 过渡。
10.8.5-007 敏感数据怎么处理?
频率 ★★★ | 难度 进阶
一句话结论
敏感数据处理:输入前脱敏(PII 替换)、推理时隔离(不出域)、输出后审核(防止泄露)、存储加密(数据库加密);核心是最小化数据暴露面。
概念解释
- 输入脱敏:姓名、身份证、手机号等 PII 替换为占位符。
- 推理隔离:数据只在本地推理,不外发。
- 输出审核:检查模型输出是否泄露敏感信息。
- 存储加密:日志和数据库中的敏感数据加密存储。
原理流程
- 输入:识别 PII,替换为占位符(如
[姓名]、[手机])。 - 推理:脱敏后的 prompt 送入模型,模型不知道真实 PII。
- 输出:检查输出是否包含敏感信息。
- 存储:日志和数据库加密,访问需审批。
代码 / 示例
敏感数据处理流程:
用户输入: "张三的手机号是 13800138000"
↓ PII 识别与脱敏
脱敏后: "[姓名]的手机号是[手机号]"
↓ 送入模型推理
模型输出: "[姓名]的联系方式已记录"
↓ 输出审核 (无泄露)
返回用户 (或替换回真实值, 仅在用户端显示)
常见误区
- 误区:模型不会泄露数据;正解:模型可能通过 prompt 注入或上下文泄露训练数据或输入数据。
- 误区:脱敏后就安全了;正解:脱敏要彻底,不能只替换明显的 PII,还要注意间接标识(如出生日期+性别可能识别个人)。
追问
- Q:怎么识别 PII? A:用 NER 模型或规则识别姓名、身份证、手机号、地址等,再替换为占位符。
- Q:模型训练数据会不会有敏感数据? A:公开模型的训练数据可能包含从网上爬取的 PII,需要评估和清洗,或用自己的数据微调。
10.8.5-008 端侧部署(手机/边缘)有什么不同?
频率 ★★★ | 难度 高级
一句话结论
端侧部署在手机/边缘设备上运行模型,受限于内存、算力、电池;需要小模型(1B~7B)、极致量化(4bit/3bit)、优化推理引擎;优势是隐私(数据不出设备)、离线可用、零服务器成本。
概念解释
- 端侧模型:1B~7B 小模型,量化到 4bit 以下。
- 内存限制:手机内存有限,模型 + 系统 + App 不能超。
- 算力限制:手机 NPU/GPU 算力远低于数据中心 GPU。
- 功耗:推理耗电,影响续航。
- 隐私优势:数据在设备上,不上传。
原理流程
- 选小模型(1B~3B)。
- 极致量化(4bit 甚至 3bit)。
- 用移动端推理引擎(llama.cpp、MLC、MNN)。
- 优化模型加载和推理速度。
- 控制功耗和发热。
代码 / 示例
端侧部署特点:
模型大小: 1B~3B, 量化到 4bit
模型体积: 0.5~2 GB
内存占用: 1~3 GB
推理速度: 5~20 token/s (手机 NPU)
功耗: 推理时耗电明显
适用场景:
- 离线助手
- 隐私敏感场景
- 低延迟 (无网络)
常见误区
- 误区:端侧跑 7B 模型没问题;正解:手机内存和算力有限,7B 4bit 模型约 4GB,加上系统和其他 App,内存紧张。
- 误区:端侧部署就是缩小模型;正解:还需要优化推理引擎、模型结构、量化方案,才能在端侧跑得动。
追问
- Q:端侧和云端怎么结合? A:简单任务端侧处理,复杂任务云端处理,端云协同,平衡隐私和能力。
- Q:端侧模型有哪些? A:Qwen、Phi、Gemma 等都有小尺寸版本,专门优化端侧部署。
待整理清单
- [ ] 私有化部署的网络架构设计
- [ ] 模型更新与版本管理流程
- [ ] 安全审计与渗透测试
- [ ] 容灾与高可用方案
- [ ] 端侧部署的模型压缩技术