10.11.1 主流 SDK 与统一封装(OpenAI/Anthropic/豆包/DeepSeek)
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.11 大模型 API 工程
覆盖范围
- 主流 LLM API 提供商
- OpenAI SDK 的统一接口
- 各提供商的差异点
- 统一封装层设计
- 函数调用与结构化输出
- 版本管理与模型切换
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.11.1-001 | 主流 LLM API 有哪些? | 基础 | ★★★★ |
| 10.11.1-002 | OpenAI SDK 为什么是事实标准? | 基础 | ★★★★ |
| 10.11.1-003 | 怎么统一封装多供应商? | 进阶 | ★★★★ |
| 10.11.1-004 | 函数调用各供应商差异? | 进阶 | ★★★ |
| 10.11.1-005 | 结构化输出怎么实现? | 进阶 | ★★★ |
| 10.11.1-006 | 模型切换怎么无缝? | 基础 | ★★★ |
| 10.11.1-007 | 国内模型 API 怎么选? | 基础 | ★★★ |
| 10.11.1-008 | 统一封装层有哪些坑? | 进阶 | ★★★ |
10.11.1-001 主流 LLM API 有哪些?
频率 ★★★★ | 难度 基础
一句话结论
主流 API:OpenAI(GPT 系列)、Anthropic(Claude 系列)、Google(Gemini)、国内有豆包(字节)、DeepSeek、通义千问(阿里)、智谱、月之暗面;按能力、成本、合规选择。
概念解释
- 国际:OpenAI、Anthropic、Google。
- 国内:豆包、DeepSeek、通义、智谱、Kimi。
- 开源:可自部署的模型(Qwen、Llama 等)。
- 选择:能力、成本、延迟、合规。
原理流程
- 选模型:按任务能力选。
- 调 API:REST 接口。
- 统一封装:对上层提供统一接口。
代码 / 示例
主流 LLM API:
OpenAI: GPT-4o, GPT-4o-mini, o1
Anthropic: Claude 3.5 Sonnet, Claude 3 Opus
Google: Gemini 1.5 Pro/Flash
豆包: Doubao-pro, Doubao-lite
DeepSeek: DeepSeek-V3, DeepSeek-R1
通义: Qwen-Max, Qwen-Plus
智谱: GLM-4
Kimi: Kimi-Latest
常见误区
- 误区:只选最强的模型;正解:按任务选,简单任务用小模型,成本差 10 倍。
- 误区:国内模型不如国外;正解:DeepSeek、Qwen 等在中文场景已经很强,且合规和延迟有优势。
追问
- Q:怎么选模型? A:先明确任务(对话/代码/推理),再在目标模型上测,选性价比最高的。
- Q:模型 API 价格差异? A:顶级模型 $5~15/M token,便宜模型 $0.1~1/M token,差 50 倍。
10.11.1-002 OpenAI SDK 为什么是事实标准?
频率 ★★★★ | 难度 基础
一句话结论
OpenAI 定义了 chat completions API 格式,其他厂商纷纷兼容这个格式(DeepSeek、豆包、本地 vLLM 都兼容),导致 OpenAI SDK 成为事实标准;用 OpenAI SDK 改 base_url 就能切换后端。
概念解释
- API 格式:
/v1/chat/completions,messages 数组,model 参数。 - 兼容性:DeepSeek、豆包、vLLM、Ollama 都兼容这个格式。
- SDK 统一:用 openai-python SDK,改 base_url 和 api_key 就能切。
- 好处:业务代码不用改,只改配置。
原理流程
- 业务代码用 OpenAI SDK。
- base_url 指向 OpenAI 或兼容后端。
- 切换时只改 base_url。
代码 / 示例
from openai import OpenAI
# 用 OpenAI
client = OpenAI(api_key="sk-xxx")
# 用 DeepSeek (兼容 OpenAI 格式)
client = OpenAI(
api_key="sk-deepseek",
base_url="https://api.deepseek.com/v1"
)
# 用本地 vLLM
client = OpenAI(
api_key="not-needed",
base_url="http://localhost:8000/v1"
)
常见误区
- 误区:所有 API 都完全兼容 OpenAI;正解:基本聊天接口兼容,高级功能(function calling、vision)可能有差异。
- 误区:OpenAI SDK 只能用 OpenAI;正解:OpenAI SDK 是 HTTP 客户端,改 base_url 就能用任何兼容后端。
追问
- Q:怎么验证兼容性? A:用相同的请求格式测一遍,对比响应格式和高级功能。
- Q:不兼容的怎么办? A:在统一封装层做适配,把差异藏在底层。
10.11.1-003 怎么统一封装多供应商?
频率 ★★★★ | 难度 进阶
一句话结论
统一封装层:定义统一接口(chat、stream、function calling),底层适配不同供应商;上层业务只调统一接口,不关心底层是哪家模型;好处:切换供应商不改业务代码。
概念解释
- 统一接口:chat(messages, **kwargs) 统一方法。
- 适配器:每个供应商一个适配器,转换请求和响应。
- 路由:根据配置或策略,选择用哪个供应商。
- 好处:业务代码和供应商解耦。
原理流程
- 定义统一接口。
- 为每个供应商写适配器(请求格式转换、响应格式转换)。
- 业务代码只调统一接口。
- 切换供应商时改配置,不改代码。
代码 / 示例
class LLMClient:
def __init__(self, provider="openai"):
if provider == "openai":
self.client = OpenAI()
elif provider == "deepseek":
self.client = OpenAI(base_url="...")
elif provider == "anthropic":
self.client = Anthropic()
def chat(self, messages, **kwargs):
# 统一接口
return self.client.chat(messages, **kwargs)
def stream(self, messages, **kwargs):
# 统一流式接口
yield from self.client.stream(messages, **kwargs)
常见误区
- 误区:统一封装就是包一层 SDK;正解:要处理差异(function calling 格式、错误格式、流式格式),不只是包一层。
- 误区:统一封装越薄越好;正解:太薄藏不住差异,太厚又失去灵活性,平衡很重要。
追问
- Q:统一封装层要处理什么差异? A:请求格式、响应格式、错误格式、流式格式、function calling、vision。
- Q:怎么设计统一接口? A:参考 OpenAI 格式(最通用),其他供应商适配成 OpenAI 格式。
10.11.1-004 函数调用各供应商差异?
频率 ★★★ | 难度 进阶
一句话结论
Function Calling 各供应商格式不同:OpenAI 是 tools 数组 + tool_calls,Anthropic 是 tools + tool_use block,国内模型各有差异;统一封装层要做格式转换。
概念解释
- OpenAI:tools 定义,响应里 tool_calls 字段。
- Anthropic:tools 定义,响应 content 里 tool_use block。
- 国内:大多数兼容 OpenAI 格式,但可能有细微差异。
- 统一:封装层转换格式,上层用统一的 function calling 格式。
原理流程
- 上层定义统一的工具格式。
- 封装层转成对应供应商的格式。
- 响应回来,再转成统一格式。
代码 / 示例
# OpenAI function calling 格式:
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "查询天气",
"parameters": {"type": "object", "properties": {"city": {"type": "string"}}}
}
}]
# Anthropic 格式:
tools = [{
"name": "get_weather",
"description": "查询天气",
"input_schema": {"type": "object", "properties": {"city": {"type": "string"}}}
}]
常见误区
- 误区:function calling 格式完全一样;正解:基本概念一样,但 JSON 格式有差异,要适配。
- 误区:所有模型 function calling 都稳定;正解:小模型 function calling 能力弱,可能格式错误。
追问
- Q:怎么测试 function calling 稳定性? A:用测试集看模型是否正确输出工具名和参数。
- Q:function calling 出错怎么办? A:加格式校验和重试,解析失败时让模型重新输出。
10.11.1-005 结构化输出怎么实现?
频率 ★★★ | 难度 进阶
一句话结论
结构化输出:让模型输出严格 JSON 格式;实现方式:prompt 约束(告诉模型输出格式)、JSON mode(OpenAI 支持 response_format)、函数调用(用 function calling 强制 JSON)、后处理(解析 JSON 失败重试)。
概念解释
- Prompt 约束:在 prompt 里说"请输出 JSON 格式"。
- JSON mode:OpenAI 等支持 response_format={"type": "json_object"}。
- Function calling:用工具调用强制结构化输出。
- 后处理:解析 JSON,失败时重试。
原理流程
- Prompt 里指定 JSON schema。
- 用 JSON mode 或 function calling 约束。
- 解析响应为 JSON。
- 解析失败时,把错误信息反馈给模型,让它修正。
代码 / 示例
# OpenAI JSON mode
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "输出用户信息: 张三, 25岁"}],
response_format={"type": "json_object"}
)
# 后处理 + 重试
import json
try:
data = json.loads(response.choices[0].message.content)
except json.JSONDecodeError:
# 重试, 告诉模型格式错误
response = retry_with_error(...)
常见误区
- 误区:JSON mode 就保证输出合法 JSON;正解:JSON mode 保证是 JSON 格式,但内容可能不符合 schema,要校验。
- 误区:后处理解析就行;正解:要加校验和重试,解析失败率不低。
追问
- Q:怎么指定 JSON schema? A:在 prompt 里给 schema,或用 function calling 传 parameters。
- Q:结构化输出失败率? A:顶级模型 5%~10%,小模型 20%+,必须加重试。
10.11.1-006 模型切换怎么无缝?
频率 ★★★ | 难度 基础
一句话结论
无缝切换:通过统一封装层,切换模型只改配置(model 名、base_url、api_key),业务代码不变;前提是统一接口兼容,高级功能(function calling、vision)要验证。
概念解释
- 配置驱动:模型名、API key、base_url 都在配置里。
- 统一接口:业务代码只调统一接口。
- 验证:切换后跑一遍测试,确保功能正常。
- 灰度:先切一部分流量到新模型,观察没问题再全量。
原理流程
- 配置里改模型名和 API key。
- 业务代码不变。
- 跑测试验证。
- 灰度切流。
代码 / 示例
# 配置
config = {
"model": "gpt-4o",
"api_key": "sk-xxx",
"base_url": "https://api.openai.com/v1"
}
# 切换到 DeepSeek:
config = {
"model": "deepseek-chat",
"api_key": "sk-deepseek",
"base_url": "https://api.deepseek.com/v1"
}
# 业务代码完全不变
client = LLMClient(config)
常见误区
- 误区:切换模型不用改代码;正解:基本聊天接口可能兼容,但高级功能(function calling、vision)可能有差异,要验证。
- 误区:切换模型效果不变;正解:不同模型效果不同,切换后要评测。
追问
- Q:怎么验证切换后效果? A:用评测集对比,确保新模型效果不低于旧模型。
- Q:怎么灰度切换? A:先切 10% 流量到新模型,观察效果和成本,没问题再逐步切全量。
10.11.1-007 国内模型 API 怎么选?
频率 ★★★ | 难度 基础
一句话结论
国内选择:DeepSeek(性价比高,推理强)、豆包(字节,生态好)、通义(阿里,企业级)、智谱(GLM,老牌)、Kimi(长文本);按能力、成本、合规、生态选择。
概念解释
- DeepSeek:性价比高,V3/R1 推理强,API 兼容 OpenAI。
- 豆包:字节跳动,生态好,多模态强。
- 通义:阿里,企业级,稳定。
- Kimi:长文本优势。
- 选择:能力、成本、延迟、合规。
原理流程
- 明确需求:能力要求、成本预算、延迟要求。
- 在几个模型上测试。
- 选性价比最高的。
代码 / 示例
国内模型选型:
DeepSeek: 性价比高, 推理强, API 兼容 OpenAI
豆包: 字节生态, 多模态, 稳定
通义: 阿里企业级, 生态完善
智谱: GLM 老牌, 稳定
Kimi: 长文本优势
常见误区
- 误区:国内模型都不如国外;正解:DeepSeek-V3、Qwen-Max 等在很多任务上已经接近 GPT-4o,且合规和延迟有优势。
- 误区:只看模型能力;正解:还要看 API 稳定性、文档完善度、售后支持。
追问
- Q:国内模型 API 怎么选? A:先用免费额度测试,看效果和稳定性,再选。
- Q:国内模型合规吗? A:国内模型都经过备案,符合国内法规,适合国内业务。
10.11.1-008 统一封装层有哪些坑?
频率 ★★★ | 难度 进阶
一句话结论
常见坑:高级功能差异(function calling、vision、流式格式)、错误格式不一致、超时和重试语义不同、token 计数方式不同、模型名映射混乱;统一封装要把这些差异都处理掉。
概念解释
- 功能差异:不是所有模型都支持 function calling、vision、JSON mode。
- 错误格式:不同供应商错误码和错误消息格式不同。
- 超时重试:不同供应商的超时和重试语义不同。
- token 计数:不同模型 tokenizer 不同,计数方式不同。
原理流程
- 封装层处理所有差异。
- 上层看到统一的接口和错误格式。
- 新接入供应商时,在适配层做适配。
代码 / 示例
统一封装要处理的差异:
- 请求格式: 基本聊天兼容, 高级功能差异
- 响应格式: 字段名可能不同
- 错误格式: 错误码、错误消息格式
- 流式格式: SSE 事件格式可能不同
- function calling: 格式差异
- token 计数: 不同 tokenizer
- 模型名映射: 统一名 → 供应商名
常见误区
- 误区:OpenAI 兼容就万事大吉;正解:基本聊天兼容,高级功能和错误格式有差异,要适配。
- 误区:统一封装层很简单;正解:要处理各种边界情况,实际上是个适配器工程。
追问
- Q:怎么设计好统一封装层? A:先从 OpenAI 格式出发,其他供应商适配成 OpenAI 格式;功能差异用 feature flag 标识。
- Q:怎么测试封装层? A:用相同的测试用例测每个供应商,确保行为一致。
待整理清单
- [ ] 统一封装层的架构设计
- [ ] 多供应商故障切换
- [ ] 模型版本管理与灰度
- [ ] API 限流与配额管理
- [ ] 统一日志与监控