03.14.4 AI 能力接入工程问题
所属:全栈开发面试题库 / 03 前端基础与 Web 开发 / 03.14 前端 AI 集成
覆盖范围
- Token 计费:用量展示、上下文窗口、截断策略
- 超时降级:流式超时、降级模型、重试
- 内容安全:输入输出审核、敏感词
- 缓存:相同请求缓存、RAG 缓存
- 限流与降级:并发控制、队列
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 03.14.4-001 | Token 计费与上下文窗口如何展示 | 高级 | ★★★ |
| 03.14.4-002 | 流式请求超时与降级 | 进阶 | ★★★ |
| 03.14.4-003 | 内容安全与审核 | 进阶 | ★★ |
| 03.14.4-004 | 相同请求缓存策略 | 进阶 | ★★ |
| 03.14.4-005 | 上下文过长如何截断 | 进阶 | ★★★ |
| 03.14.4-006 | 并发与限流 | 进阶 | ★★ |
| 03.14.4-007 | 模型切换与 A/B | 进阶 | ★★ |
| 03.14.4-008 | 错误码与用户提示 | 基础 | ★★ |
03.14.4-001 Token 计费与上下文窗口如何展示
一句话结论
Token 用量从响应 usage 字段获取(prompt_tokens、completion_tokens、total_tokens),前端展示累计消耗;上下文窗口根据模型限制,超出时截断历史或提示用户。
概念解释
- usage:API 返回的 Token 统计。
- 上下文窗口:模型最大输入 + 输出 Token 数。
原理流程
- 响应头或 body 含 usage。
- 前端累计显示。
- 历史消息接近窗口时截断。
代码 / 示例
const { usage } = await res.json();
// usage.prompt_tokens, usage.completion_tokens, usage.total_tokens
常见误区
- 误区:字符数等于 Token;正解:中文约 1-2 字符/Token,英文约 4 字符/Token。
- 误区:上下文窗口只算输入;正解:输入 + 输出总和不能超过窗口。
追问
- Q:如何估算 Token? A:用 tiktoken 或模型库,前端用 tokenizer.js。
- Q:如何展示给用户? A:"本次消耗 X Token",不暴露费用。
03.14.4-002 流式请求超时与降级
一句话结论
流式超时:首字超时(TTFB)与总时长超时;降级:切换更小模型或缓存答案;重试用指数退避。
概念解释
- 首字超时:从请求到第一个 chunk。
- 降级:模型不可用时切换。
原理流程
- 设置首字超时(如 10s)。
- 超时后 abort。
- 重试或降级到小模型。
代码 / 示例
const controller = new AbortController();
const timeout = setTimeout(() => controller.abort(), 15000);
fetch("/api/chat", { signal: controller.signal });
常见误区
- 误区:流式请求不会超时;正解:服务端可能挂起,必须设超时。
- 误区:超时就报错;正解:降级到小模型或缓存。
追问
- Q:如何判断模型慢? A:监控首字延迟,超过阈值告警。
- Q:降级用户感知? A:提示"正在使用备用模型"。
03.14.4-003 内容安全与审核
一句话结论
输入输出内容审核:前端敏感词过滤,后端调用审核 API;违规内容拒绝生成并提示用户。
概念解释
- 输入审核:用户消息。
- 输出审核:模型生成。
原理流程
- 前端敏感词预过滤。
- 后端调用审核 API。
- 违规返回错误码。
代码 / 示例
// 后端返回
{ "error": "content_policy", "message": "内容违规" }
常见误区
- 误区:前端审核足够;正解:前端可绕过,后端必须审核。
- 误区:模型自带安全;正解:模型可能被诱导,需独立审核。
追问
- Q:如何处理边界? A:误判用户反馈申诉机制。
- Q:审核延迟? A:审核通常异步,流式输出可先标记风险。
03.14.4-004 相同请求缓存策略
一句话结论
相同 prompt 缓存响应:用 prompt hash 作为 key,缓存完整回复;适用于 FAQ、高频问题;缓存需带 TTL 与用户隔离。
概念解释
- key:prompt + 模型 + 参数 hash。
- TTL:缓存过期。
原理流程
- 请求前计算 hash。
- 查缓存。
- 命中则返回缓存,否则请求。
代码 / 示例
const key = hash(JSON.stringify({ model, messages }));
if (cache.has(key)) return cache.get(key);
常见误区
- 误区:所有请求都缓存;正解:个性化请求不应缓存。
- 误区:缓存永久;正解:模型更新后缓存失效。
追问
- Q:服务端缓存? A:CDN 或 Redis 缓存相同请求。
- Q:流式缓存? A:缓存完整响应,不缓存中间流。
03.14.4-005 上下文过长如何截断
一句话结论
上下文接近窗口时,按策略截断:保留系统消息与最近 N 轮,删除最老对话;或摘要旧消息再放入。
概念解释
- 截断:删除最老消息。
- 摘要:旧消息总结后替换。
原理流程
- 估算消息 Token。
- 超过阈值时删除最老。
- 或用模型生成摘要。
代码 / 示例
const maxTokens = 8000;
while (estimateTokens(messages) > maxTokens) {
messages.splice(1, 1); // 删除最老用户消息
}
常见误区
- 误区:直接截断用户消息;正解:保留系统消息与最近上下文。
- 误区:截断不影响效果;正解:丢失上下文可能导致回答偏离。
追问
- Q:如何摘要? A:调用模型生成旧对话摘要,替换原文。
- Q:如何提示用户? A:"上下文已过长,仅保留最近对话"。
03.14.4-006 并发与限流
一句话结论
前端并发控制:同时只允许一个请求(聊天场景),多个用户请求排队;后端限流返回 429,前端重试。
概念解释
- 并发:同时进行的请求数。
- 429:Too Many Requests。
原理流程
- 聊天中发送中禁用按钮。
- 后端 429 时前端指数退避。
代码 / 示例
if (loading) return;
setLoading(true);
try { await fetch(...) } finally { setLoading(false); }
常见误区
- 误区:用户可连续发送;正解:发送中禁用,避免并发。
- 误区:429 立即重试;正解:指数退避。
追问
- Q:多 tab 同步? A:BroadcastChannel 通知其他 tab 停止。
- Q:如何排队? A:请求队列,一个完成再下一个。
03.14.4-007 模型切换与 A/B
一句话结论
模型切换:前端可选择不同模型(如 GPT-4o、Claude),参数带在请求中;A/B 按用户分流。
概念解释
- model 参数:API 指定模型。
- A/B:按用户 hash 分流。
原理流程
- 用户选择模型。
- 请求带 model 参数。
- 后端按分流决定。
代码 / 示例
fetch("/api/chat", {
body: JSON.stringify({ model: "gpt-4o", messages: [...] }),
});
常见误区
- 误区:前端切换模型安全;正解:前端切换可被篡改,后端必须鉴权。
- 误区:所有模型参数一致;正解:不同模型参数(温度、最大 Token)不同。
追问
- Q:如何展示模型能力? A:每个模型卡片说明适用场景。
- Q:A/B 指标? A:响应时长、用户满意度、Token 消耗。
03.14.4-008 错误码与用户提示
一句话结论
错误码分类:网络错误、模型错误、内容违规、限流;用户提示友好,技术信息埋点上报。
概念解释
- 错误码:4xx/5xx。
- 用户提示:友好文案。
原理流程
- 捕获错误。
- 映射到用户提示。
- 技术信息上报监控。
代码 / 示例
const messages = {
429: "请求过于频繁,请稍后重试",
402: "额度不足,请充值",
500: "服务异常,请稍后重试",
};
常见误区
- 误区:直接显示技术错误;正解:用户友好文案。
- 误区:错误不上报;正解:错误信息埋点,定位问题。
追问
- Q:如何区分用户错误与系统错误? A:4xx 是用户问题,5xx 是系统问题。
- Q:错误如何重试? A:网络错误自动重试,用户错误不重试。
03.14.4-009 Function Calling 的前端处理流程
一句话结论
Function Calling 由模型决定调用哪个函数,前端将函数名 + 参数发给后端执行,后端返回结果后继续对话;前端需展示函数调用过程给用户看。
概念解释
- Function Calling:模型输出结构化 JSON 函数调用请求。
- 工具循环:模型调用 → 后端执行 → 结果回填 → 模型继续。
原理流程
- 模型返回 tool_calls(函数名 + 参数)。
- 前端/后端执行函数。
- 结果作为 tool 消息追加。
- 模型继续生成最终回复。
代码 / 示例
// 模型返回
{ tool_calls: [{ function: { name: "getWeather", arguments: '{"city":"北京"}' } }] }
// 执行后
messages.push({ role: "tool", tool_call_id, content: JSON.stringify(result) });
常见误区
- 误区:前端直接执行函数;正解:函数在后端执行,安全可控。
- 误区:不展示函数调用;正解:展示"正在查询天气"让用户知道。
追问
- Q:函数调用失败怎么办? A:错误信息返回给模型,让模型决定下一步。
- Q:如何调试? A:记录完整消息序列,包括 tool 消息。
待整理清单
- [ ] Function Calling 前端处理
- [ ] RAG 检索与前端引用
- [ ] 模型成本与预算控制
关联与延伸
- 与 03.14.1 流式渲染、03.14.2 对话式 UI 配合,构成 AI 前端工程全景。
- Token 计费与上下文窗口是 AI 应用与传统应用最大的差异点。
- 内容安全与降级是生产环境 AI 应用必须解决的工程问题。
面试准备要点
- 必须说清 Token 与字符的换算:中文约 1-2 字符/Token。
- 必须理解上下文窗口截断策略:保留系统消息与最近 N 轮。
- 常见追问:流式超时如何处理?答:首字超时 + 降级模型。
- 常见追问:内容安全如何做?答:前端预过滤 + 后端审核。
- 常见追问:相同请求缓存?答:prompt hash 作为 key,TTL 控制。
- 常见追问:错误码如何映射?答:4xx 用户错误,5xx 系统错误。
- 常见追问:如何控制并发?答:发送中禁用按钮,请求队列。
- 常见追问:模型切换如何实现?答:请求带 model 参数,后端鉴权。
- 常见追问:如何展示 Token 消耗?答:响应 usage 字段累计显示。
- 常见追问:上下文窗口截断策略?答:保留系统消息与最近 N 轮。
- 常见追问:如何做缓存?答:prompt hash 作为 key,TTL 控制。
- 常见追问:降级策略?答:首字超时后切换小模型或缓存答案。