罗罗编程学习记录
本页内容 展开查看

03.14.4 AI 能力接入工程问题

所属:全栈开发面试题库 / 03 前端基础与 Web 开发 / 03.14 前端 AI 集成

覆盖范围

  • Token 计费:用量展示、上下文窗口、截断策略
  • 超时降级:流式超时、降级模型、重试
  • 内容安全:输入输出审核、敏感词
  • 缓存:相同请求缓存、RAG 缓存
  • 限流与降级:并发控制、队列

高频题速览

编号 题目 难度 频率
03.14.4-001 Token 计费与上下文窗口如何展示 高级 ★★★
03.14.4-002 流式请求超时与降级 进阶 ★★★
03.14.4-003 内容安全与审核 进阶 ★★
03.14.4-004 相同请求缓存策略 进阶 ★★
03.14.4-005 上下文过长如何截断 进阶 ★★★
03.14.4-006 并发与限流 进阶 ★★
03.14.4-007 模型切换与 A/B 进阶 ★★
03.14.4-008 错误码与用户提示 基础 ★★

03.14.4-001 Token 计费与上下文窗口如何展示

一句话结论

Token 用量从响应 usage 字段获取(prompt_tokens、completion_tokens、total_tokens),前端展示累计消耗;上下文窗口根据模型限制,超出时截断历史或提示用户。

概念解释

  • usage:API 返回的 Token 统计。
  • 上下文窗口:模型最大输入 + 输出 Token 数。

原理流程

  1. 响应头或 body 含 usage。
  2. 前端累计显示。
  3. 历史消息接近窗口时截断。

代码 / 示例

const { usage } = await res.json();
// usage.prompt_tokens, usage.completion_tokens, usage.total_tokens

常见误区

  • 误区:字符数等于 Token;正解:中文约 1-2 字符/Token,英文约 4 字符/Token。
  • 误区:上下文窗口只算输入;正解:输入 + 输出总和不能超过窗口。

追问

  • Q:如何估算 Token? A:用 tiktoken 或模型库,前端用 tokenizer.js。
  • Q:如何展示给用户? A:"本次消耗 X Token",不暴露费用。

03.14.4-002 流式请求超时与降级

一句话结论

流式超时:首字超时(TTFB)与总时长超时;降级:切换更小模型或缓存答案;重试用指数退避。

概念解释

  • 首字超时:从请求到第一个 chunk。
  • 降级:模型不可用时切换。

原理流程

  1. 设置首字超时(如 10s)。
  2. 超时后 abort。
  3. 重试或降级到小模型。

代码 / 示例

const controller = new AbortController();
const timeout = setTimeout(() => controller.abort(), 15000);
fetch("/api/chat", { signal: controller.signal });

常见误区

  • 误区:流式请求不会超时;正解:服务端可能挂起,必须设超时。
  • 误区:超时就报错;正解:降级到小模型或缓存。

追问

  • Q:如何判断模型慢? A:监控首字延迟,超过阈值告警。
  • Q:降级用户感知? A:提示"正在使用备用模型"。

03.14.4-003 内容安全与审核

一句话结论

输入输出内容审核:前端敏感词过滤,后端调用审核 API;违规内容拒绝生成并提示用户。

概念解释

  • 输入审核:用户消息。
  • 输出审核:模型生成。

原理流程

  1. 前端敏感词预过滤。
  2. 后端调用审核 API。
  3. 违规返回错误码。

代码 / 示例

// 后端返回
{ "error": "content_policy", "message": "内容违规" }

常见误区

  • 误区:前端审核足够;正解:前端可绕过,后端必须审核。
  • 误区:模型自带安全;正解:模型可能被诱导,需独立审核。

追问

  • Q:如何处理边界? A:误判用户反馈申诉机制。
  • Q:审核延迟? A:审核通常异步,流式输出可先标记风险。

03.14.4-004 相同请求缓存策略

一句话结论

相同 prompt 缓存响应:用 prompt hash 作为 key,缓存完整回复;适用于 FAQ、高频问题;缓存需带 TTL 与用户隔离。

概念解释

  • key:prompt + 模型 + 参数 hash。
  • TTL:缓存过期。

原理流程

  1. 请求前计算 hash。
  2. 查缓存。
  3. 命中则返回缓存,否则请求。

代码 / 示例

const key = hash(JSON.stringify({ model, messages }));
if (cache.has(key)) return cache.get(key);

常见误区

  • 误区:所有请求都缓存;正解:个性化请求不应缓存。
  • 误区:缓存永久;正解:模型更新后缓存失效。

追问

  • Q:服务端缓存? A:CDN 或 Redis 缓存相同请求。
  • Q:流式缓存? A:缓存完整响应,不缓存中间流。

03.14.4-005 上下文过长如何截断

一句话结论

上下文接近窗口时,按策略截断:保留系统消息与最近 N 轮,删除最老对话;或摘要旧消息再放入。

概念解释

  • 截断:删除最老消息。
  • 摘要:旧消息总结后替换。

原理流程

  1. 估算消息 Token。
  2. 超过阈值时删除最老。
  3. 或用模型生成摘要。

代码 / 示例

const maxTokens = 8000;
while (estimateTokens(messages) > maxTokens) {
  messages.splice(1, 1); // 删除最老用户消息
}

常见误区

  • 误区:直接截断用户消息;正解:保留系统消息与最近上下文。
  • 误区:截断不影响效果;正解:丢失上下文可能导致回答偏离。

追问

  • Q:如何摘要? A:调用模型生成旧对话摘要,替换原文。
  • Q:如何提示用户? A:"上下文已过长,仅保留最近对话"。

03.14.4-006 并发与限流

一句话结论

前端并发控制:同时只允许一个请求(聊天场景),多个用户请求排队;后端限流返回 429,前端重试。

概念解释

  • 并发:同时进行的请求数。
  • 429:Too Many Requests。

原理流程

  1. 聊天中发送中禁用按钮。
  2. 后端 429 时前端指数退避。

代码 / 示例

if (loading) return;
setLoading(true);
try { await fetch(...) } finally { setLoading(false); }

常见误区

  • 误区:用户可连续发送;正解:发送中禁用,避免并发。
  • 误区:429 立即重试;正解:指数退避。

追问

  • Q:多 tab 同步? A:BroadcastChannel 通知其他 tab 停止。
  • Q:如何排队? A:请求队列,一个完成再下一个。

03.14.4-007 模型切换与 A/B

一句话结论

模型切换:前端可选择不同模型(如 GPT-4o、Claude),参数带在请求中;A/B 按用户分流。

概念解释

  • model 参数:API 指定模型。
  • A/B:按用户 hash 分流。

原理流程

  1. 用户选择模型。
  2. 请求带 model 参数。
  3. 后端按分流决定。

代码 / 示例

fetch("/api/chat", {
  body: JSON.stringify({ model: "gpt-4o", messages: [...] }),
});

常见误区

  • 误区:前端切换模型安全;正解:前端切换可被篡改,后端必须鉴权。
  • 误区:所有模型参数一致;正解:不同模型参数(温度、最大 Token)不同。

追问

  • Q:如何展示模型能力? A:每个模型卡片说明适用场景。
  • Q:A/B 指标? A:响应时长、用户满意度、Token 消耗。

03.14.4-008 错误码与用户提示

一句话结论

错误码分类:网络错误、模型错误、内容违规、限流;用户提示友好,技术信息埋点上报。

概念解释

  • 错误码:4xx/5xx。
  • 用户提示:友好文案。

原理流程

  1. 捕获错误。
  2. 映射到用户提示。
  3. 技术信息上报监控。

代码 / 示例

const messages = {
  429: "请求过于频繁,请稍后重试",
  402: "额度不足,请充值",
  500: "服务异常,请稍后重试",
};

常见误区

  • 误区:直接显示技术错误;正解:用户友好文案。
  • 误区:错误不上报;正解:错误信息埋点,定位问题。

追问

  • Q:如何区分用户错误与系统错误? A:4xx 是用户问题,5xx 是系统问题。
  • Q:错误如何重试? A:网络错误自动重试,用户错误不重试。

03.14.4-009 Function Calling 的前端处理流程

一句话结论

Function Calling 由模型决定调用哪个函数,前端将函数名 + 参数发给后端执行,后端返回结果后继续对话;前端需展示函数调用过程给用户看。

概念解释

  • Function Calling:模型输出结构化 JSON 函数调用请求。
  • 工具循环:模型调用 → 后端执行 → 结果回填 → 模型继续。

原理流程

  1. 模型返回 tool_calls(函数名 + 参数)。
  2. 前端/后端执行函数。
  3. 结果作为 tool 消息追加。
  4. 模型继续生成最终回复。

代码 / 示例

// 模型返回
{ tool_calls: [{ function: { name: "getWeather", arguments: '{"city":"北京"}' } }] }
// 执行后
messages.push({ role: "tool", tool_call_id, content: JSON.stringify(result) });

常见误区

  • 误区:前端直接执行函数;正解:函数在后端执行,安全可控。
  • 误区:不展示函数调用;正解:展示"正在查询天气"让用户知道。

追问

  • Q:函数调用失败怎么办? A:错误信息返回给模型,让模型决定下一步。
  • Q:如何调试? A:记录完整消息序列,包括 tool 消息。

待整理清单

  • [ ] Function Calling 前端处理
  • [ ] RAG 检索与前端引用
  • [ ] 模型成本与预算控制

关联与延伸

  • 与 03.14.1 流式渲染、03.14.2 对话式 UI 配合,构成 AI 前端工程全景。
  • Token 计费与上下文窗口是 AI 应用与传统应用最大的差异点。
  • 内容安全与降级是生产环境 AI 应用必须解决的工程问题。

面试准备要点

  • 必须说清 Token 与字符的换算:中文约 1-2 字符/Token。
  • 必须理解上下文窗口截断策略:保留系统消息与最近 N 轮。
  • 常见追问:流式超时如何处理?答:首字超时 + 降级模型。
  • 常见追问:内容安全如何做?答:前端预过滤 + 后端审核。
  • 常见追问:相同请求缓存?答:prompt hash 作为 key,TTL 控制。
  • 常见追问:错误码如何映射?答:4xx 用户错误,5xx 系统错误。
  • 常见追问:如何控制并发?答:发送中禁用按钮,请求队列。
  • 常见追问:模型切换如何实现?答:请求带 model 参数,后端鉴权。
  • 常见追问:如何展示 Token 消耗?答:响应 usage 字段累计显示。
  • 常见追问:上下文窗口截断策略?答:保留系统消息与最近 N 轮。
  • 常见追问:如何做缓存?答:prompt hash 作为 key,TTL 控制。
  • 常见追问:降级策略?答:首字超时后切换小模型或缓存答案。