成本、容量与性能

AI 系统的资源成本由数据处理、训练、存储和推理共同组成。生产规划不能只问“模型一秒能处理多少请求”，还要结合输入长度、输出长度、并发形态和服务等级。

成本构成

环节	主要成本
数据	采集、标注、清洗、存储、传输
训练	GPU/CPU 时间、实验失败、检查点
索引	Embedding 计算、向量存储、重建
推理	模型调用、GPU、Token、带宽
工程	开发、评估、监控、人工审核

调用价格低不代表总成本低。低质量系统带来的人工返工、误操作和客户损失可能更高。

大模型请求成本

一次请求通常包含：

输入 Token = 系统规则 + 历史对话 + 检索资料 + 工具结果 + 用户输入
输出 Token = 模型生成内容

减少成本的优先顺序：

1. 删除无关和重复上下文。
2. 缩短检索片段并提高召回质量。
3. 对稳定前缀和结果使用缓存。
4. 简单任务使用小模型或传统方法。
5. 限制无价值的长输出和循环调用。

容量估算

至少收集：

• 平均和峰值请求量。
• 输入、输出长度分布。
• 目标 P95 / P99 延迟。
• 平均工具调用和 Agent 步数。
• 单实例吞吐与资源占用。
• 可接受排队时间和失败率。

简单估算不能只用平均值。长上下文和长输出请求会占用资源更久，Agent 还可能把一次用户请求放大成多次模型和工具调用。

并发与吞吐

GPU 推理可以通过批处理提高吞吐，但延迟目标限制了等待时间。需要通过真实长度分布做压测，找到吞吐增加、尾延迟上升和显存饱和之间的拐点。

缓存

• Prompt 前缀缓存：复用稳定的长前缀。
• Embedding 缓存：避免重复向量计算。
• 检索缓存：适合公共、更新不频繁的查询。
• 结果缓存：只适合权限、时效和随机性允许的场景。

缓存键必须包含用户权限、模型和数据版本，避免跨用户泄露。

模型路由

可以按任务复杂度路由：

• 规则处理格式明确的简单情况。
• 小模型做分类、改写和抽取。
• 大模型处理复杂推理和生成。
• 高风险或低置信度请求转人工。

路由器本身也要评估，错误地把复杂任务交给小模型会降低整体质量。

压测与告警

压测应覆盖短请求、长请求、流式输出、工具慢响应和峰值突发。线上告警至少包含错误率、队列长度、P95 延迟、Token 消耗、工具失败率和单任务步骤数。

容量规划的目标是找到满足质量和服务等级的最低总成本，而不是单纯追求最大模型或最高 GPU 利用率。