09. 推理系统:并行、算子与版本边界
同一个 V3 检查点在两套服务里速度不同,原因可能是缓存复制、专家通信、后端算子或批处理,而非模型参数变了。本篇把前面几篇的机制放到实际设备关系里:注意力怎样分请求,专家怎样分设备,开源库分别负责哪一步,以及怎样验证一次接入。
先确认放得下的是全部权重
V3 主模型约 671B 参数,若全部以每参数 1 字节估算,权重约为 671 GB;实际还有不同精度的张量、尺度和对齐。61 层 BF16 MLA 每 token 的理论缓存为 70,272 字节,10 万 token 单请求约 7.03 GB。两个数字相加仍不是总显存:要再预留中间张量、通信缓冲、图捕获、MTP 和运行时空间。
“每 token 激活 37B”描述计算路径,不意味着其余专家可以永远不加载。把权重放在 CPU 或其他存储里会引入传输,其可行性需要单独评估。在单机内存有限时,可先评估合适尺寸的蒸馏模型,而不是把完整 R1 的模型名当成大小无关的功能开关。
注意力按请求分,专家按设备分
传统张量并行把注意力头拆给不同设备。MLA 的各头读取同一份潜向量,按头拆分未必能同步拆开缓存;在复制潜向量的实现中,同一请求会在多个并行设备保存相同缓存。
DP Attention 让不同注意力组处理不同请求,每组只维护自己请求的缓存;专家并行 EP 则把专家权重放到不同设备,按路由分发 token,再收回输出。二者之间需要交换隐藏状态,它们是同一模型内部不同子层的划分,不是两套各自独立的完整模型。
图中 A、B 请求的缓存不混用,专家池却可以共同服务它们。若请求分布很不均,注意力组仍会有冷热差异;若某些专家很热门,专家设备也会排队。运行时的专家负载均衡(EPLB)可以复制或调整专家放置,但增加的副本占显存,迁移也要时间。
FlashMLA、DeepGEMM、DeepEP 各处理什么
| 软件 | 输入与输出 | 主要职责 |
|---|---|---|
| FlashMLA | 查询、缓存和选择位置 → 注意力结果 | 注意力与相关融合算子 |
| DeepGEMM | 矩阵/专家批次 → 乘积,或索引查询/键 → 分数 | 低精度矩阵乘、分组 MoE、索引打分等计算 |
| DeepEP | token 与专家编号 → 分发结果 → 汇总输出 | 专家通信,以及部分实验性并行与记忆访问能力 |
| 推理引擎 | 请求与模型状态 → 生成结果 | 调度、内存管理、算子选择和生成循环 |
| 服务层 | 用户请求 → 可用副本 → 响应 | 鉴权、限流、路由、超时与故障恢复 |
一层 MoE 的可观察顺序是路由、dispatch、专家计算、combine。若 dispatch 慢,优先看通信与拓扑;若少数专家计算慢,看负载与矩阵形状;若设备之间不断等待,查看重叠与依赖。单个算子的峰值吞吐不能说明整个请求的首字时间或生成间隔。
最新版本不一定兼容旧模型
截至 2026 年 11 月 16 日,FlashMLA 的 2026-09-30 变更明确移除了 Hopper 与 V3/V3.2/V4.0 的支持,并改变 FP8/FP4 KV 格式;这些模型应使用引擎配套的兼容版本。历史文章提到“FlashMLA 优化 V3”,指对应年代和版本的实现,不能理解为任意当前分支都支持。
DeepEP 当前 V2.5 也已移除 V1 API 与 NVSHMEM 后端,通信对象改为 EPBuffer 等;旧部署文档里的接口不能直接搬到当前版本。DeepGEMM 不同硬件分支对尺度格式和矩阵布局有要求,例如 FP32 尺度与打包 UE8M0 的差别。升级时应以“引擎版本 + 模型 revision + 算子版本 + 设备/驱动”作为整体,而不是单独更新一个包。
本篇不提供未经目标设备验证的安装配方。启动参数和已记录的框架版本见 SGLang、vLLM、TensorRT-LLM 与 LMDeploy。
从正确结果到并发服务
接入资料助手时,先固定十几条短问答与长文档任务,使用参考实现确认分词、模板、停止条件和精度;然后才加入并行、量化和 MTP。每增加一项,比较回答质量、接受统计、峰值显存与时间线,避免多项同时变化后找不到原因。
多请求测试还要覆盖输入长度差异、请求取消和设备失败。超时请求必须释放其缓存和调度状态,故障副本要停止接收新请求;工具调用重试需由业务服务按幂等键控制。模型输出符合 JSON,只说明格式可解析,不能代替权限和字段语义校验。
最后固定输入与输出长度分布、并发和采样设置,分别记录首 token 延迟、后续 token 间隔、吞吐与失败率。DP Attention、专家并行、MTP、P/D 分离都可能改善某一负载,也都可能在小批量或网络不足时引入新开销。
模型结构限定计算,算子实现决定局部效率,引擎与服务层负责把它变成可持续运行的系统。下一篇用 DeepInfer 的公开边界把这些职责放到一个具体框架里。
