Skip to content

约 4 分钟阅读

09. 推理系统:并行、算子与版本边界 ​

同一个 V3 检查点在两套服务里速度不同,原因可能是缓存复制、专家通信、后端算子或批处理,而非模型参数变了。本篇把前面几篇的机制放到实际设备关系里:注意力怎样分请求,专家怎样分设备,开源库分别负责哪一步,以及怎样验证一次接入。

先确认放得下的是全部权重 ​

V3 主模型约 671B 参数,若全部以每参数 1 字节估算,权重约为 671 GB;实际还有不同精度的张量、尺度和对齐。61 层 BF16 MLA 每 token 的理论缓存为 70,272 字节,10 万 token 单请求约 7.03 GB。两个数字相加仍不是总显存:要再预留中间张量、通信缓冲、图捕获、MTP 和运行时空间。

“每 token 激活 37B”描述计算路径,不意味着其余专家可以永远不加载。把权重放在 CPU 或其他存储里会引入传输,其可行性需要单独评估。在单机内存有限时,可先评估合适尺寸的蒸馏模型,而不是把完整 R1 的模型名当成大小无关的功能开关。

注意力按请求分,专家按设备分 ​

传统张量并行把注意力头拆给不同设备。MLA 的各头读取同一份潜向量,按头拆分未必能同步拆开缓存;在复制潜向量的实现中,同一请求会在多个并行设备保存相同缓存。

DP Attention 让不同注意力组处理不同请求,每组只维护自己请求的缓存;专家并行 EP 则把专家权重放到不同设备,按路由分发 token,再收回输出。二者之间需要交换隐藏状态,它们是同一模型内部不同子层的划分,不是两套各自独立的完整模型。

两组请求分别保存注意力缓存,经路由发送到专家设备,结果回到所属请求

图中 A、B 请求的缓存不混用,专家池却可以共同服务它们。若请求分布很不均,注意力组仍会有冷热差异;若某些专家很热门,专家设备也会排队。运行时的专家负载均衡(EPLB)可以复制或调整专家放置,但增加的副本占显存,迁移也要时间。

FlashMLA、DeepGEMM、DeepEP 各处理什么 ​

软件输入与输出主要职责
FlashMLA查询、缓存和选择位置 → 注意力结果注意力与相关融合算子
DeepGEMM矩阵/专家批次 → 乘积,或索引查询/键 → 分数低精度矩阵乘、分组 MoE、索引打分等计算
DeepEPtoken 与专家编号 → 分发结果 → 汇总输出专家通信,以及部分实验性并行与记忆访问能力
推理引擎请求与模型状态 → 生成结果调度、内存管理、算子选择和生成循环
服务层用户请求 → 可用副本 → 响应鉴权、限流、路由、超时与故障恢复

一层 MoE 的可观察顺序是路由、dispatch、专家计算、combine。若 dispatch 慢,优先看通信与拓扑;若少数专家计算慢,看负载与矩阵形状;若设备之间不断等待,查看重叠与依赖。单个算子的峰值吞吐不能说明整个请求的首字时间或生成间隔。

最新版本不一定兼容旧模型 ​

截至 2026 年 11 月 16 日,FlashMLA 的 2026-09-30 变更明确移除了 Hopper 与 V3/V3.2/V4.0 的支持,并改变 FP8/FP4 KV 格式;这些模型应使用引擎配套的兼容版本。历史文章提到“FlashMLA 优化 V3”,指对应年代和版本的实现,不能理解为任意当前分支都支持。

DeepEP 当前 V2.5 也已移除 V1 API 与 NVSHMEM 后端,通信对象改为 EPBuffer 等;旧部署文档里的接口不能直接搬到当前版本。DeepGEMM 不同硬件分支对尺度格式和矩阵布局有要求,例如 FP32 尺度与打包 UE8M0 的差别。升级时应以“引擎版本 + 模型 revision + 算子版本 + 设备/驱动”作为整体,而不是单独更新一个包。

本篇不提供未经目标设备验证的安装配方。启动参数和已记录的框架版本见 SGLang、vLLM、TensorRT-LLM 与 LMDeploy。

从正确结果到并发服务 ​

接入资料助手时,先固定十几条短问答与长文档任务,使用参考实现确认分词、模板、停止条件和精度;然后才加入并行、量化和 MTP。每增加一项,比较回答质量、接受统计、峰值显存与时间线,避免多项同时变化后找不到原因。

多请求测试还要覆盖输入长度差异、请求取消和设备失败。超时请求必须释放其缓存和调度状态,故障副本要停止接收新请求;工具调用重试需由业务服务按幂等键控制。模型输出符合 JSON,只说明格式可解析,不能代替权限和字段语义校验。

最后固定输入与输出长度分布、并发和采样设置,分别记录首 token 延迟、后续 token 间隔、吞吐与失败率。DP Attention、专家并行、MTP、P/D 分离都可能改善某一负载,也都可能在小批量或网络不足时引入新开销。

模型结构限定计算,算子实现决定局部效率,引擎与服务层负责把它变成可持续运行的系统。下一篇用 DeepInfer 的公开边界把这些职责放到一个具体框架里。

别急,先让缓存热一下。