Skip to content

约 5 分钟阅读

07. NSA 与 DSA:长上下文怎样少算一些位置 ​

MLA 把手册的历史状态压小之后,生成每个 token 仍要读取许多位置。资料助手输入从几千 token 增长到十几万时,注意力计算又成为瓶颈。本篇先区分 NSA 的三路块稀疏研究与 V3.2 的 DSA,再跟着一个查询看索引、选择与主注意力怎样配合。

从压缩块到按 token 选择 ​

NSA(Native Sparse Attention,DeepSeek 与北京大学等,2025 年 2 月)让每个查询同时走三条路:把历史 K、V 每 32 个压成一个粗粒度块(步长 16)做压缩注意力;根据压缩分支的分数挑出 16 个 64 token 的细粒度块(其中固定包含开头 1 块和最近 2 块)做精确注意力;再加一个 512 的滑动窗口。三路结果用 sigmoid 门控加权。它的重点是“原生”:从预训练开始就用稀疏结构训练,而且按 GPU 的访存方式设计块大小。论文在 64K 长度、A100 上报告前向最快 9.0 倍、反向 6.0 倍,解码按访存量估计最多 11.6 倍。

这是一项从训练起就采用稀疏结构的研究方案,不能直接称为 V3.2 的实现。DSA 采用另一条接入路径:在已有 MLA 模型上继续训练索引器。

V3.2 的闪电索引器 ​

V3 解决了 KV Cache 存不下的问题,但没解决长上下文算得慢的问题:资料助手把 10 万 token 的手册放进来,每生成一个 token,61 层的 MLA 都要和全部 10 万个位置做点积。DeepSeek-V3.2-Exp(2025 年 9 月 29 日)和正式版 V3.2(2025 年 12 月 1 日)在每层 MLA 前面加了一个闪电索引器(lightning indexer),只挑出最相关的一部分位置交给主注意力,这套机制叫 DeepSeek Sparse Attention(DSA)。

V3.2 的闪电索引器给前面全部位置打分,只把分数最高的 2048 个位置交给 MLA;索引器仍是平方复杂度但单价很低

配置里新增的三个字段说明了索引器的规模:index_n_heads = 64、index_head_dim = 128、index_topk = 2048。对照 Transformers 的 DeepseekV32Indexer:

  • 查询:复用 MLA 查询侧的 1536 维压缩向量,经 wq_b 展开成 64 个头 × 128 维;
  • 键:每个 token 只有一个 128 维的键(wk 加 LayerNorm),64 个头共用,单独缓存;
  • 打分:分数 = Σ_h w_h · ReLU(q_h · k),每个头的权重 w_h 由当前 token 的隐藏状态经 weights_proj 算出;
  • 选择:取分数最高的 2048 个位置,其余位置在主注意力里屏蔽掉。

官方索引实现还会对查询和键施加相同的 Hadamard 正交变换,再以 FP8 计算分数。相同的正交变换保持点积,量化则引入数值误差;2026 年 10 月的 Transformers 参考实现直接使用 BF16,核对位置选择时要区分结构差异与精度差异。

索引器本身仍然要给每一对位置打分,计算量随长度平方增长,但它只有 64 个头、128 维,没有 softmax,还能用 FP8 算,单价比 128 个头 × 576 维的 MLA 低得多。主注意力的计算则从和长度平方成正比,变成长度 × 2048。可见上下文不到 2048 时,主注意力仍能覆盖全部可见位置,没有稀疏剪枝收益,索引器本身还可能产生开销;上下文越长收益越大。

DSA 省的是计算和读取,不是存储。KV Cache 仍要保存全部 10 万个位置的潜向量,因为下一个 token 可能挑中其中任何一个;而且每层每 token 还多存一个 128 维的索引键。

这套结构不是从头训练的。V3.2 从 V3.1-Terminus 的检查点继续训练,先冻结主模型单独训练索引器,再打开稀疏选择训练全部参数,两个阶段的做法和稀疏注意力“挑错”的失效方式见第 12 篇。索引器很敏感:官方在 2025 年 11 月 17 日更正过推理示例代码,索引器里的 RoPE 应使用非交错布局,而 MLA 里用交错布局,旧代码混用会降低模型表现。这类错误不会报错,只会在长上下文评测里掉分,所以接入新的稀疏注意力实现时,要拿官方参考实现在同一批长文本上对比输出。

平方复杂度与逐步生成要分开 ​

设上下文长度 L,选择数量 k = 2048。完整 Prefill 要处理所有查询,主注意力由约 O(L²) 变成 O(Lk);索引器仍需比较位置对,因此整体没有严格变成线性复杂度。Decode 每次只有一个新查询,索引器约 O(L),主注意力约 O(k)。把这两种工作负载混写成“索引器每生成一个 token 都是平方复杂度”会多算一次长度。

用 V3.2 的头数与维度粗算,在 L = 131072 时,每个查询每层完整 MLA 的核心注意力约 36.5 GFLOPs;索引器约 2.15 GFLOPs,加上 2048 个位置的主注意力约 0.57 GFLOPs,合计约 2.7 GFLOPs。这个估算忽略投影、top-k、数据搬运和精度差别,说明算术工作量的变化,不能当成端到端 13 倍加速。

索引器怎样学会挑位置 ​

V3.2 的稀疏接入先冻结主模型、保留稠密注意力,以主注意力分布监督索引器;随后打开 top-k,联合训练主模型和索引器。报告中的第一阶段为 1000 步、约 21 亿 token,以 KL 散度对齐注意力分布;第二阶段为 15000 步、约 9437 亿 token。第一阶段让索引器学会接近原模型的关注分布,第二阶段让整个模型适应只能看选中位置的约束;这些是特定实验的训练量,不是新任务的默认配方。

资料助手如果只问“年假要提前几天申请”,命中一条规则可能就够;如果问“列出手册所有例外条款”,答案分散在许多位置,top-k 漏掉一段便可能造成遗漏。验证要同时包括单点查找、多处聚合、新旧版本冲突,关键条款分别放在开头、中间和结尾。

另一类失败来自实现。索引器与 MLA 的 RoPE 布局不一致时,张量形状仍可能合法,模型也能正常输出,但选中的位置变差。先对齐官方参考实现的索引分数与 top-k,再测长文档回答,才能区分是算法的选择边界还是代码错误。

稀疏选择减少了完整注意力要处理的位置,却需要保存可能在后面被选中的历史状态。下一篇看 V4 如何连存储条目一起压缩,以及 V4.1 的进一步变化。

别急,先让缓存热一下。