Skip to content

约 5 分钟阅读

01. DeepSeek 的版本与技术演进 ​

拿到一个名为 DeepSeek 的模型,首先要分清它是哪一代、是基础模型还是后训练模型、是完整模型还是蒸馏学生。资料助手从短问答升级到长文档分析时,换一个版本可能改变缓存结构,也可能只改变回答行为。本篇建立后续各项技术的坐标:哪些变化发生在网络结构,哪些发生在训练、数值格式和运行软件。

从模型结构、训练方法和运行软件分别看 ​

输入文本先变成 token,模型逐层处理,再预测下一个 token。网络结构规定每层怎样计算;训练方法调整这些计算里的参数;推理软件把计算放到实际设备上执行。三者都会影响体验,但诊断入口不同:显存不够看结构与运行时,答案质量看数据与训练,工具越权则检查应用执行端。

V2 在 2024 年 5 月把 MLA 和 DeepSeekMoE 组合起来,V3 在 2024 年 12 月放大专家规模,加入 MTP 与新的负载均衡方式,并采用 FP8 混合精度训练。R1 在 2025 年 1 月沿用 V3-Base 主干,通过后训练改善推理行为;V3.1 在 2025 年 8 月把思考与非思考行为放进同一套模型。V3.2-Exp 在 2025 年 9 月引入 DSA,正式版在同年 12 月发布;V4 于 2026 年 4 月推出预览版,把长期缓存改成压缩条目。V4.1-Flash 于 2026 年 9 月进一步采用因果编码器—解码器,输入和输出阶段的计算规模不同。

DeepSeek 各代的结构变化与训练变化

图中的 R1、V3.1 沿用 V3 主干,不能从“模型名称不同”推出“多了一种注意力”。比较配置时,要连同模型实现、对话模板和检查点版本一起读;architectures 名称变化可能来自软件重构,同一个类也可能通过配置走不同分支。

V2 到 V3:先把缓存和激活计算压下来 ​

V2 的 60 层、5120 隐藏维度、160 个路由专家与 2 个共享专家,扩大到 V3 的 61 层、7168 隐藏维度、256 个路由专家与 1 个共享专家。每个 token 选中的路由专家从 6 个增至 8 个,但仍只使用全部专家的一小部分。

两代 MLA 都缓存 512 维潜向量和 64 维位置分量。注意力解决“上下文缓存太大”,专家结构解决“全部参数都参与每次计算太贵”,两者处理的是不同成本。V2 总参数约 236B、激活约 21B;V3 主模型约 671B、激活约 37B,其中 B 表示十亿。详细计算分别在 MLA 和 DeepSeekMoE。

V2 的前 1 层保留密集 FFN,后续用细粒度专家;V3 的前 3 层为密集 FFN。V2 路由用 softmax,并用专家级、设备级、通信量三类辅助损失控制负载,每个 token 最多访问 3 个设备组;V3 换成 sigmoid 与不经梯度更新的偏置,最多选择 4 个组。这里的组约束是训练时的设备拓扑设计,推理时的物理部署仍需独立规划。

配置V2V3
主干层数 / 隐藏维度60 / 512061 / 7168
路由专家 / 共享专家 / top-k160 / 2 / 6256 / 1 / 8
单个专家中间维度15362048
前部密集 FFN 层数13
词表大小102,400129,280
MLA 潜向量 / 位置分量512 / 64512 / 64

R1、蒸馏版和混合思考 ​

R1 完整模型继承 V3-Base 的 MLA + MoE 主干。名称包含 R1-Distill-Qwen 或 R1-Distill-Llama 的模型却采用学生底座的结构:它们学习 R1 筛选后的回答,不继承教师的 671B 专家网络。一个 7B 蒸馏模型可以按它自己的 Qwen 底座部署,不能套用完整 R1 的缓存公式。

V3.1 的思考模式由训练和对话模板共同决定,非思考模板在助手输出开头关闭思考段。其长上下文扩展阶段还增加训练量:32K 阶段约 630B token,128K 阶段约 209B token。它不是启动了另一套网络。运行时还要区分模型生成的思考段、最终回答和工具请求,详见 R1 与 GRPO。

长上下文开始改变注意力本身 ​

V3.2 在 MLA 前面加入索引器,选出最多 2048 个历史位置再做主注意力,缓存仍保存全部位置。V4 则让较远的位置先压缩,近期保留滑动窗口,再通过 CSA 与 HCA 两类层组合使用长期信息。V4.1 的输入/输出计算进一步不对称,不能只改一个模型名字后继续套用 V3 的参数账。

要判断的事配置或产物入口容易误判的地方
是否使用 MLAkv_lora_rank、qk_rope_head_dim 与注意力实现只按 num_key_value_heads 算缓存
是否使用 DSAindex_* 与索引器实现把选中位置数当成缓存容量
是否使用压缩注意力compress_ratios、窗口与压缩器将压缩比例当成实际字节比
MoE 怎样计算路由专家、共享专家、top-k 与密集层数用激活参数估计权重显存
是否实际用了 MTP检查点权重、引擎加载日志与接受统计看到配置字段就认为推理已加速
是否支持思考/工具对话模板、后训练说明、解析器把标签格式当成正确性与权限保障

同名接口也要核对实际模型 ​

2026 年 9 月的 V4.1-Flash 发布说明包含旧 API 名称临时路由到新模型的安排。因此复现实验要记录模型标识、请求日期、提示模板和采样参数;本地推理还应记录权重 revision。只保留一个接口名称不足以解释几个月后的行为变化。

许可证也按检查点核对:原始 V2/V3 的代码许可与模型许可分开,R1 主模型使用 MIT;R1 的 Llama 蒸馏学生仍涉及底座许可。系列里的历史规格用于理解设计,不充当当前 API 可用性或授权清单。

回到资料助手,版本选型先确认要改善的是回答质量、上下文容量还是执行效率,再找到相应变化发生在哪一层。接下来从最容易算清的一笔账开始:MLA 怎样压缩 KV 缓存。

别急,先让缓存热一下。