01. DeepSeek 的版本与技术演进
拿到一个名为 DeepSeek 的模型,首先要分清它是哪一代、是基础模型还是后训练模型、是完整模型还是蒸馏学生。资料助手从短问答升级到长文档分析时,换一个版本可能改变缓存结构,也可能只改变回答行为。本篇建立后续各项技术的坐标:哪些变化发生在网络结构,哪些发生在训练、数值格式和运行软件。
从模型结构、训练方法和运行软件分别看
输入文本先变成 token,模型逐层处理,再预测下一个 token。网络结构规定每层怎样计算;训练方法调整这些计算里的参数;推理软件把计算放到实际设备上执行。三者都会影响体验,但诊断入口不同:显存不够看结构与运行时,答案质量看数据与训练,工具越权则检查应用执行端。
V2 在 2024 年 5 月把 MLA 和 DeepSeekMoE 组合起来,V3 在 2024 年 12 月放大专家规模,加入 MTP 与新的负载均衡方式,并采用 FP8 混合精度训练。R1 在 2025 年 1 月沿用 V3-Base 主干,通过后训练改善推理行为;V3.1 在 2025 年 8 月把思考与非思考行为放进同一套模型。V3.2-Exp 在 2025 年 9 月引入 DSA,正式版在同年 12 月发布;V4 于 2026 年 4 月推出预览版,把长期缓存改成压缩条目。V4.1-Flash 于 2026 年 9 月进一步采用因果编码器—解码器,输入和输出阶段的计算规模不同。
图中的 R1、V3.1 沿用 V3 主干,不能从“模型名称不同”推出“多了一种注意力”。比较配置时,要连同模型实现、对话模板和检查点版本一起读;architectures 名称变化可能来自软件重构,同一个类也可能通过配置走不同分支。
V2 到 V3:先把缓存和激活计算压下来
V2 的 60 层、5120 隐藏维度、160 个路由专家与 2 个共享专家,扩大到 V3 的 61 层、7168 隐藏维度、256 个路由专家与 1 个共享专家。每个 token 选中的路由专家从 6 个增至 8 个,但仍只使用全部专家的一小部分。
两代 MLA 都缓存 512 维潜向量和 64 维位置分量。注意力解决“上下文缓存太大”,专家结构解决“全部参数都参与每次计算太贵”,两者处理的是不同成本。V2 总参数约 236B、激活约 21B;V3 主模型约 671B、激活约 37B,其中 B 表示十亿。详细计算分别在 MLA 和 DeepSeekMoE。
V2 的前 1 层保留密集 FFN,后续用细粒度专家;V3 的前 3 层为密集 FFN。V2 路由用 softmax,并用专家级、设备级、通信量三类辅助损失控制负载,每个 token 最多访问 3 个设备组;V3 换成 sigmoid 与不经梯度更新的偏置,最多选择 4 个组。这里的组约束是训练时的设备拓扑设计,推理时的物理部署仍需独立规划。
| 配置 | V2 | V3 |
|---|---|---|
| 主干层数 / 隐藏维度 | 60 / 5120 | 61 / 7168 |
| 路由专家 / 共享专家 / top-k | 160 / 2 / 6 | 256 / 1 / 8 |
| 单个专家中间维度 | 1536 | 2048 |
| 前部密集 FFN 层数 | 1 | 3 |
| 词表大小 | 102,400 | 129,280 |
| MLA 潜向量 / 位置分量 | 512 / 64 | 512 / 64 |
R1、蒸馏版和混合思考
R1 完整模型继承 V3-Base 的 MLA + MoE 主干。名称包含 R1-Distill-Qwen 或 R1-Distill-Llama 的模型却采用学生底座的结构:它们学习 R1 筛选后的回答,不继承教师的 671B 专家网络。一个 7B 蒸馏模型可以按它自己的 Qwen 底座部署,不能套用完整 R1 的缓存公式。
V3.1 的思考模式由训练和对话模板共同决定,非思考模板在助手输出开头关闭思考段。其长上下文扩展阶段还增加训练量:32K 阶段约 630B token,128K 阶段约 209B token。它不是启动了另一套网络。运行时还要区分模型生成的思考段、最终回答和工具请求,详见 R1 与 GRPO。
长上下文开始改变注意力本身
V3.2 在 MLA 前面加入索引器,选出最多 2048 个历史位置再做主注意力,缓存仍保存全部位置。V4 则让较远的位置先压缩,近期保留滑动窗口,再通过 CSA 与 HCA 两类层组合使用长期信息。V4.1 的输入/输出计算进一步不对称,不能只改一个模型名字后继续套用 V3 的参数账。
| 要判断的事 | 配置或产物入口 | 容易误判的地方 |
|---|---|---|
| 是否使用 MLA | kv_lora_rank、qk_rope_head_dim 与注意力实现 | 只按 num_key_value_heads 算缓存 |
| 是否使用 DSA | index_* 与索引器实现 | 把选中位置数当成缓存容量 |
| 是否使用压缩注意力 | compress_ratios、窗口与压缩器 | 将压缩比例当成实际字节比 |
| MoE 怎样计算 | 路由专家、共享专家、top-k 与密集层数 | 用激活参数估计权重显存 |
| 是否实际用了 MTP | 检查点权重、引擎加载日志与接受统计 | 看到配置字段就认为推理已加速 |
| 是否支持思考/工具 | 对话模板、后训练说明、解析器 | 把标签格式当成正确性与权限保障 |
同名接口也要核对实际模型
2026 年 9 月的 V4.1-Flash 发布说明包含旧 API 名称临时路由到新模型的安排。因此复现实验要记录模型标识、请求日期、提示模板和采样参数;本地推理还应记录权重 revision。只保留一个接口名称不足以解释几个月后的行为变化。
许可证也按检查点核对:原始 V2/V3 的代码许可与模型许可分开,R1 主模型使用 MIT;R1 的 Llama 蒸馏学生仍涉及底座许可。系列里的历史规格用于理解设计,不充当当前 API 可用性或授权清单。
回到资料助手,版本选型先确认要改善的是回答质量、上下文容量还是执行效率,再找到相应变化发生在哪一层。接下来从最容易算清的一笔账开始:MLA 怎样压缩 KV 缓存。
