DeepSeek 技术解析
把一本员工手册交给模型,让它找出请假条件、算出加班费,再查询一项审批状态,看起来只是一段对话,背后却有几类不同的工作:保存长文档的状态、从大量参数里选择本次要用的部分、学会按步骤推理,以及把工具请求交给真正的程序执行。
DeepSeek 是一组模型和相关技术项目。理解它,既要看模型每一层怎样计算,也要看训练如何塑造行为、推理软件如何安排设备、工具环境如何约束动作。本系列沿着这条资料助手的任务线,把这些技术放回各自负责的问题里。读完后,你应能区分版本和蒸馏学生,估算缓存与参数,并判断一个“更省、更快”的说法省在哪里、在什么条件下成立。
一次回答背后的几条技术线
输入先被分成 token,也就是模型处理的离散文本单元。模型逐层读取上下文、变换表示,再预测下一个 token。保存历史注意力状态的空间叫 KV 缓存;模型越大、上下文越长,计算、存储和数据搬运之间的取舍越明显。
图上方的训练改变模型参数,下方的运行过程使用这些参数回答问题。MLA 压缩历史状态,MoE 只选择部分专家参与计算,MTP 可以起草后续 token;R1 的推理行为来自训练。DeepInfer 组织模型计算,Harness 组织工具行动,业务程序仍负责权限和结果校验。
初次阅读只需先知道“模型按 token 逐步生成”。遇到向量、注意力和训练损失时,可按文中的链接补读对应基础,无需先学完整套框架生态。
从结构与一笔资源账开始
先读01. DeepSeek 的版本与技术演进,分清 V2/V3、R1、V3.2、V4/V4.1 与蒸馏版。版本地图帮助判断:换模型后,是内部计算变了,还是训练出的回答方式变了。
接着跟着资料助手的长文档请求读三篇:
- 02. MLA:把 KV 缓存压成潜向量:缓存怎样写入与读取,为什么省了空间却可能多花计算。
- 03. DeepSeekMoE:细粒度专家、路由与参数账:256 个路由专家怎样选 8 个,为什么总参数与激活参数差很多。
- 04. MTP:多 token 预测与投机解码:训练多预测一步,推理如何起草、验证与回退。
这三篇能回答一个常见疑问:模型参数很大,为什么不必每次都计算全部参数,又为什么仍需要很大的存储空间。
再看效率与推理能力从哪里来
05. FP8 与训练工程:精度、通信和 DualPipe解释低精度计算、专家通信与流水线调度如何配合,明确训练成本数字的统计范围。
06. R1 与 GRPO:推理能力怎样训练出来从一个能由程序判对错的加班费题开始,讲组内奖励比较、R1-Zero、正式 R1 的四阶段训练和蒸馏。它也解释为什么奖励检查器的漏洞会变成模型行为。
当手册从几千 token 扩展到十几万甚至百万 token,继续读:
- 07. NSA 与 DSA:长上下文怎样少算一些位置:块稀疏研究、闪电索引器、位置选择与漏检边界。
- 08. V4 与 V4.1:压缩注意力、mHC 和条件记忆:长期状态怎样压缩,多条残差流如何混合,输入与输出计算为何不对称,Engram 查表与专家计算有何区别。
这些方案需要在真实任务上同时检查速度与信息保留。找到一条孤立规则和汇总所有例外条款,对注意力选择的要求不同。
把模型放进实际系统
09. 推理系统:并行、算子与版本边界把请求、注意力缓存、专家设备与算子库连起来;FlashMLA、DeepGEMM、DeepEP 各自处理的工作和版本兼容性,在这里统一解释。
10. DeepInfer:大模型怎样在加速卡上运行通过可推进的生成过程,说明公开离线框架的调度、DSpark、有界重放与在线服务边界。11. DeepSeek Harness:让模型连接工具与工作环境则跟着一个失败测试,观察模型、插件、工具和会话怎样形成反馈循环。
最后用12. 读懂检查点:配置、参数与验证完成闭环:先读配置、独立复算,再在目标环境检查模板、缓存、输出与业务结果。只想部署或排查的人,也可以从第 09 篇开始,按需回看结构和训练。
与其他专题怎样衔接
本系列围绕 DeepSeek 的具体设计和组合。注意力、FFN、位置编码的共同机制见大模型架构,优化器与微调方法见模型训练与调优,调度和性能分析见大模型推理优化,具体引擎参数见推理引擎与框架。这些专题可以按问题交叉阅读。
理解 DeepSeek 的技术路线,最终是把一个现象追到具体环节:上下文放不下就算缓存,专家设备排队就看路由与通信,推理答案不稳就检查训练信号和验证器,工具动作异常则回到执行程序。带着这条判断路径,从版本与技术演进开始。
