Ⅰ · 降 KV
长上下文的头号成本不是算力,是缓存。这条线把「每 token 要记住多少字节」当作唯一指标。
MLA V2 → DSA V3.2 → CSA/HCA V4 → CSA2 + FP4 V4.1
DeepSeek-AI · Research Lineage · 2023 — 2026 · 25 milestones
DeepSeek 从不追「最强」。它追的是单位能力成本——每一次架构创新, 都是为了让同一块 GPU 上塞进更长的上下文、更多的推理 token、更大的模型。 二十余篇论文,是同一条直线上的二十余个刻度。
02 四条主线
把 25 个里程碑按「它替谁省钱」归类,噪音立刻消失:只剩四条彼此独立、最终合流的压力线。 每一个都在为其中一条或几条线,拿掉一个具体的瓶颈。
长上下文的头号成本不是算力,是缓存。这条线把「每 token 要记住多少字节」当作唯一指标。
MLA V2 → DSA V3.2 → CSA/HCA V4 → CSA2 + FP4 V4.1
把训练与推理的每 FLOP 成本压下去。稀疏专家、低精度、并行编排、非对称激活,都是手段。
DeepSeekMoE '24 → FP8 + DualPipe V3 → Muon V4 → CED V4.1
便宜的底座不够,还要更长的思考。这条线解决「怎么用 RL 把推理能力逼出来」,再把它蒸回底座——最后落到一个能真正跑 agent 的运行时上。
GRPO Math → 纯 RL R1 → 蒸馏进 V3 → 可控力度 V4.1 → dsh 运行时
跳出「文本就是 token」的假设:用图像压文本、用查表代替计算、用因果流重排视觉。
VL / VL2 → OCR 光学压缩 → OCR 2 因果流 → 原生多模态 + Engram V4.1
03 谱系 · 六个阶段
每个阶段解决一个具体矛盾。阶段之间没有跳跃,只有上一步省下的资源,被下一步花在更长的上下文上。
2023.11 — 2024.02 · 奠基
没有爆款,但埋下了后面所有东西:架构地基、RL 引擎、代码与数学两条支线。这个阶段的论文单独看都不惊艳,但它们各自贡献了一个后来被放大的零件。
arXiv 2401.029542024.01
2T 中英语料,证明数据配比与训练配方能做对。意义只有两个字:打底。
arXiv 2401.060662024.01
全部后续架构的地基。两个洞见:专家切细带来组合级表达力;留一个共享专家,公共知识不必每个专家都学一遍。
arXiv 2401.141962024.01
FIM(中间填空)+ 仓库级上下文。支线,但确立了「代码可以单独成线」。
arXiv 2402.033002024.02
GRPO:砍掉与策略同尺寸的 critic,用组内相对分数当基线。省一半显存还更稳——这是后来 R1 的引擎。
2024.03 — 2024.08 · 定型
MLA 出现,「降 KV」从这一天起成为公司的第一性指标;同时形式化数学与多模态各自找到自己的路。
arXiv 2403.055252024.03
多模态试水。当下更重要的事是知道怎么做视觉,而不是做得多强。
arXiv 2405.044342024.05
第一个真节点。MLA 把 KV 压成一个低秩 latent 再缓存,缓存骤降而性能不输 MHA。236B / 激活 21B,打平更大的稠密模型——直接引爆中国大模型价格战。
arXiv 2405.143332024.05
形式化数学支线起点。当时不起眼,但 V4 报告里的 Putnam 满分源自这里。
arXiv 2406.119312024.06
把 MoE 灌进代码模型,顺手验证 MoE 可以跨领域复用。
arXiv 2408.081522024.08
用证明助手的反馈做 RL。推理线在形式化方向上的第一次闭环。
2024.12 — 2025.04 · 封神
两条线并行:V3 把训练成本变成可公开的工程数字;R1 把推理能力从「教」变成「激励」。最后在 V3 的后训练里合流。
arXiv 2412.103022024.12
MoE + 动态切片。多模态经验继续攒着,等一条合适的出口。
arXiv 2412.194372024.12
不是「更强」,而是把训练大 MoE 的成本从玄学变成工程:FP8 混合精度、DualPipe 通信重叠、aux-loss-free 路由、MTP。671B / 37B,全程 278.8 万 H800 小时。
arXiv 2501.129482025.01
范式级:不做 SFT,纯 RL 让模型自己长出长思维链。R1-Zero 证明推理可被激励,R1 再修可读性。真正的杀招是把它蒸馏回底座和小模型。
arXiv 2504.218012025.04
形式化数学闭环。与 R1 是同一套 RL 方法论在严格验证域的应用。
2025.08 — 2025.12 · 换赛道
一段相对安静的时期:一次工程整合,一次大胆的换赛道,一次朝向长上下文的探路。
HF model card2025.08
一模型两模式、强化工具调用。产品化,不是论文级贡献——但它把 agent 从「能聊」推到「能干活」。
arXiv 2510.182342025.10
换赛道思考:把文本渲染成图片,用视觉 token 压文本。10× 近乎无损,20× 仍有 60%。当时看是旁支,后来成了 V4.1 原生多模态的思想伏笔。
arXiv 2511.225702025.11
自验证数学推理。推理线从「答对」走向「能验自己的答案」。
arXiv 2512.025562025.12
DSA(稀疏注意力),长上下文稀疏化第一版。过渡作,价值在于替 V4 试了错。
2025.12 — 2026.08 · 总装
V4 是前一阶段的总结,也是新范式的起点;同期三篇组件论文本质上是 V4.1 的零件清单。而在模型之外,DeepSeek 把「agent 到底跑在什么上」这一问也回答了——开源了自己的运行时。
arXiv 2512.248802025.12
把残差连接从「一条线」升级为多条流 + 双随机矩阵约束(Birkhoff 多面体)。谱范数 ≤ 1、乘法封闭 → 深层堆叠数值不再炸。
arXiv 2601.073722026.01
把「记忆」从「计算」里拆出来:196B 条件记忆表,用 n-gram 哈希稀疏查表。稀疏性的又一条新轴。
arXiv 2601.205522026.01
把视觉编码器换成 LLM 式架构,用因果流 query 先按语义重排视觉 token 再交给解码器。读序错误大降,指向统一全模态编码器。
arXiv 2606.193482026.04
四件事:CSA + HCA 混合注意力、mHC、Muon 优化器,以及由此换来的 1M 上下文——FLOPs 与 KV 双双压到前代的零头。
arXiv 2607.051472026.07
半自回归 draft + 置信度调度验证。V4 用 MTP,V4.1 换成它。
arXiv 2608.255122026.08
dsh 的理论地基。形式化「可逆副作用」与「响应式协效应」两个正交维度——把「一切皆插件」从口号变成可证明的约束。作者单位含 DeepSeek-AI。
github.com/deepseek-ai2026.08
模型之外的另一半:MIT 开源的 agent 运行时。没有特权内核——模型适配器、工具、会话日志、连主循环本身都是可替换的插件;每一次运行都完整可回放。它没有论文,因为它把论文写成了可执行的配置。
2026.09 · 收敛
四条主线在这一篇里同时落地。更标志性的是:V4-Pro 被直接下线,请求路由到 V4.1-Flash——「小模型 + 极致效率」吃掉了「大模型」的位置。
HF technical report2026.09
三个正交压缩:CED 让 prefill 只算一半层(激活 8B / 16B 非对称);CSA2 + FP4 KV 在「层维度」上复用缓存;SWA Bounded Replay 让 SWA 状态彻底不落盘。
04 合流
把时间轴压扁,只看四条链各自的首尾。它们不是四个方向,而是同一台机器的四个子系统。
MLA→DSA→CSA / HCA→CSA2 + FP4 KV|890 bytes per token
DeepSeekMoE→FP8 + DualPipe→Muon→CED 非对称激活|8B prefill
GRPO→纯 RL→蒸馏进底座→可控推理力度→dsh 运行时|1–100
VL / VL2→OCR 光学压缩→因果视觉流→原生多模态 + Engram|图文同训
Convergence · 2026.09
四条线在这一篇里同时落地。它不是 V4 的加强版,而是把 V4 已经拿到的效率再压一个数量级—— 然后把 V4-Pro 送进了历史。552B 的底座,prefill 只激活 8B、decode 只激活 16B, decode FLOPs 随上下文长度近乎恒定。
后训练零算法创新——全部赌注压在大规模 agent 任务合成与沙箱基础设施上。
05 判读
25 个里程碑不必等重。按「是否改变了后续所有论文的写法」来分级,只有六篇是节点。
尾 结论
整条线的终点不是「更强的模型」,而是一个结论:长上下文的成本可以被压到接近零。
三年,二十余篇论文,所有架构、精度、并行、优化器的创新,最后都收敛到同一句话—— 当上下文不再稀缺,agent 才真正可行。 V4.1 与 dsh 是这句判断的两件交付物:一个把上下文的成本压到接近零,一个把 agent 真的跑起来。