DeepSeek-AI · Research Lineage · 2023 — 2026 · 25 milestones

把每 token
成本打到最低
the unit cost of intelligence

DeepSeek 从不追「最强」。它追的是单位能力成本——每一次架构创新, 都是为了让同一块 GPU 上塞进更长的上下文、更多的推理 token、更大的模型。 二十余篇论文,是同一条直线上的二十余个刻度。
3yr2023.11 → 2026.09
25里程碑 · 含 24 篇论文
890B/tokV4.1 全局 KV 占用
437×相对 V1 的 KV 压缩

02 四条主线

看似分散的论文,其实是四条工程压力在同时推进

把 25 个里程碑按「它替谁省钱」归类,噪音立刻消失:只剩四条彼此独立、最终合流的压力线。 每一个都在为其中一条或几条线,拿掉一个具体的瓶颈。

Ⅰ · 降 KV

长上下文的头号成本不是算力,是缓存。这条线把「每 token 要记住多少字节」当作唯一指标。

MLA V2 → DSA V3.2 → CSA/HCA V4 → CSA2 + FP4 V4.1

Ⅱ · 降算力

把训练与推理的每 FLOP 成本压下去。稀疏专家、低精度、并行编排、非对称激活,都是手段。

DeepSeekMoE '24 → FP8 + DualPipe V3 → Muon V4 → CED V4.1

Ⅲ · 换推理

便宜的底座不够,还要更长的思考。这条线解决「怎么用 RL 把推理能力逼出来」,再把它蒸回底座——最后落到一个能真正跑 agent 的运行时上。

GRPO Math → 纯 RL R1 → 蒸馏进 V3 → 可控力度 V4.1 → dsh 运行时

Ⅳ · 换表示

跳出「文本就是 token」的假设:用图像压文本、用查表代替计算、用因果流重排视觉。

VL / VL2 → OCR 光学压缩 → OCR 2 因果流 → 原生多模态 + Engram V4.1

03 谱系 · 六个阶段

一条线,六个阶段

每个阶段解决一个具体矛盾。阶段之间没有跳跃,只有上一步省下的资源,被下一步花在更长的上下文上。

  1. 2023.11 — 2024.02 · 奠基

    先把零件造出来

    没有爆款,但埋下了后面所有东西:架构地基、RL 引擎、代码与数学两条支线。这个阶段的论文单独看都不惊艳,但它们各自贡献了一个后来被放大的零件。

    arXiv 2401.029542024.01

    DeepSeek LLM(V1)

    2T 中英语料,证明数据配比与训练配方能做对。意义只有两个字:打底。

    降算力

    arXiv 2401.060662024.01

    DeepSeekMoE

    全部后续架构的地基。两个洞见:专家切细带来组合级表达力;留一个共享专家,公共知识不必每个专家都学一遍。

    降算力

    arXiv 2401.141962024.01

    DeepSeek-Coder

    FIM(中间填空)+ 仓库级上下文。支线,但确立了「代码可以单独成线」。

    降算力

    arXiv 2402.033002024.02

    DeepSeekMath

    GRPO:砍掉与策略同尺寸的 critic,用组内相对分数当基线。省一半显存还更稳——这是后来 R1 的引擎。

    换推理
  2. 2024.03 — 2024.08 · 定型

    效率架构定型

    MLA 出现,「降 KV」从这一天起成为公司的第一性指标;同时形式化数学与多模态各自找到自己的路。

    arXiv 2403.055252024.03

    DeepSeek-VL

    多模态试水。当下更重要的事是知道怎么做视觉,而不是做得多强。

    换表示

    arXiv 2405.044342024.05

    DeepSeek-V2

    第一个真节点。MLA 把 KV 压成一个低秩 latent 再缓存,缓存骤降而性能不输 MHA。236B / 激活 21B,打平更大的稠密模型——直接引爆中国大模型价格战。

    降 KV降算力

    arXiv 2405.143332024.05

    DeepSeek-Prover

    形式化数学支线起点。当时不起眼,但 V4 报告里的 Putnam 满分源自这里。

    换推理

    arXiv 2406.119312024.06

    DeepSeek-Coder-V2

    把 MoE 灌进代码模型,顺手验证 MoE 可以跨领域复用。

    降算力

    arXiv 2408.081522024.08

    DeepSeek-Prover-V1.5

    用证明助手的反馈做 RL。推理线在形式化方向上的第一次闭环。

    换推理
  3. 2024.12 — 2025.04 · 封神

    把「训得便宜」和「想得久」同时做成

    两条线并行:V3 把训练成本变成可公开的工程数字;R1 把推理能力从「教」变成「激励」。最后在 V3 的后训练里合流。

    arXiv 2412.103022024.12

    DeepSeek-VL2

    MoE + 动态切片。多模态经验继续攒着,等一条合适的出口。

    换表示

    arXiv 2412.194372024.12

    DeepSeek-V3

    不是「更强」,而是把训练大 MoE 的成本从玄学变成工程:FP8 混合精度、DualPipe 通信重叠、aux-loss-free 路由、MTP。671B / 37B,全程 278.8 万 H800 小时。

    降算力

    arXiv 2501.129482025.01

    DeepSeek-R1

    范式级:不做 SFT,纯 RL 让模型自己长出长思维链。R1-Zero 证明推理可被激励,R1 再修可读性。真正的杀招是把它蒸馏回底座和小模型。

    换推理

    arXiv 2504.218012025.04

    DeepSeek-Prover-V2

    形式化数学闭环。与 R1 是同一套 RL 方法论在严格验证域的应用。

    换推理
  4. 2025.08 — 2025.12 · 换赛道

    把省下的钱花在「长」和「用」上

    一段相对安静的时期:一次工程整合,一次大胆的换赛道,一次朝向长上下文的探路。

    HF model card2025.08

    DeepSeek-V3.1

    一模型两模式、强化工具调用。产品化,不是论文级贡献——但它把 agent 从「能聊」推到「能干活」。

    换推理

    arXiv 2510.182342025.10

    DeepSeek-OCR

    换赛道思考:把文本渲染成图片,用视觉 token 压文本。10× 近乎无损,20× 仍有 60%。当时看是旁支,后来成了 V4.1 原生多模态的思想伏笔。

    换表示降 KV

    arXiv 2511.225702025.11

    DeepSeekMath-V2

    自验证数学推理。推理线从「答对」走向「能验自己的答案」。

    换推理

    arXiv 2512.025562025.12

    DeepSeek-V3.2

    DSA(稀疏注意力),长上下文稀疏化第一版。过渡作,价值在于替 V4 试了错。

    降 KV
  5. 2025.12 — 2026.08 · 总装

    V4、零件库,与运行时

    V4 是前一阶段的总结,也是新范式的起点;同期三篇组件论文本质上是 V4.1 的零件清单。而在模型之外,DeepSeek 把「agent 到底跑在什么上」这一问也回答了——开源了自己的运行时。

    arXiv 2512.248802025.12

    mHC · 流形约束超连接

    把残差连接从「一条线」升级为多条流 + 双随机矩阵约束(Birkhoff 多面体)。谱范数 ≤ 1、乘法封闭 → 深层堆叠数值不再炸。

    降算力

    arXiv 2601.073722026.01

    Engram · 条件记忆

    把「记忆」从「计算」里拆出来:196B 条件记忆表,用 n-gram 哈希稀疏查表。稀疏性的又一条新轴。

    换表示降算力

    arXiv 2601.205522026.01

    DeepSeek-OCR 2

    把视觉编码器换成 LLM 式架构,用因果流 query 先按语义重排视觉 token 再交给解码器。读序错误大降,指向统一全模态编码器。

    换表示

    arXiv 2606.193482026.04

    DeepSeek-V4

    四件事:CSA + HCA 混合注意力、mHC、Muon 优化器,以及由此换来的 1M 上下文——FLOPs 与 KV 双双压到前代的零头。

    降 KV降算力

    arXiv 2607.051472026.07

    DSpark · 推测解码

    半自回归 draft + 置信度调度验证。V4 用 MTP,V4.1 换成它。

    降算力

    arXiv 2608.255122026.08

    Cordis · 时空可组合性

    dsh 的理论地基。形式化「可逆副作用」与「响应式协效应」两个正交维度——把「一切皆插件」从口号变成可证明的约束。作者单位含 DeepSeek-AI。

    换推理

    github.com/deepseek-ai2026.08

    DeepSeek Harness(dsh)

    模型之外的另一半:MIT 开源的 agent 运行时。没有特权内核——模型适配器、工具、会话日志、连主循环本身都是可替换的插件;每一次运行都完整可回放。它没有论文,因为它把论文写成了可执行的配置。

    换推理
  6. 2026.09 · 收敛

    把「省」做到近乎免费

    四条主线在这一篇里同时落地。更标志性的是:V4-Pro 被直接下线,请求路由到 V4.1-Flash——「小模型 + 极致效率」吃掉了「大模型」的位置。

    HF technical report2026.09

    DeepSeek-V4.1-Flash

    三个正交压缩:CED 让 prefill 只算一半层(激活 8B / 16B 非对称);CSA2 + FP4 KV 在「层维度」上复用缓存;SWA Bounded Replay 让 SWA 状态彻底不落盘。

    降 KV降算力换表示

04 合流

四条线,一个终点

把时间轴压扁,只看四条链各自的首尾。它们不是四个方向,而是同一台机器的四个子系统。

降 KV

MLA→DSA→CSA / HCA→CSA2 + FP4 KV|890 bytes per token

降算力

DeepSeekMoE→FP8 + DualPipe→Muon→CED 非对称激活|8B prefill

换推理

GRPO→纯 RL→蒸馏进底座→可控推理力度→dsh 运行时|1–100

换表示

VL / VL2→OCR 光学压缩→因果视觉流→原生多模态 + Engram|图文同训

Convergence · 2026.09

DeepSeek-V4.1-Flash

四条线在这一篇里同时落地。它不是 V4 的加强版,而是把 V4 已经拿到的效率再压一个数量级—— 然后把 V4-Pro 送进了历史。552B 的底座,prefill 只激活 8B、decode 只激活 16B, decode FLOPs 随上下文长度近乎恒定。

降 KVCSA2 跨层复用 · Hierarchical Sparse Indexer · FP4 main KV
降算力CED 非对称激活 · Single-Pass mHC · DSpark 推测解码
换推理agent 任务合成 · DSec 沙箱 · 可控推理力度 1–100
换表示原生多模态 · Engram 条件记忆

后训练零算法创新——全部赌注压在大规模 agent 任务合成与沙箱基础设施上。

05 判读

哪些是节点,哪些是注脚

25 个里程碑不必等重。按「是否改变了后续所有论文的写法」来分级,只有六篇是节点。

六个节点

  • DeepSeekMoE — 定义了 FFN 的写法,此后从未改变。
  • DeepSeek-V2 / MLA — 定义了「降 KV」这条主线。
  • DeepSeek-V3 — 定义了「训练大 MoE 要花多少钱」。
  • DeepSeek-R1 — 定义了「推理能力可以不教,只激励」。
  • DeepSeek-V4 — 定义了百万级上下文的效率基线。
  • DeepSeek-V4.1 — 定义了「长上下文近乎免费」。

三条被低估的支线

  • DeepSeekMath / GRPO — 算法本身比论文有名,但它是 R1 的前提。
  • DeepSeek-OCR — 当时被当工具,实为原生多模态的思想来源。
  • Engram — 「查表代替计算」可能是下一条稀疏性主线。

跳出了论文的一步

  • DeepSeek Harness — 没有论文,只有仓库;但它把「可组合」做成了语义级约束,而不只是架构风格。
  • Cordis 论文 — 为这套做法补上形式化基础:可逆副作用 + 响应式协效应。
  • 这也是全谱系里唯一一次离开模型层发力。

不必高估的

  • DeepSeek-V3.1 — 工程整合,无新机制。
  • DeepSeek-V3.2 — 过渡,价值在为 V4 试错。
  • Prover / Coder 系列 — 重要但封闭在各自的垂直领域。

尾 结论

整条线的终点不是「更强的模型」,而是一个结论:长上下文的成本可以被压到接近零。

三年,二十余篇论文,所有架构、精度、并行、优化器的创新,最后都收敛到同一句话—— 当上下文不再稀缺,agent 才真正可行。 V4.1 与 dsh 是这句判断的两件交付物:一个把上下文的成本压到接近零,一个把 agent 真的跑起来。