子专栏：2026 旗舰模型拆解

五篇：1M 上下文、万亿 MoE 稳定性、后训练蒸馏、Agent RL 系统、harness 与成本

归属：模型调研

• 1M 上下文：三种做法，三种代价

  2026-10-30·大模型·长上下文·注意力机制·MoE

  DeepSeek 用压缩加稀疏把 1M 的 KV 压到 10%，Kimi 用 3:1 线性注意力，GLM 用 token 级稀疏。三条路线都叫 1M，代价完全不同。

• 万亿 MoE 先崩在哪

  2026-10-31·大模型·MoE·训练稳定性·Muon

  DeepSeek V4 把残差连接列为三项架构升级之首，Kimi 在 93 层上做深度注意力。万亿 MoE 的难点，先从数值稳定性开始。

• 旗舰模型是拼出来的

  2026-11-01·大模型·后训练·蒸馏·强化学习

  先把数学、代码、Agent、指令各训一个专家，再用同策略蒸馏蒸回一个模型。DeepSeek V4 的两阶段后训练，解释了旗舰能力为什么越来越像供应链。

• Agent RL 慢在最慢的那条轨迹

  2026-11-02·大模型·Agent·强化学习·训练系统

  一条 Agent 轨迹跑几百步、几百万 token，同步 RL 的 GPU 只能等最慢的样本。GLM-5 和 Kimi K3 的解法，是把训练与推理彻底拆开。

• 同一道题，换个壳为什么更准

  2026-11-03·大模型·Agent·上下文工程·成本

  GPT-6 的 ARC-AGI-3 98.6% 是 Responses API 跑出来的，不是裸模型。上下文压缩、effort 档位、安全沙箱，正在把“买模型”变成“买模型加运行时”。