i itingyu

模型调研

前沿模型的技术拆解：架构取舍、评测口径、成本结构与适用边界

共 3 个子专栏 · 13 篇文章

子专栏

全部文章

  • 后训练：从会说话到会做事

    ·大模型·后训练·RLHF·强化学习

    预训练模型会续写，后训练模型才会办事。SFT 教格式，RLHF 教偏好，GRPO/RLVR 教推理。

  • 同一道题，换个壳为什么更准

    ·大模型·Agent·上下文工程·成本

    GPT-6 的 ARC-AGI-3 98.6% 是 Responses API 跑出来的，不是裸模型。上下文压缩、effort 档位、安全沙箱，正在把“买模型”变成“买模型加运行时”。

  • Jev 拆解：把决策从生成里拆出来

    ·决策模型·Jev·校准·推理成本

    Jev 用一次前向替换了逐 token 生成：官方说快 193 倍、便宜 444 倍，第三方实测是 5 到 6 倍，自家流水线只快 15.9%。这篇拆它的输出契约、校准实测与适用边界。

  • 上下文越长，Agent 越准吗

    ·大模型·Agent·上下文工程·成本

    同一任务，4K、32K、1M 的 Agent 表现并不单调。NoLiMa、RULER、CompactionBench 的数据指向同一个结论：质量是倒 U，成本是线性甚至二次。

  • 蒸馏：把能力搬进小模型

    ·大模型·蒸馏·知识蒸馏·小模型

    蒸馏不是复制权重，是复制函数。教师给的不只是答案，还有“哪些错答案看起来像对的”这一层信息。

  • Agent RL 慢在最慢的那条轨迹

    ·大模型·Agent·强化学习·训练系统

    一条 Agent 轨迹跑几百步、几百万 token，同步 RL 的 GPU 只能等最慢的样本。GLM-5 和 Kimi K3 的解法，是把训练与推理彻底拆开。

  • 量化：省的是带宽，丢的是精度

    ·大模型·量化·FP8·推理优化

    量化不是把 16 位四舍五入成 8 位。它改变数值表示、异常值分布和硬件的乘加路径；省下来的主要是带宽，不只是显存。

  • 旗舰模型是拼出来的

    ·大模型·后训练·蒸馏·强化学习

    先把数学、代码、Agent、指令各训一个专家，再用同策略蒸馏蒸回一个模型。DeepSeek V4 的两阶段后训练，解释了旗舰能力为什么越来越像供应链。

  • 万亿 MoE 先崩在哪

    ·大模型·MoE·训练稳定性·Muon

    DeepSeek V4 把残差连接列为三项架构升级之首，Kimi 在 93 层上做深度注意力。万亿 MoE 的难点，先从数值稳定性开始。

  • 微调改的是行为，不是知识

    ·大模型·微调·LoRA·SFT

    微调最容易被误解的一点：它通常不是给模型灌知识，而是改它的输出分布。知道这一点，很多“要不要微调”的问题就不用问了。

  • 预训练：下一 token 预测怎么变成能力

    ·大模型·预训练·缩放定律·数据

    预训练的目标函数只有一句话：给定前文，预测下一个 token。能力不是被“教”进去的，是在压缩语料的过程中长出来的。

  • 1M 上下文：三种做法，三种代价

    ·大模型·长上下文·注意力机制·MoE

    DeepSeek 用压缩加稀疏把 1M 的 KV 压到 10%，Kimi 用 3:1 线性注意力，GLM 用 token 级稀疏。三条路线都叫 1M，代价完全不同。

  • 大模型与小模型：同一套 Transformer，差在哪

    ·大模型·小模型·模型架构·缩放定律

    大模型和小模型不是两种架构，而是同一套 Transformer 在不同预算下的解。差别在宽度、深度、FFN、注意力头和词表怎么分配。