子专栏：大模型原理
六篇：大小模型、预训练、微调、量化、蒸馏、后训练
归属：模型调研
-
大模型与小模型：同一套 Transformer，差在哪
·大模型·小模型·模型架构·缩放定律大模型和小模型不是两种架构，而是同一套 Transformer 在不同预算下的解。差别在宽度、深度、FFN、注意力头和词表怎么分配。
-
预训练：下一 token 预测怎么变成能力
·大模型·预训练·缩放定律·数据预训练的目标函数只有一句话：给定前文，预测下一个 token。能力不是被“教”进去的，是在压缩语料的过程中长出来的。
-
微调改的是行为，不是知识
·大模型·微调·LoRA·SFT微调最容易被误解的一点：它通常不是给模型灌知识，而是改它的输出分布。知道这一点，很多“要不要微调”的问题就不用问了。
-
量化：省的是带宽，丢的是精度
·大模型·量化·FP8·推理优化量化不是把 16 位四舍五入成 8 位。它改变数值表示、异常值分布和硬件的乘加路径；省下来的主要是带宽，不只是显存。
-
蒸馏：把能力搬进小模型
·大模型·蒸馏·知识蒸馏·小模型蒸馏不是复制权重，是复制函数。教师给的不只是答案，还有“哪些错答案看起来像对的”这一层信息。
-
后训练：从会说话到会做事
·大模型·后训练·RLHF·强化学习预训练模型会续写，后训练模型才会办事。SFT 教格式，RLHF 教偏好，GRPO/RLVR 教推理。