Day 22｜预训练范式与 Tokenization:GPT vs BERT、BPE 算法与 4 种子词切分（AI 学习笔记 · 大模型与生成式 AI 周 · 第 22 篇）

2018 年是 NLP 范式革命的分水岭——OpenAI 的 GPT-1 与 Google 的 BERT 同年发表,共同奠定「自监督预训练 + 下游微调」的现代 LLM 范式:不用标注数据,让模型在海量文本上学「下一个 token」或「填补被遮蔽的 token」,得到的预训练权重几乎能直接迁移到所有 NLP 下游任务。今天所有 GPT / Claude / Gemini / Qwen / DeepSeek 都是这一范式的后代;而「token」本身——模型看到的最小语义单元——由 Tokenization 算法决定,本节把 BERT / GPT 原论文的关键事实、BPE 算法手算、4 种子词方案的工程取舍一次讲透。

1. 自监督预训练范式:Causal LM vs Masked LM

1.1 什么是自监督预训练

传统监督学习需要「句子 + 标签」对(如情感分类的「这部电影很棒 → 正面」),标签昂贵。自监督预训练让数据自己当老师:把句子里的某个词遮住,让模型预测;或让模型预测下一个词。预训练语料是数十亿网页 / 书籍,无需人工标注。

两种主流预训练目标:

\text{Causal LM}(GPT):\quad L = -\sum_t \log P(x_t \mid x_{<t})

\text{Masked LM}(BERT):\quad L = -\sum_{t \in M} \log P(x_t \mid x_{\setminus M})

Causal LM 让模型从左往右逐个生成(「自回归」);Masked LM 让模型双向看上下文(类似完形填空)。两者的 Attention 掩码截然不同:前者是下三角 causal mask,后者是全可见双向 mask。

1.2 范式革命的三个里程碑

事实查证:BERT 原论文(arXiv:1810.04805)由 Devlin et al. 在 2018 年 10 月发布,首次提出 deep bidirectional pre-training;GPT-3 原论文(arXiv:2005.14165,”Language Models are Few-Shot Learners”)明确写出 “we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model”——这是 Day 23 Scaling Laws 的关键事实基础。

1.3 Causal LM vs Masked LM 的几何直觉

flowchart LR
    subgraph "Causal LM (GPT)"
        direction LR
        A1["x_1"] --> A2["x_2"] --> A3["x_3"] --> A4["x_4"]
    end
    subgraph "Masked LM (BERT)"
        direction LR
        B1["x_1"] -.-> B3["[MASK]"]
        B2["x_2"] -.-> B3
        B4["x_4"] -.-> B3
    end

Causal LM 是「单向链」,每个 token 只能看自己和过去;Masked LM 是「全连接星形」,被 mask 的 token 能看到所有上下文。生成任务必须用 Causal LM(看不到未来);理解任务用 Masked LM(双向信息更丰富)更划算。

2. GPT vs BERT 架构对比

2.1 核心差异

2.2 注意力掩码对比

\text{Causal mask:}\quad M_{ij} = \begin{cases} 0, & i \ge j \\ -\infty, & i < j \end{cases}

\text{BERT mask:}\quad M_{ij} = 0,\quad \forall i,j

PyTorch 实现:

import torch
T = 5
causal = torch.triu(torch.ones(T, T), diagonal=1).bool()
print(causal)
# tensor([[False,  True,  True,  True,  True],
#         [False, False,  True,  True,  True],
#         [False, False, False,  True,  True],
#         [False, False, False, False,  True],
#         [False, False, False, False, False]])

True 位置置 -inf,softmax 后权重为 0——这就是「不让看到未来」的几何实现。

2.3 输出层与训练目标的差异

RoBERTa(Liu et al. 2019)后续证明:BERT 真正起作用的是 MLM,NSP 任务反而拖后腿——它去掉 NSP,用更大 batch 和更多数据训练,效果反而更好。这是「论文 → 工业实践」最快的反馈循环之一。

3. Tokenization 基础:为什么需要、子词 vs 词 vs 字

3.1 为什么不直接用词 / 字

子词方案的工程动机:高频词保留为整体,低频词拆成有语义的部分。这样既不会 OOV,又不会让序列过长,还能让模型学到词缀规律(un-, re-, -ing, -ed)。

3.2 4 种主流子词方案

事实查证:BPE 由 Sennrich 等人在 2016 年的 arXiv:1508.07909 论文 Neural Machine Translation of Rare Words with Subword Units 中首次系统化引入神经机器翻译;SentencePiece 由 Kudo 在 EMNLP 2018 demo paper (arXiv:1808.06226) 中提出,核心卖点是 “SentencePiece can train subword models directly from raw sentences, which allows us to make a purely end-to-end and language independent system”——它不依赖预分词,直接吃原始句子。

3.3 现代 Tokenizer 库一览

# OpenAI 官方:速度极快,专用于 GPT 系列
pip install tiktoken

# HuggingFace:Rust 实现,支持 4 种算法
pip install tokenizers

# Google SentencePiece:C++ 实现,T5 / LLaMA 用
pip install sentencepiece

事实查证:OpenAI 官方 tiktoken README 自述 “tiktoken is a fast BPE tokenizer for use with OpenAI’s models”,且 “3-6x faster than a comparable open source tokenizer”;HuggingFace tokenizers README 自述 “Extremely fast (both training and tokenization), thanks to the Rust implementation. Takes less than 20 seconds to tokenize a GB of text on a server’s CPU”。

4. BPE 算法手算

4.1 核心算法

Byte Pair Encoding 的原始算法(Gage 1994)是为数据压缩发明的,Sennrich 2016 把它改造为 NLP 子词切分:

1. 把每个字符当作独立 token
2. 反复合并出现频率最高的相邻 token 对
3. 直到词表达到目标大小(或无可合并)

4.2 完整手算例子

语料:low low low low low lowest lowest newer newer newer newer newer newer wider wider wider

最终 low 与 newer 整体进入词表,lowest 也整体进入(因为它本身在语料中频次 2 触发合并)——BPE 不会拆已合并 token,所以罕见词 lowest 仍然作为整体保留。

4.3 PyTorch 手算一个 toy 例子

from collections import Counter

def get_pairs(word_freq):
    """统计所有相邻 token 对及其频率"""
    pairs = Counter()
    for word, freq in word_freq.items():
        symbols = word.split()
        for i in range(len(symbols) - 1):
            pairs[(symbols[i], symbols[i+1])] += freq
    return pairs


def bpe(word_freq, num_merges):
    vocab = set()
    for word in word_freq:
        vocab.update(word.split())
    for i in range(num_merges):
        pairs = get_pairs(word_freq)
        if not pairs:
            break
        best = max(pairs, key=pairs.get)
        vocab.add(''.join(best))
        new_word_freq = {}
        for word, freq in word_freq.items():
            new_word = ' '.join(word.split())
            bigram = ' '.join(best)
            new_word = new_word.replace(bigram, ''.join(best))
            new_word_freq[new_word] = freq
        word_freq = new_word_freq
        print(f'merge {i+1}: {best} → {freq}')
    return vocab


corpus = {
    'l o w </w>': 5,
    'l o w e s t </w>': 2,
    'n e w e r </w>': 6,
    'w i d e r </w>': 3,
}
vocab = bpe(corpus, num_merges=10)
print('final vocab:', sorted(vocab))

4.4 关键设计选择

字节级 BPE 的核心好处:任何 UTF-8 字符串都能被切分,哪怕是 emoji 或没见过的汉字,都退化到字节序列;代价是单 token 平均长度更短(中英文都更碎),需要更大词表。

5. BPE vs WordPiece vs SentencePiece vs Unigram 对比

5.1 算法差异

5.2 训练速度 vs 切分质量的取舍

flowchart LR
    A[原始语料 GB 级] --> B{预分词?}
    B -->|是| C[BPE / WordPiece]
    B -->|否| D[SentencePiece 内部用 Unicode 切分]
    C --> E[增量合并 N 轮]
    D --> F[BPE/Unigram/char]
    E --> G[词表 32K-200K]
    F --> G
    G --> H[编码 / 解码]

WordPiece 的「似然增益」比 BPE 的「最高频次」更稳:同样的语料,WordPiece 合并后的子词更符合「语言学直觉」。但工程上 BPE 更简单,被 GPT 系列选中。Unigram 训练一次可得到多套词表,适合多语言场景。

5.3 中文 Tokenization 的工程坑

5.4 库版本与 API 现状

6. HuggingFace tokenizers 实战

6.1 训练一个 toy BPE tokenizer

from tokenizers import Tokenizer, models, trainers, pre_tokenizers, decoders

# 1. 初始化空 BPE 模型
tokenizer = Tokenizer(models.BPE(unk_token="<unk>"))

# 2. 预分词器(按字节切分,等价于字符级 BPE)
tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)

# 3. 解码器(支持 ByteLevel 回退)
tokenizer.decoder = decoders.ByteLevel()

# 4. 训练器
trainer = trainers.BpeTrainer(
    vocab_size=1000,
    special_tokens=["<unk>", "<pad>", "<bos>", "<eos>"],
    show_progress=False,
)

# 5. 训练语料(可以是文件列表,这里用 list)
corpus = [
    "low low low low low lowest lowest newer newer newer newer newer newer",
    "wider wider wider deep learning deep learning transformer",
    "machine learning is a subset of artificial intelligence",
] * 100

tokenizer.train_from_iterator(corpus, trainer=trainer)

# 6. 编码测试
out = tokenizer.encode("lowest newer wider")
print(out.tokens)        # ['low', 'est', ' newer', ' wider']
print(out.ids)
print(tokenizer.decode(out.ids))

6.2 用 GPT-2 预训练 tokenizer 编码

from transformers import AutoTokenizer

# GPT-2 用 ByteLevel BPE,词表 50257
tok = AutoTokenizer.from_pretrained("gpt2")

text = "Hello world! 你好,世界。"
ids  = tok.encode(text)
print('tokens:', tok.convert_ids_to_tokens(ids))
print('ids:   ', ids)
print('decode:', tok.decode(ids))
# 预期输出(GPT-2 词表):
# tokens: ['Hello', ' world', '!', ' ', 'ä½ł', '好', ',', 'ä¸', 'ç', '®', 'å¯', 'ä¸', 'ä¸', '.']
# 注意:中文被切成字节(token id 极大),不是汉字本身

6.3 用 Qwen / LLaMA tokenizer 编码中文

tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct", trust_remote_code=True)
ids = tok.encode("人工智能正在改变世界")
print(tok.convert_ids_to_tokens(ids))
# 预期输出(类似):
# ['人工智能', '正在', '改变', '世界']
# Qwen 词表含大量中文整词,所以中文不碎

LLaMA-2 用 SentencePiece 训练的 BPE,词表 32K,LLaMA-3 扩到 128K,Qwen-2 词表 152K(含中英)。词表大小与单 token 平均承载语义量成正比——152K 词表的 Qwen 中文一句往往只需 30-50 个 token,英文 BPE 的 GPT-2 中文一句需要 80-150 个。

7. vs 其他 Tokenization 方案对比

7.1 同一段文本在不同 tokenizer 下的切分

文本:"The quick brown fox jumps over the lazy dog. 人工智能正在改变世界。"

7.2 工业部署的 3 个决策

7.3 Tokenizer 的工程影响

8. 常见坑(8 条,Tokenizer 实战典型)

8.1 训练 Tokenizer 时 vocab_size 和模型不匹配

症状:RuntimeError: Embedding(32000, 4096) vs Embedding(50257, 4096) shape mismatch 原因:用 GPT-2 的 tokenizer(vocab_size=50257)但模型定义了 vocab_size=32000(LLaMA)。 修法:始终用 tokenizer.vocab_size 作为模型定义依据;或 len(tokenizer.get_vocab()) 在运行时校验。

8.2 中文句子被切成单字

症状:同样的中文,Qwen 切 30 token,BERT-base 切 60+ token。 原因:BERT-base 用 WordPiece + 英文 Wikipedia 训练,中文按字符切。 修法:① 换 Qwen / LLaMA / ChatGLM 等中文词表;② 用 sentencepiece 在中文语料上重新训练 BPE。

8.3 数字 / 单位被切碎,LLM 数学能力差

症状:"1.234" 被切成 6 个 token,模型对 4 位以上乘法正确率骤降。 原因:BPE 按字节合并,数字格式多样易碎。 修法:① 选数字感知 tokenizer(如 Qwen-2 专门合并数字);② 预处理规则:"1234.56" → "1,234.56" 让千位分隔符成 token;③ 后处理时把被切的 token 拼回。

8.4 decode 后出现 \u0120 等奇怪字符

症状:tok.decode([123]) 输出 \u0120hello,而不是 ` hello。 **原因**:GPT-2 的 ByteLevel BPE 用特殊字符 Ġ 表示词首空格(\u0120 = Ġ)。 **修法**:tokenizer.decode(ids, skip_special_tokens=True, clean_up_tokenization_spaces=True) —— clean_up_tokenization_spaces=True 自动把 Ġ` 转回空格。

8.5 训练 tokenizer 时 add_prefix_space 不一致

症状:训练时 add_prefix_space=True,推理时默认 False,同一文本编码长度不同。 原因:ByteLevel 预分词器对词首空格的处理与 prefix 标志有关。 修法:训练与推理保持完全一致的预分词器配置;现代做法:训练时 add_prefix_space=False,由用户显式加空格。

8.6 NSP / SOP 任务训练 BERT,但用 RoBERTa 权重初始化

症状:BERT MLM head 与 RoBERTa MLM head 权重 shape 不同,加载失败。 原因:BERT 有 NSP head(二分类)、RoBERTa 删了 NSP。 修法:要么用 BertForPreTraining 加载 BERT 权重,要么用 RobertaForMaskedLM 加载 RoBERTa 权重——结构要对齐。

8.7 训练 Tokenizer 时忘了 <bos>/<eos>

症状:推理时模型不知道何时停止,生成直到 max_length。 原因:Tokenizer 词表里有 token 但训练数据没正确插入 <bos>/<eos>。 修法:tokenizer.encode(text, add_special_tokens=True),或在生成循环里 if next_token == tokenizer.eos_token_id: break。

8.8 推理时 tokenizer 出现 <unk>

症状:print(tokenizer.decode(ids)) 输出 Hello world <unk>。 原因:ByteLevel BPE 应该永不 OOV,如果出现 <unk>,说明模型词汇表与 tokenizer 词汇表不一致。 修法:model.config.vocab_size == tokenizer.vocab_size 必须成立;否则重新加载模型权重。

9. 自检三问

A. 为什么 GPT 用 Causal LM、BERT 用 Masked LM,而不是反过来?两种目标对模型能力的影响有什么本质差异?

B. BPE 算法为什么按「最高频次」合并而不是按「最长公共子串」?这两种策略在 OOV 率和词表大小上有什么取舍?

要点:按「最高频次」合并的核心是「统计最优」——高频组合(of, the, ing)被保留为整 token,低频组合被切碎;按「最长公共子串」是「结构最优」,但会过度合并罕见词。Sennrich 2016 实验证明:高频合并的 BPE 在机器翻译的 OOV 率与词表大小权衡上明显优于最长公共子串法。关键观察:BPE 不一定每次合并都「有意义」(可能合并出 lowest 这种偶然频繁的组合),但统计上得到最优 perplexity。详见 §4.2。

C. 假设你用 GPT-2 tokenizer(vocab_size=50257)切了 100 万句中文,然后喂给一个 vocab_size=32000 的 LLaMA 模型,会发生什么?

要点:三个问题:① 模型 Embedding 层 shape 对不上(BERT 32000 vs GPT-2 50257),直接报 shape mismatch;② 即使手动 resize,Embedding 层随机初始化,前向输出是噪声;③ GPT-2 切分的中文 token id 往往 > 32000,在 LLaMA 词表里查不到对应嵌入。必须保持模型与 tokenizer 同源——加载预训练权重时,tok、model、config 三者必须一致。详见 §8.1。

10. 推荐资源(5 类)

视频

• Andrej Karpathy · “Let’s build the GPT Tokenizer”(YouTube, 2023)——从零手写 BPE tokenizer 的 2 小时实战
• HuggingFace NLP Course · Chapter 2: Tokenizers——tokenizers 库官方教程
• 李沐 · 斯坦福 CS336 · Tokenization 章节——工业级视角讲 BPE/WordPiece/SentencePiece

教科书 / 文档

• 《Speech and Language Processing》(Jurafsky & Martin) 第 2 章——子词切分历史与算法综述
• HuggingFace Tokenizers 文档——Rust + Python 双 API
• SentencePiece README——Kudo 2018 的官方文档

论文

• Sennrich et al. 2016《Neural Machine Translation of Rare Words with Subword Units》(arXiv:1508.07909)——BPE 引入 NLP 的原始论文
• Devlin et al. 2018《BERT: Pre-training of Deep Bidirectional Transformers》(arXiv:1810.04805)——BERT 原论文,11 个 NLP 任务 SOTA
• Brown et al. 2020《Language Models are Few-Shot Learners》(arXiv:2005.14165)——GPT-3 原论文,175B 参数,In-Context Learning
• Kudo 2018《SentencePiece》(arXiv:1808.06226)——语言无关子词工具

博客 / 课程

• OpenAI Cookbook · “How to count tokens with tiktoken”——GPT 系列的 token 计算教程
• HuggingFace Blog · “Tokenizers: How machines read”——可视化分词过程
• Lilian Weng · “Large Language Models in 2023”——LLM 全景,含 Tokenization 章节

代码

• karpathy/minbpe——200 行手写 BPE tokenizer
• huggingface/tokenizers——Rust 实现 + Python 绑定,工业首选
• google/sentencepiece——C++ 实现,T5 / LLaMA / Qwen 训练时使用

11. 本节要点

• 2018 范式革命:GPT-1 (2018-06, 117M) + BERT (2018-10, 110M / 340M) 共同奠定「自监督预训练 + 下游微调」,GPT-2 (2019, 1.5B) → GPT-3 (2020, 175B) 把 Causal LM 推到极致
• Causal LM vs Masked LM:前者单向链(下三角 mask),后者双向星形(全可见 mask);生成任务用前者,理解任务用后者
• BPE 算法:按「最高频次」合并相邻 token,Sennrich 2016 提出;GPT-2/3/4 / LLaMA / Qwen 全部使用字节级 BPE
• WordPiece vs BPE vs Unigram vs SentencePiece:BPE 用频次、WordPiece 用似然增益、Unigram 反向剪枝;SentencePiece 是「语言无关」工具,可承载上述任一算法
• HuggingFace tokenizers 是 Rust 实现 + Python 绑定,20 秒切 1 GB;OpenAI tiktoken 是 BPE 专用、3-6× 比开源快
• 中文 Tokenization 关键:选中文词表充足的 tokenizer(Qwen-2 词表 152K),避免 BERT-base 这种按字符切的方案
• 工程铁律:模型 vocab_size、tokenizer 词表大小、特殊 token 处理三者必须同源,否则 shape mismatch

12. 下一节:Day 23 · LLM 原理与 Scaling Laws

主题:为什么「模型越大、数据越多、训练算力越强」就能让 LLM 涌现出惊人能力?Kaplan 2020 与 Chinchilla 2022 两篇 Scaling Law 论文给出惊人简洁的幂律公式;「涌现能力」(Emergent Abilities)曾被认为是规模的神奇产物,但 Schaeffer et al. 2023 论文证明这可能只是评估指标的选择性错觉。

覆盖:

• Kaplan 2020 Scaling Law:Loss 与模型规模、数据量、算力呈幂律关系
• Chinchilla (DeepMind 2022):修正 Kaplan 的算力最优分配,提出「20 tokens/参数」的训练最优比例
• Schaeffer et al. 2023《Are Emergent Abilities a Mirage?》:用 InstructGPT/GPT-3 + BIG-Bench 证明「涌现」来自离散指标,换成连续指标后曲线变平滑
• In-Context Learning(ICL)原理:为什么不用梯度更新也能让模型「学会」任务

产出物:OpenAI API + 少样本 prompt 调用实验,在 5 个任务(算术 / 翻译 / 情感分类 / 命名实体 / 摘要)上对比 zero-shot / few-shot 的准确率,直观感受「上下文示例」的力量。

作者:林馨予 + 林晓月