分词与词表

分词（Tokenization）是自然语言处理的首要步骤之一，它将原始文本拆分成可处理的最小语言单元（token），例如词、子词或字符。

词表（Vocabulary）则定义了模型能识别的 token 集合，是文本与向量表示之间的桥梁。

一、为什么需要分词

计算机无法直接理解自然语言中的连续字符。
例如输入句子：

我爱自然语言处理。

模型需要将其转换为离散单元，如：

txt

我 / 爱 / 自然语言处理 / 。

或在英文中：

txt

I / love / NLP / .

经过分词后，文本可映射为数字序列，方便模型计算与学习。

二、常见的分词方式

类型	说明	示例
基于空格	英文常用，按空格分割	“I love NLP” → [“I”,“love”,“NLP”]
基于词典	中文常用，匹配最长词	“南京市长江大桥” → [“南京市”,“长江大桥”]
基于统计	根据词频与互信息学习新词	自动识别 “自然语言处理”
基于子词（Subword）	拆分为可组合的子单元，解决 OOV 问题	“unbelievable” → “un”+“believ”+“able”

三、常见子词算法

1. BPE（Byte Pair Encoding）

基于统计的合并规则。通过反复合并高频 token 对，生成稳定的子词表。
广泛用于 GPT、RoBERTa 等模型。

2. WordPiece

Google 提出的改进算法，用于 BERT 系列模型。
相比 BPE 更注重概率优化，使生成的子词更均衡。

3. SentencePiece

不依赖空格，直接作用于原始字节流。
支持 Unigram 与 BPE 模式，是多语言模型常用方案。

四、词表（Vocabulary）

词表定义了 token 与 ID 的映射关系：

Token	ID
`[PAD]`	0
`[CLS]`	1
`我`	2
`爱`	3
`自然`	4

词表的大小（vocab_size）会影响模型性能与内存占用。
在中文中常用 20k~50k，英文常用 30k~60k。

五、实践示例（Python）

python

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")
text = "我爱自然语言处理"
tokens = tokenizer.tokenize(text)
ids = tokenizer.convert_tokens_to_ids(tokens)

print(tokens)
print(ids)

输出示例：

txt

['我', '爱', '自然', '语言', '处理']
[2769, 4263, 704, 6421, 7032]

六、小结

分词是 NLP 的基础步骤，决定模型理解语言的粒度；
子词算法（如 BPE、WordPiece）有效解决 OOV 问题；
合理构建词表能平衡模型容量与泛化能力。