#BPE

Tokenizer 与 BPE：token 是什么，为什么它直接影响成本和效果

讲清 BPE 分词的合并逻辑和 token 与字词的对应关系，覆盖词表大小权衡、中文切分、成本估算等应用工程师必须懂的实际影响。