#中文分词

文本是怎么变成 token 的？BPE 的原理是什么，中文 token 化有什么坑？

考察 tokenizer 的工作原理，重点是 BPE 的贪心合并算法、词表大小与压缩率的权衡，以及中文场景下的切分粒度和数字/代码退化等实际问题。