-
一个汉字占几个 token：我把两万个汉字挨个数了一遍把 CJK 基本区 20,992 个汉字逐个送进分词器：旧分词器里只有 2.6% 能压进一个 token，平均每字 2.357 个；换成新分词器是 12.0%、1.922 个。再用自己写的六篇文章实测，一个汉字 1.575 个 token，换分词器省 26%。六篇 16,201 个 token 里有 4,975 个是「半个字」。
把 CJK 基本区 20,992 个汉字逐个送进分词器：旧分词器里只有 2.6% 能压进一个 token，平均每字 2.357 个；换成新分词器是 12.0%、1.922 个。再用自己写的六篇文章实测，一个汉字 1.575 个 token，换分词器省 26%。六篇 16,201 个 token 里有 4,975 个是「半个字」。