标签：分词器

同一个需求写成 6 种问法，用 cl100k 和 o200k 各数一遍，从 7 个 token 到 251 个，差 35.9 倍。范例最贵，加一个就翻倍。同样的三条要求，连写 27 个 token，列表 32 个，Markdown 表格 49 个。一篇 1560 汉字的中文稿约 2435 token。只数输入，没调接口。

把 CJK 基本区 20,992 个汉字逐个送进分词器：旧分词器里只有 2.6% 能压进一个 token，平均每字 2.357 个；换成新分词器是 12.0%、1.922 个。再用自己写的六篇文章实测，一个汉字 1.575 个 token，换分词器省 26%。六篇 16,201 个 token 里有 4,975 个是「半个字」。