-
一个汉字占几个 token：我把两万个汉字挨个数了一遍把 CJK 基本区 20,992 个汉字逐个送进分词器：旧分词器里只有 2.6% 能压进一个 token，平均每字 2.357 个；换成新分词器是 12.0%、1.922 个。再用自己写的六篇文章实测，一个汉字 1.575 个 token，换分词器省 26%。六篇 16,201 个 token 里有 4,975 个是「半个字」。
-
AI读长文总忘？它的短期记忆就这么长我同事小林上周差点把电脑砸了。 他要把一份 180 页的合同喂给 AI 做风险审查。前 120 页，AI 分析得头头是道。到第 130 页，AI 突然说：「抱歉，我无法找到相关条款。」 小林翻回去一看，那条款白纸黑字就在文档里。 他以为 AI 骗他。其实是 AI 根本没看见。 这事儿说穿了不玄乎。你