-
一个汉字占几个 token：我把两万个汉字挨个数了一遍把 CJK 基本区 20,992 个汉字逐个送进分词器：旧分词器里只有 2.6% 能压进一个 token，平均每字 2.357 个；换成新分词器是 12.0%、1.922 个。再用自己写的六篇文章实测，一个汉字 1.575 个 token，换分词器省 26%。六篇 16,201 个 token 里有 4,975 个是「半个字」。
-
AI最答不上来的那个问题，恰恰是人类最后的底牌AI为什么敢一本正经地胡说？它到底懂不懂「意思」？从一份不存在的红头文件，到中文屋实验，讲清大模型的边界：它懂词跟词的关系，不懂词跟世界的关系——而这正是人类最后的底牌。