-
同一件事 6 种问法,输入 token 从 7 个涨到 251 个同一个需求写成 6 种问法,用 cl100k 和 o200k 各数一遍,从 7 个 token 到 251 个,差 35.9 倍。范例最贵,加一个就翻倍。同样的三条要求,连写 27 个 token,列表 32 个,Markdown 表格 49 个。一篇 1560 汉字的中文稿约 2435 token。只数输入,没调接口。
-
一个汉字占几个 token:我把两万个汉字挨个数了一遍把 CJK 基本区 20,992 个汉字逐个送进分词器:旧分词器里只有 2.6% 能压进一个 token,平均每字 2.357 个;换成新分词器是 12.0%、1.922 个。再用自己写的六篇文章实测,一个汉字 1.575 个 token,换分词器省 26%。六篇 16,201 个 token 里有 4,975 个是「半个字」。
-
自己数 token:装个包,跑三行,剩下是乘法报价单只写每百万 token 多少钱,不会告诉你那篇稿子是多少 token。完整三步:装 tiktoken、三行代码数、把 token 换算成钱。附十五种写法的经验值、中英文提示词的实测差(旧分词器 1.51 倍,新 1.08 倍),以及四个我没有验证的地方。
-
AI按字收费?我朋友四天烧了一百块,才搞懂Token是啥上礼拜,老周给我发微信。一张账单截图,配了三个字:看不懂。 他给一个AI接口充了一百块,四天下来,只剩十几块。 他自己算过账:我一天就打几十个字,怎么比打电话还贵。 我说,你要真是按字算,这钱花得一点都不冤。可惜它不按字算。 它按Token算。 一堆硬币旁边摆着几块彩色小积木 Token是啥?你就当
-
AI芯片为什么这么贵?拆开成本看就懂了我哥们老周上个月去深圳出差,回来请我吃饭,点菜的时候手都在抖。 我以为他项目黄了。 结果他说,公司刚花三百万买了八张卡,财务走账那天他盯着发票看了半天,愣是没想明白——这玩意儿凭啥比黄金还贵。 一张卡抵一套房,到底贵在哪 老周在的那家公司做AI客服,不算大厂,七八十人。今年想自己训练个小模型,预算批