一颗芯片,两个数字

英伟达 Orin X 的标称算力是 254 TOPS。

同一颗芯片,如果只算稠密算力,是 127 TOPS。

两个数都是真的,差的那一倍来自计算方式。

10 月 30 日晚上,地平线创始人兼 CEO 余凯在微博上把这件事讲了出来。

有人问他,地平线能不能做出几千 TOPS 的智驾芯片。他的回答先绕了一圈,说中国科技行业在 PPT 算力上已经“卷到无底线”。

然后他给了一个具体例子:英伟达智驾芯片的标称算力,是按稠密算力的两倍算的。Orin X 稠密 127 TOPS,标称就是 254 TOPS。

IT之家在同篇报道里补了一句注解,这句话值得单独拿出来看。

TOPS 是每秒万亿次操作。稠密算力指芯片在不启用稀疏化特性时的峰值。稀疏算力则通过跳过零值计算,把这个峰值得以翻倍。

懂了这三个词,你就懂了 254 是怎么来的。

图:一片12英寸硅晶圆,上面是几百颗还没切开的芯片
图:一片12英寸硅晶圆,上面是几百颗还没切开的芯片

跳过零,数字就翻倍

先说 TOPS 这四个字母。T 是万亿,O 是操作,P 是每,S 是秒。连起来就是一句话:这芯片一秒钟能做多少万亿次运算。

问题在于,“操作”是可以挑着数的。

神经网络里做的是矩阵乘法,矩阵里有很多 0。如果硬件碰到 0 就直接跳过去不算,速度自然快。这叫稀疏化。

硬件本来就支持这个特性。于是厂商可以理直气壮地说:启用稀疏化之后,我能跑到 254。

可你开车的时候,路况数据不会体贴地长成“一半是零”的样子。真实场景里的矩阵,零的分布是随机的、零散的,跳过的收益远没有理论峰值那么好看。

所以 127 和 254 都是真的,但它们量的不是同一件事。一个是“这颗芯片理论上的天花板”,一个是“你不用特殊技巧也能摸到的那个高度”。

图:一枚硬币大小的芯片,内部结构要靠显微镜才看得清
图:一枚硬币大小的芯片,内部结构要靠显微镜才看得清

从两倍到七倍

余凯后面那段话更值得注意。

他说,各智驾芯片公司基本都采用同一套框架标称算力,目的是方便客户对标比较。

但业界现在已经“突破宇宙尺度”,标称算力可以吹到稠密算力的 6 到 7 倍。业内还给这种数字起了个名字,叫“等效算力”。

原话是“搞得我们眼花缭乱都跟不上了”。

他给出的应对办法有点意思。地平线产品今后同时标两个数:稠密算力乘以 2,叫“NV 算力”;另一种叫“等效算力”,也就是“吹牛算力”。

按他自己给的数据,征程 6P 的 NV 算力是 560 TOPS,等效算力是 1960 TOPS。560 除以 2 得 280,1960 除以 280 得 7。他说的“6 到 7 倍”,在自己的产品线上一比就出来了。

这种自嘲式的命名,其实是个很聪明的动作。他没有去纠正行业,而是把两套尺子并排放出来,让数字自己说话。

网友那句小字,比发布会管用

评论区里有人建议,下次发布会 PPT 加一行小字:“等效算力仅供友商对齐,不供消费者上头。”

余凯回复:“哈哈,建议采纳。”

这句玩笑背后是一个挺实在的问题。算力数字最终是给买车的人看的,而买车的人没几个能分清稠密和稀疏。数字越大越唬人,这是常识,也是套路。

那普通人怎么用这个知识

不用把自己变成芯片工程师。三件事就够。

第一,看到宣传里的算力数字,问一句这是稠密还是稀疏。对方答得上来,说明他懂;答不上来,这个数就先打个问号。

这不算刁难销售。这是问一个他本该知道的基本问题。

第二,留意有没有附精度条件。同样一颗芯片,跑 INT8 和跑 FP16 是两套数字,不写清楚精度的算力,参照价值有限。

第三,也是最重要的一条,把注意力从数字挪到功能上。

算力是上限,功能是落地。城区能不能开、复杂路口敢不敢放手、雨雾天会不会退出,这些体验里没有哪个能靠 TOPS 补出来。

参数是给发布会看的,路是给方向盘后面的人走的。
图:方向盘后面的人,才是这些参数最后的验收者
图:方向盘后面的人,才是这些参数最后的验收者

一个更普遍的问题

算力虚标这件事之所以值得讲,不是因为它有多恶劣。恰恰相反,它是完全合规的、行业内公认的、甚至被写进对标框架的。

真正麻烦的地方在于,同一个数字可以对应截然不同的实际能力,而这两者之间的换算关系,只有内行清楚。

这种结构不只出现在芯片上。续航里程有工况标准,充电功率有峰值和持续,屏幕刷新率有原生和插值。

每一个数字背后都有一套算法。每一套算法都可以合法地往好看的方向调。

余凯这次做的事,本质上是把其中一套算法公开了。他没有说别人不能用,只是让买家知道有这么回事。

对普通人来说,这就够了。你不必推翻任何结论,只要在签字之前多问一句:这个数,是怎么算出来的。

图:夜里高速公路上连成一条线的车灯
图:夜里高速公路上连成一条线的车灯
你去看车的时候,销售跟你强调过算力吗?当时你信了吗?评论区说说你听过最离谱的一个参数。
家里最近有人看车的,把这篇转给他。比在展厅里听十分钟介绍管用。