大模型这几年有个默认玩法:参数越大越强,越大越贵。

英伟达前两天发了个新模型,有点反着来。

Nemotron 3.5 Super VL,总参数 1200 亿,每次只激活 120 亿。IT之家 10 月 15 日报道。

同一个模型,总参数和激活参数差了十倍。这中间的账,值得算一算。

机房通道两侧的服务器机柜
机房通道两侧的服务器机柜

一、它把什么塞进了一个模型

按官方说法,这个模型面向的是「需要持续运行、执行多步骤任务的 AI 智能体」。

以前做智能体,常见做法是拼积木:一个模型管推理,一个管看图,一个管调工具,中间用代码串起来,串得多了,哪一环出错都得挨个查。Nemotron 3.5 Super VL 的做法,是把它们合到一个模型里,推理、指令遵循、工具调用,加上文本、图像、文档、视频的理解,都在同一个模型内完成,省掉了中间那层拼接。

官方举的场景挺具体:代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别、视频内容检索。

绿色电路板上的一块芯片,四周是金色触点
绿色电路板上的一块芯片,四周是金色触点

二、1200亿和120亿,不是笔误

这是整篇最该讲清楚的地方。

MoE,混合专家架构。你可以把它想成一个大团队,1200 亿参数是全部人手,但每处理一个任务,只叫醒其中 120 亿的那一小队。人没少招,但每次开会的只有一部分。这样既有大团队的储备,又不至于每次都全员出动、把成本烧光。

英伟达给的说法是:在单张 GPU 上执行智能体任务时,这个模型的吞吐量最高能达到同规模其他开放模型的 5 倍。

「同规模其他开放模型」具体指哪些、测试条件怎么设的,报道里没细说,我手上也没有完整评测报告,【暂无相关资料】。

这个 5 倍,先按厂商口径听。

屏幕上的一段 HTML 代码
屏幕上的一段 HTML 代码

三、几个企业案例,数字挺硬

官方公布了三家客户的落地情况。

Scale AI 给媒体娱乐公司 Skydance 定制了一个供应商信用处理智能体,官方预计,这块工作负载的推理成本降低 97.5%,延迟降低 80%。金融运营平台 Ramp,在做收据图像转结构化数据,把收据里的商户、日期、支付信息抽成 JSON,官方预计吞吐量最高提升 50%,延迟降低 90%。AI21 和一家 AI 安全公司 Alice 合作,用定制模型做威胁情报和漏洞分析,相关任务准确率提升 40%。

【个人看法】这几个数字是厂商自报的「预计」,不是第三方跑出来的成绩,也没写清楚是在什么硬件、什么并发下测的。参考可以,别直接拿来算自己的账。

机柜内的网络交换机与成排网线
机柜内的网络交换机与成排网线

四、端侧那个版本,更值得留意

同一天还发了两款 Bolt 端侧模型。

其中 Nemotron 3.5 Bolt 74B-A9B 24GB:740 亿总参数、90 亿激活,靠原生 2 位量化,把模型压到了 24GB,官方说它面向本地智能体任务,支持 llama.cpp、vLLM、Ollama、Unsloth、LM Studio 这些常见本地推理工具。另一款 Bolt E4B 4GB,面向本地语音助手、交互角色、嵌入式界面,计划 10 月 23 日推出。

24GB 这个数,懂行的会有感觉。

它意味着,一张消费级显卡,可能就装得下。

桌面上并排的三台显示器
桌面上并排的三台显示器

五、训练的账,也一起公开了

英伟达这次连训练配方都放了出来:基础模型、后训练模型、量化模型的权重,加上训练配方、数据集、强化学习环境。

规模方面,官方给的是:预训练和持续预训练加起来用了约 26 万亿词元,后训练用了约 380 万个样本,还在数十种环境里做了强化学习。开放的数据集覆盖智能体工具调用、金融推理、指令遵循、长上下文、公平性、视觉语言理解。

【个人看法】把配方和数据一起放出来,是这几家做开源模型的共同打法。

对开发者是好事。对后来者也是门槛,谁的生态转得快,谁的模型用的人才就多。

CPU 风冷散热器:黑色风扇与银色鳍片
CPU 风冷散热器:黑色风扇与银色鳍片

六、这事的分量在哪

这次发布最值得记的,不是 1200 亿这个数。

它说明了一件事:推理成本,正在慢慢取代参数规模,成为新的赛场。

至于效果到底怎么样,我手头只有厂商口径和二手报道,没实测过,【本人未实测】。

你会为了跑一个本地智能体,专门配台机器吗?

(本文素材来自 IT之家 2026 年 10 月 15 日公开报道,引用数据均为英伟达官方口径。)