11 月 5 日，英伟达发了一篇技术解读，主题是内存。
标题里两个数放一起有点怪：每 GPU 的 HBM 容量只增加约 3%，每美元智能体吞吐量最高提升 30 倍。
一边几乎没动，一边翻了 30 倍。
显存里到底装了什么
推理的时候，HBM 要装两样东西。
一样是模型权重。几千亿个参数，就是一个文件，得先读进显存。
另一样叫 KV 缓存。原文的解释是「用于记录模型理解当前请求所需的上下文」。
说人话：你问一句，它得记住前文，才接得上后文。这些话每一轮都要留着，越聊越长。
权重是固定开销，装进来就不动了。KV 缓存是可变开销，聊得越久越占地方。
两样挤在同一块地里。
智能体把上下文拉得更长
英伟达的原话：智能体工作流会在多次模型调用和工具调用间持续携带历史上下文，部分场景需处理多达 300 万个 token。
300 万。这个量级和聊天不是一回事了。
聊天是一问一答。智能体是搜资料、查数据库、跑代码、看结果，来回几十轮，每一轮都要把前面的东西全带上。
还有 RAG。企业把产品手册、合同、工单塞进提示词，占用又抬一截。
所以卡住的地方经常不是算力。是显存没地方放。
「内存墙」这个比喻
英伟达把 HBM 比作仓库，把内存带宽比作装卸口。
仓库再大，装卸口跟不上，货进不去也出不来。
这就是「内存墙」：容量加上了，加进去的部分变不成服务能力。
官方那张曲线图把这层意思画得很直白。横轴是每 GPU 的 HBM 容量，纵轴是 SLA 内能服务的并发用户数。
曲线前面往上走，走到某点就平了，图上标着 Throughput Plateaus。
平掉之后那一片阴影标着 Underused HBM，没用上的显存。旁边三个箭头：成本往上，功耗往上，每瓦性能往下。
四招，全在「少占地方」
英伟达管这套叫全栈协同设计，把 GPU、CPU、网络、存储、软件当一个整体排布。
拆开是四招。
一，NVFP4。低精度格式，用来压缩模型权重和 KV 缓存。同一个东西，用更少的位来表示。
二，NVL72。在机架系统里把模型权重分散到最多 72 颗 GPU 上。不指望一颗芯片扛全部。
三，Vera CPU 的大容量 LPDDR。给暂停的上下文做就近缓冲。冷下来的对话先挪过去。
四，Dynamo 推理软件。把不活跃的上下文迁到 CMX 上下文存储，要用的时候再取回。
RAG 的索引也有去处：留在 CPU 与存储侧，别长期占着 HBM。
一句话，让每块内存在它该待的层级上待着。
数字是怎么来的
测的基准叫 SemiAnalysis AgentX，不是英伟达自己造的。
条件是每用户每秒 125 token，Vera Rubin NVL72 对 GB300 NVL72。
结果：每美元智能体吞吐量最高提升 30 倍。同一时间，每 GPU 的 HBM 容量只增加约 3%。
还有一组：GB300 NVL72 对 H200，在每用户每秒 100 token 的条件下，每美元吞吐量最高提升 10 倍。
两个「最高」都得留着。这是峰值，不是平均值，原文用的就是 up to 这个口径。
一句有立场的话
IT之家 在文末写的结论是：AI 算力竞争的关键，正从「显存多少」转向「每字节、每瓦特能产出多少有效 token」。
这个判断有立场。写它的人站在卖整套系统的那一边，不只是显存。
不过那张曲线图本身成立：单纯往上加 HBM，过了平台期就是白花钱。
我自己的看法是，「每美元吞吐量」这个指标好不好，取决于你的负载长什么样。长上下文的重活和短问答的轻活，同一套配置测出来的数会差很远。这一点原文没区分。
两件能确定的事
我没跑过这些测试，手上也没有 NVL72 机器可以验。
能确定的是两件事：显存不够用这件事，厂商自己在公开文档里承认了；他们给的办法里，没有一条是「再加点 HBM」。
压缩、分散、缓冲、迁移、外置。五个动作，没有一个是「再加点 HBM」。
你遇到过那种「机器明明没跑满，任务却卡住」的情况吗？