NVIDIA创造全新Groq 3 LPU：500MB SRAM高速缓存 7倍带宽碾压HBM4

它是一款专用的AI推理加速芯片，基于NVIDIA去年收购的Groq，专攻低延迟解码与交互式推理，与主打训练和通用计算的GPU形成互补，共同支撑AI从训练到落地的全流程。

NVIDIA Rubin Vera平台之前就已经包含六种不同芯片：Rubin GPU加速器、Vera CPU处理器、Bluefield 4 DPU数据处理单元、ConnectX 9智能网卡、NVLink 6纵向扩展交换机、Spectrum-X横向扩展交换机。

如今，Groq 3 LPU又加入了这一大家庭。

Groq 3 LPU集成了980亿个晶体管，结构很简单就是多达500MB SRAM(静态随机存取存储器)，也就是CPU、GPU上管用的缓存单元。

虽然它在容量上远不及288GB HBM4，但是可提供150TB/s的惊人带宽，远远超过HBM4 22TB/s 7倍之多。

要知道，AI解码操作是极度渴求带宽的，Groq 3恰好可以完美满足，而且延迟要低得多。

同时，Groq 3 LPU的FP8精度算力达到了1.2PFlops(每秒1200万亿次)。

基于此，NVIDIA打造了Groq 3 LPX机架，包括256颗Groq 3 LPU，缓存总容量达128GB SRAM，带宽则是可怕的40PB/s。

机架之间通过640TB/s带宽的专用纵向扩展接口连接起来，整体AI推理算力达到315PFlops(每秒31.5亿亿次)。

Groq LPX定位是Rubin Vera平台的协处理器，可以加速AI模型每一层的每个token处理，提升解码性能。

它还为多智能体系统做好了准备，这被视为AI的下一个前沿领域，需要在对万亿参数模型进行推理、处理百万token上下文窗口的同时，保持交互性能。

Rubin GPU结合Groq LPU，将把当下每秒100个token的吞吐量，推向每秒1500个token甚至更多，从而完美支撑AI智能体交互场景。