英伟达旗下Groq下一代LPU架构转向3D堆叠DRAM 瞄准更大模型时代的容量需求

今年早些时候，英伟达公布了 Groq LPX 机架产品，将其纳入 Vera Rubin 生态体系，以强化 AI 推理性能表现。该机架已于今年 8 月进入全面量产阶段。根据早期测试结果，在与 NVL72 服务器协同工作的情况下，系统可实现每秒 3400 个 Token 的推理速度，创下新的性能纪录。

现有一代 Groq LPU 采用 500MB SRAM 设计，内存带宽高达 150TB/s。在 LPX 机架中，系统配置了 256 颗此类芯片，总计提供 128GB SRAM 容量以及 640TB/s 的扩展带宽能力。单颗 Groq LPU 则能够提供约 1.20 PFLOPs 的 FP8 算力。

不过在下一代产品上，Groq 准备采取截然不同的路线。公司计划放弃单纯依赖 SRAM 的方案，转而采用 DRAM，并结合 3D Stacked（3D 堆叠）封装技术打造新架构。与 SRAM 相比，DRAM 最大优势在于能够提供远高于 SRAM 的存储容量，但代价是带宽和访问速度相对较低。

一名半导体行业人士表示，Groq 已经计划在下一代芯片中引入 3D 封装技术，而堆叠对象将从现有的 SRAM 转变为 DRAM。业内普遍将这一举动解读为 Groq 希望大幅提升芯片存储容量。SRAM 虽然速度极快，但容量扩展受限；相较之下，DRAM 虽然速度较慢，却更适合构建大规模存储系统。

通过采用 3D 堆叠技术，Groq 可以在单个垂直结构芯片中堆叠多层 DRAM，并利用 TSV（硅通孔）技术实现层间连接。这种设计理念与当前高带宽存储器 HBM 的实现方式十分相似。相比传统 DRAM 封装，3D 堆叠方案不仅能够显著提高单位面积存储密度，还能改善能效表现并减少占用空间。

从目前披露的信息来看，Groq 此次产品升级的重点明显转向存储容量，同时仍希望尽可能保留其 SRAM 架构所带来的部分高带宽优势。随着生成式 AI 模型规模持续扩大，对大容量高速内存的需求也在不断增长，因此新一代 Groq 芯片有望获得更广泛应用。

报道还提到，未来 Groq 或许不会完全放弃 SRAM，而是将 DRAM 与 SRAM 产品线并行发展，根据不同应用场景提供差异化解决方案。对于正在建设 AI 工厂和 AI 平台的英伟达而言，这类更高容量的推理芯片也有望在未来发挥更重要的作用。