英伟达最快将从9月开始大量购买12层HBM3E内存，这些内存将由三星电子独家供货。在GTC 2024上，黄仁勋曾在三星电子的12层HBM3E实物产品上留下了"黄仁勋认证（JENSEN APPROVED）"的签名。

而SK海力士因部分工程问题，未能推出12层HBM3E产品，但计划从本月末开始批量生产8层HBM3E产品。

今年2月27日，三星电子官宣成功开发出业界首款36GB 12H（12层堆叠）HBM3E DRAM内存。

据介绍，HBM3E 12H能够提供高达1280GB/s的带宽和迄今为止最大的36GB容量，相比于8层堆叠的HBM3 8H，在带宽和容量上提升超过50%。

同时相比于8层堆叠，其AI训练速度平均提高34%，同时推理服务用户数量也可增加超过11.5倍。

在此前的GTC2024大会上，英伟达正式发布了B200和GB200系列芯片。

据黄仁勋介绍，B200拥有2080亿个晶体管，采用台积电4NP工艺制程，可以支持多达10万亿个参数的AI大模型，还通过单个GPU提供20 petaflops的AI性能。