据媒体报道，英伟达最快将从9月开始大量购买三星电子的12层HBM3E，后者将向英伟达独家供应12层HBM3E。在日前的GTC 2024中，黄仁勋曾在三星电子12层HBM3E实物产品上留下了"黄仁勋认证（JENSEN APPROVED）"的签名。SK海力士因部分工程问题，未能推出12层HBM3E产品，但计划从本月末开始批量生产8层HBM3E产品。
今年2月27日，三星电子官宣成功开发出业界首款36GB 12H(12层堆叠)HBM3E DRAM内存。
据介绍，HBM3E 12H能够提供高达1280GB/s的带宽和迄今为止最大的36GB容量，相比于8层堆叠的HBM3 8H，在带宽和容量上提升超过50%。
同时相比于8层堆叠，其AI训练速度平均提高34%，同时推理服务用户数量也可增加超过11.5倍。
在此前的GTC2024大会上，英伟达正式发布了B200和GB200系列芯片。
据黄仁勋介绍，B200拥有2080亿个晶体管，采用台积电4NP工艺制程，可以支持多达10万亿个参数的AI大模型，还通过单个GPU提供20 petaflops的AI性能。
