三星下一代DDR5和HBM3内存将集成AI引擎 PIM技术将进一步扩展
在今年二月初，我们报道了三星新的HBM2内存将集成了AI引擎，HBM-PIM（Aquabolt-XL）芯片最高可提供1.2 TFLOPS嵌入式计算能力，使内存芯片本身可以执行CPU、GPU、ASIC或FPGA的操作。近日，三星在Hot Chips 33上介绍了未来更为庞大的开发计划，会将PIM (processing-in-memory) 技术扩展到DDR4、DDR5、LPDDR5X、GDDR6和HBM3内存上。
三星将HBM-PIM芯片直接加入到堆栈中，可以与符合JEDEC标准HBM2内存控制器配合使用。三星使用赛灵思（Xilinx）Alveo FPGA进行了测试，这款AI加速器有2.5倍的性能提升，能耗也降低了超过60%。三星表示目前PIM技术已经可以和任何标准的内存控制器兼容，但CPU厂商若能提供优化，在某些情况下会带来更大的性能提升。
目前三星已经与一家CPU厂商一起测试HBM2-PIM，以便在未来产品中使用。由于英特尔的Sapphire Rapids、AMD的Genoa、Arm的Neoverse平台在内的新一代处理器都支持HBM内存，未来应用范围会相当大。
显然，PIM技术很适合数据中心使用，不过三星进一步将该技术转向更为标准的内存。这次三星演示了AXDIMM内存，这是对现有内存的优化，在缓冲芯片内集成了AI引擎，尽可能减少CPU和DRAM之间的大量数据交换，以提高效率。AXDIMM内存可以插入到标准的DDR4服务器内存插槽就能使用，无需大幅度改变现有的硬件架构。
三星表示已经有厂商使用AXDIMM内存在客户的服务器上进行测试，在特定的AI应用中，其性能提升了1.8倍，同时功耗降低了超过40%。由于内存很快会迭代到DDR5，相信三星也会很快跟进，同时可以预期这项技术会在不久的将来推向市场。
三星的PIM技术不仅仅局限于相对高端的领域，也可以同样转向贴近消费者的普通产品，比如笔记本电脑、平板电脑、甚至手机。三星已经计划在LPDDR5内存中引入PIM技术，不过仍处于早期阶段。在LPDDR5-PIM内存（6400 MHz）的模拟测试中，其语音识别工作负载的性能提高了2.3倍，基于转换器的翻译性能提高了1.8倍，GPT-2文本生成能力提高了2.4倍，同时功耗都降低了60%以上。
虽然三星的PIM技术进展迅速，可以与标准的内存控制器配合使用，但一直没有获得JEDEC的认证，这是PIM技术被广泛使用的主要障碍。三星希望PIM规范可以标准化，从而进一步扩展内存产品的组合，比如加入到HBM3标准规范里。目前JEDEC尚未正式发布HBM3标准规范，仍在制定当中。
三星表示，将从HBM2的FP16向前推进到HBM3的FP64，这意味着芯片会具有扩展的功能。FP16和FP32将保留供数据中心使用，而INT8和INT16将服务于 LPDDR5、DDR5和GDDR6内存，更好地适应不同的应用场景。
三星还会将PIM技术带到到更多不同类型的内存里，例如GDDR6，这可以扩宽其应用范围。三星今年发布了业界首款CXL内存模块，这是基于Compute Express Link标准的新型存储产品，或许未来也会引入PIM技术。随着AI技术的兴起，PIM技术或许比普通人表面看来更能改变现有的游戏规则，或许在未来，GPU使用的显存协助处理一些工作负载，以提升性能并降低功耗是有可能的。
