三星HBM2内存计算技术介绍

HBM 是 GDDR 存储器的替代品，可用于 GPU 和加速器。GDDR 存储器旨在以较窄的通道提供更高的数据速率，进而实现必要的吞吐量，而 HBM 存储器通过 8 条独立通道解决这一问题，其中每条通道都使用更宽的数据路径（每通道 128 位），并以 2Gbps 左右的较低速度运行。因此，HBM 存储器能够以更低的功耗提供高吞吐量，而规格上比 GDDR 存储器更小。HBM2 是目前该类别中最常用的标准，支持高达 2.4Gbps 的数据速率。

HBM2 DRAM 最多可叠加 8 个 DRAM 晶圆（包括一个可选的底层晶圆），可提供较小的硅片尺寸。晶圆通过 TSV 和微凸块相互连接。通常可用的密度包括每个 HBM2 封装 4 或 8GB。

除了支持更多的通道外，HBM2 还提供了一些架构更改，以提高性能并减少总线拥塞。例如，HBM2 具有“伪通道”模式，该模式将每个 128 位通道分成两个 64 位的半独立子通道。它们共享通道的行和列命令总线，却单独执行命令。增加通道数量可以通过避免限制性时序参数（例如 tFAW）以在每单位时间激活更多存储体，从而增加整体有效带宽。标准中支持的其他功能包括可选的 ECC 支持，可为每 128 位数据启用 16 个错误检测位。

三星最新发布的基于HBM2的新型内存具有集成的AI处理器，该处理器可以实现高达1.2 TFLOPS的计算能力，从而使内存芯片能够处理通常需要CPU、GPU、ASIC或FPGA的任务。

新型HBM-PIM（Processing-in-memory，存内计算）芯片将AI引擎引入每个存储库，从而将处理操作转移到HBM。新型的内存旨在减轻在内存和处理器之间搬运数据的负担，数据的搬运耗费的功耗远大于计算。

1、Architecting an Open RISC-V 5G and AI SoC for Next Generation 5G Open Radio Access Network.pdf 

2、Arm Neoverse N2 Arm’s second-generation high performance infrastructure CPUs and system products.pdf 

3、Enabling the Next Generation of Autonomous Flight.pdf 

4、Heterogeneous computing to enable the highest level of safety in automotive systems.pdf 

5、Intel’s Hyperscale-Ready SmartNIC for Infrastructure Processing.pdf 

6、NVIDIA DATA Center Processing Unit (DPU) Architecture.pdf 

7、Samsung HBM2-PIM with in-memory processing for machine learning accelerators.pdf