HBM 主要用于 AI 和网通芯片。当代电子计算体系的表现完全依赖于处理器和内存的 相互配合，而来到了 AI 时代，大模型处理数据的吞吐量更是呈指数级增长，要想支撑如此 庞大的数据处理和传输，对内存就提出了更高的带宽需求。HBM 突破了内存容量与带宽瓶 颈，打破了“内存墙”对算力提升的桎梏，其具备高带宽、低功耗的特点，面对 AI 大模型千 亿、万亿的参数规模，服务器中负责计算的 GPU 几乎必须搭载 HBM。 高带宽是 HBM 的最大优势。HBM（High Bandwidth Memory，高带宽内存）是将多个 DDR 芯片堆叠后，和 GPU 封装在一起，实现大容量、高位宽的 DDR 组合阵列。通过增加 带宽、扩展内存容量，让更大的模型、更多的参数留在离核心计算更近的地方，从而减少内 存和存储解决方案带来的延迟。从技术角度看，HBM 使 DRAM 从传统 2D 转变为立体 3D， 充分利用空间、缩小面积，契合半导体行业小型化、集成化的发展趋势。目前全球 HBM 产能主要用于满足 Nvidia 和 AMD 的 AI 芯片需求。尽管内存制造商投 入大量资金扩产，但由于需求激增，HBM 的短缺状况继续恶化。占据全球 GPU 市场 80% 以上份额的 Nvidia 将于 2024 年第二季度开始量产 GH200 Grace Hopper Superchip，这是一 款采用 HBM3E 的新一代 AI 芯片。Nvidia 的 HBM 需求预计将从 2023 年大约 1200 万颗翻 倍增长到 2024 年 2400 万颗。 随着大型互联网客户自研 AI 芯片陆续推出，HBM 客户群预计将大幅扩容。除了 Nvidia 之外，HBM 的潜在客户数量也在快速增加，其中包括 Google、AWS 和 Meta 等正在积极自 研 AI 芯片的科技巨头。2023 年 8 月，谷歌推出了其内部 AI 张量处理单元(TPU)v5e，而亚 马逊正在通过 AWS 大力开发自己的芯片。
