元大期货

随同着英伟达AI芯片的热卖，HBM（高带宽内存）成为了时下存储中最为火热的一个领域，岂论是三星、海力士照样美光，都投入了大量研发职员与资金，力争走在这条赛道的最前沿。

HBM 的初衷，是为了向 GPU 和其他处置器提供更多的内存，但随着GPU 的功效越来越壮大，需要更快地从内存中接见数据，以缩短应用处置时间。例如，在机械学习训练运行中，大型语言模子 (LLM) 可能需要重复接见数十亿甚至数万亿个参数，而这可能需要数小时或数天才气完成。

这也让传输速率成为了HBM的焦点参数，而已有的HBM都接纳了尺度化设计：HBM 存储器客栈通过微凸块毗邻到 HBM 客栈中的硅通孔（TSV 或毗邻孔），并与放置在基础封装层上的中央件相连，中央件上还安装有处置器，提供 HBM 四处置器的毗邻。与通俗的DRAM相比，云云设计的HBM能够垂直毗邻多个DRAM，能显著提升数据处置速率，

现在，HBM 产物以HBM（*代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的顺序开发，最新的HBM3E是HBM3的扩展版本，速率到达了8Gbps。

但对于AI芯片来说，光靠传统的硅通孔已经无法知足厂商对于速率的渴求，内存厂商和尺度机构正在研究若何通过使用光子等手艺或直接在处置器上安装 HBM，从而让像GPU 这样的加速处置器可以获得更快的内存接见速率。

01 谁才是新偏向？

虽然现在业界都在集中研发HBM3的迭代产物，然则厂商们为了争取市场的话语权，对于未来HBM手艺开发有着各自差其余看法与想法。

三星

三星正在研究在中央件中使用光子手艺，光子通过链路的速率比电子编码的比特更快，而且耗电量更低。光子链路可以飞秒速率运行。这意味着10-¹⁵个时间单元，即四十亿分之一（十亿分之一的百万分之一）秒。在最近举行的开放盘算项目（OCP）峰会上，以首席工程师李彦为代表的韩国巨头先进封装团队先容了这一主题。

除了使用光子集成电路外，另一种方式是将 HBM 客栈更直接地毗邻四处置器（上图中的三星逻辑图）。这将涉及郑重的热治理，以防止过热。这意味着随着时间的推移，HBM 客栈可以升级，以提供更大的容量，但这需要一个涵盖该领域的行业尺度才有可能实现。

SK海力士

据韩媒报道，SK海力士还在研究 HBM 与逻辑处置器直接毗邻的观点。这种观点是在夹杂使用的半导体中将 GPU 芯片与 HBM 芯片一起制造。芯片制造商将其视为 HBM4 手艺，并正在与英伟达和其他逻辑半导体供应商洽谈。这个想法涉及内存和逻辑制造商配合设计芯片，然后由台积电（TSMC）等晶圆厂运营商制造。

这有点类似于内存处置（PIM）的想法，若是最终不能成为行业尺度的话，很可能会酿成事实上的厂商独占。

线下零售@2023：折扣、体验与回归

美光

Tom's Hardware 报道称，美光与市场上的其他公司正在开展 HBM4 和 HBM4e 流动。美光现在正在生产 HBM3e gen-2 内存，接纳 8层垂直堆叠的 24GB 芯片。美光的 12 层垂直堆叠 36GB 芯片将于 2024 年*季度最先出样。它正与半导体代工运营商台积电相助，将其 gen-2 HBM3e 用于人工智能和 HPC 设计应用。

美光示意，其现在的产物具有高能效，对于安装了1000万个GPU的装备来说，每个HBM客栈能节约约5瓦的功耗，预计五年内将比其他HBM产物节约高达5.5亿美元的运营开支。

02 下一代HBM

2015年以来，从HBM1到HBM3e，它们都保留了相同的1024位(每个客栈)接口，即具有以相对适中的时钟速率运行的超宽接口，为了提高内存传输速率，下一代HBM4可能需要对高带宽内存手艺举行更实质性的改变，即从更宽的2048位内存接口最先。

出于多种手艺缘故原由，业界计划在不增添 HBM 存储器客栈占用空间的情形下实现这一目的，从而将下一代 HBM 存储器的互连密度提高一倍。HBM4 会在多个层面上实现重大手艺飞跃。在 DRAM 堆叠方面，2048 位内存接口需要大幅增添内存堆叠的硅通孔数目。同时，外部芯片接口需要将凸块间距缩小到远小于 55 微米，而 HBM3 现在的凸块总数（约）为 3982 个，因此需要大幅增添微型凸块的总数。

内存厂商示意，他们还将在一个模块中堆叠多达 16 个内存模块，即所谓的 16-Hi 堆叠，从而增添了该手艺的庞大性。(从手艺上讲，HBM3 也支持 16-Hi 堆叠，但到现在为止，还没有制造商真正使用它）这将使内存供应商能够显著提高其 HBM 堆叠的容量，但也带来了新的庞大性，即若何在不泛起缺陷的情形下毗邻更多的 DRAM 凸块，然后保持所发生的 HBM 堆叠适当且一致地短。

在阿姆斯特丹举行的台积电 OIP 2023 聚会上，台积电设计基础设施治理主管这样说道："由于[HBM4]不是将速率提高了一倍，而是将[接口]引脚增添了一倍。这就是为什么我们要与所有三家相助同伴相助，确保他们的 HBM4（接纳我们的先进封装方式）相符尺度，并确保 RDL 或 interposer 或任何介于两者之间的产物都能支持（HBM4 的）结构和速率。因此，我们会继续与三星、SK 海力士和美光相助"。

现在，台积电的 3DFabric 存储器同盟现在正致力于确保 HBM3E/HBM3 Gen2 存储器与 CoWoS 封装、12-Hi HBM3/HBM3E 封装与高级封装、HBM PHY 的 UCIe 以及无缓冲区 HBM（由三星率先推出的一项手艺）兼容。

美光公司今年早些时刻示意，"HBMNext "内存将于 2026 年左右面世，每客栈容量介于 36 GB 和 64 GB 之间，每客栈峰值带宽为 2 TB/s 或更高。所有这些都注释，纵然接纳更宽的内存总线，内存制造商也不会降低 HBM4 的内存接口时钟频率。

03 总结

与三星和 SK海力士差异，美光并不计划把 HBM 和逻辑芯片整合到一个芯片中，在下一代HBM生长上，韩系和美系内存厂商泾渭明晰，美光可能会告诉AMD、英特尔和英伟达，人人可以通过 HBM-GPU 这样的组合芯片获得更快的内存接见速率，然则单独依赖某一家的芯片就意味着更大风险。

美国的媒体示意，随着机械学习训练模子的增大和训练时间的延伸，通过加速内存接见速率和提高每个 GPU 内存容量来缩短运行时间的压力也将随之增添，而为了获得锁定的 HBM-GPU 组合芯片设计（只管具有更好的速率和容量）而放弃尺度化 DRAM 的竞争供应优势，可能不是准确的前进方式。

但韩媒的态度就相当暧昧了，他们以为HBM可能会重塑半导体行业秩序，以为IP（半导体设计资产）和工艺的重大转变不能制止，还引用了业内人士说："除了定制的'DRAM 代工厂'之外，可能还会泛起一个更大的天下，纵然是英伟达和 AMD 这样的巨头也将不得不在三星和 SK 海力士制造的板材上举行设计。"

固然SK 海力士首席执行官兼总裁 Kwak No-jeong的谈话更值得玩味，他说：“HBM、盘算快速链接（CXL）和内存处置（PIM）的泛起将为内存半导体公司带来新的时机，这种滨化模糊了逻辑半导体和存储器之间的界线，内存正在从一种通用商品转变为一种特殊商品，起点将是 HBM4。”

由此看来，下一代HBM手艺蹊径的选择，可能会引发业界又一轮重大的洗牌，谁能胜出，我们不妨拭目以待。