HBM基底裸片将由接口层演进为AI系统的控制、扩展与近存计算平台

概览

报告讨论AI计算需求推动下HBM基底裸片的角色变化。核心判断是，带宽、功耗、面积和容量约束将促使标准HBM转向采用先进逻辑工艺的定制HBM，并沿“xPU面积回收—功能扩展—3D融合”三阶段演进。

核心观点

报告首先区分HBM堆栈中的核心裸片与基底裸片：核心裸片负责DRAM单元、核心逻辑和TSV，而基底裸片承担与计算裸片通信的PHY-TSV路径，以及DA、MBIST、IEEE 1500等核心裸片测试功能。随着HBM迭代的首要驱动力转向更高带宽，传统结构面临两类直接瓶颈：一是基底裸片和核心裸片堆栈中的TSV数量与间距限制，二是基底裸片PHY的I/O数量和速度限制。报告因此认为，带宽快速扩展需要对基底裸片进行根本性改变。 工艺演进为这种改变提供了基础。报告列出的路线显示，HBM2至HBM3E期间基底裸片从2*nm进入1*nm，而HBM4和HBM4E转向4nm逻辑工艺；同期xPU SoC由2016年的16n/12nm演进至HBM4对应的3nm及HBM4E对应的低于3nm。Samsung在HBM4中采用D1c DRAM和4nm逻辑工艺。报告强调，虽然单位能效不断改善，MPGA总功耗仍持续上升，因此从HBM4开始，基底裸片采用先进逻辑工艺对于遏制功耗增长至关重要，同时还能减小有效面积，并缩小基底裸片与xPU SoC之间的工艺差距。这被定义为DRAM与先进逻辑真正融合的开端。 在此基础上，报告把标准HBM与定制HBM区分开来。标准HBM的基底裸片主要承担基础数据和测试路径，大部分面积被动用于布线；定制HBM则在共享标准核心裸片堆栈的同时，利用先进逻辑工艺定制基底裸片，使其具备类似SoC的功能。其动因是传统xPU扩展方式正在接近物理极限：制程微缩放缓，单片裸片接近光罩尺寸上限，多芯粒方案的中介层尺寸也逼近限制。由于基底裸片已经采用先进逻辑工艺且存在较多可用面积，报告提出把部分xPU功能迁入基底裸片。 第一阶段的重点是回收xPU面积并优化接口。传统HBM PHY在基底裸片上占据最大功能区，而且从HBM2到标准HBM4，为提高带宽，其PHY占用和通道长度持续扩大。定制HBM以先进逻辑工艺实现的D2D接口替代传统HBM PHY；更小的接口面积与更短的通道可降低pJ/b、改善能效，并释放宝贵的硅面积供xPU扩展。报告把HBM4至HBM5视为转折区间，先进逻辑工艺使PHY和D2D面积显著缩小。但面积收缩也提高了功率密度并形成热热点：报告对比显示，sHBM4E的I/O速度为14Gbps、功率密度为0.5W/mm²，而sHBM5的I/O速度超过28Gbps、约为前者2倍，功率密度超过2.0W/mm²。为此，报告提出基于Samsung cHBM4经验的HPB热路径块；当HPB覆盖超过50%的PHY区域时，峰值温度可降低超过35%。 第一阶段还包括把内存控制器从xPU SoC迁移至定制HBM基底裸片。报告认为内存控制器是首要迁移对象，因为该安排能够回收xPU面积，且新增控制器的热影响可管理；传统HBM内存控制器目前正被移植到cHBM。控制器靠近内存后，还可利用基底裸片闲置空间配置SRAM修复资源，对失效单元进行细粒度地址解码和重定向，并在不同通道之间共享修复容量。相较核心裸片内有限且缺乏灵活性的行、列修复资源，基底裸片SRAM方案提供更大的容量和更高的配置灵活性。 第二阶段利用完成内存控制器迁移后仍然存在的基底裸片闲置面积增加功能。首先是RAS与测试：cHBM可原生集成温度、电压、制程和老化传感器，提供实时高速遥测；OD-ATE和PGEN等片上自测试机制可扩大测试覆盖并改善制造良率。其次是容量扩展。报告指出，AI模型上下文窗口以每年30倍的速度增长，显著推高KV缓存需求，而长期记忆的存储与检索仍是下一代AI模型的重要瓶颈，因此AI SoC除带宽外也迫切需要更高内存容量。基底裸片可利用外缘直接连接外部内存，并集成专用PHY和控制器；报告认为，这种方式相较传统PCIe扩展可实现显著更高的带宽和更低的延迟。 第二阶段还可把部分xPU计算迁移到基底裸片中的处理单元。由于数据在靠近内存的位置处理，D2D带宽需求、数据移动、功耗和热负担可以下降；在2.5D系统中的先进HBM方案里，基底裸片处理单元还可显著减少跨中介层的数据移动，从而改善系统级能效。不过，该方案受到基底裸片硅面积有限和处理单元提高局部热密度的约束，功能规模必须在计算收益、面积和散热之间权衡。 第三阶段是zHBM代表的真正3D融合。报告认为AI内存架构正快速走向紧耦合，在AGI和推理场景中，关键任务是在严格功率限制内提高带宽和TPS。zHBM将xPU与核心裸片堆栈垂直集成并取消2.5D中介层，通过分布式I/O缩短堆栈内数据路径，同时消除传统HBM PHY或D2D等二维接口。其主要收益来自I/O功耗的大幅下降：移除SERDES中的数据对齐和DQ I/O，可消除不必要的功耗开销，并把节省的功率和散热空间转化为更高的系统计算性能。报告以“1个GPU加4个HBM4E”和“1个GPU加4个zHBM”作为系统架构比较基础，但未给出具体量化结果。 实现zHBM仍依赖关键工艺与协同设计能力。晶圆对晶圆键合和混合铜键合需要提供超高I/O密度，报告展示的流程包括4层核心裸片与xPU或中间层的晶圆级键合；同时，SoC与DRAM必须使用统一的设计和验证流程进行共同架构开发。总体上，报告把先进逻辑基底裸片视为演进枢纽：第一阶段通过紧凑D2D PHY和控制器迁移回收xPU面积，第二阶段增加遥测、测试、容量扩展和处理单元，第三阶段则以zHBM取消二维及2.5D接口，实现xPU逻辑与DRAM堆栈的直接垂直融合和最高能效。

分析框架

报告先从HBM核心裸片与基底裸片的现有分工出发，识别TSV、PHY、功耗和封装尺寸等扩展瓶颈；随后用HBM2至HBM4E的工艺与接口代际变化说明采用先进逻辑工艺的必要性。之后以面积、通道长度、每比特能耗、功率密度和热热点为约束，依次推演D2D接口、HPB、内存控制器迁移、SRAM修复、RAS与测试、容量扩展、近存计算和3D集成，最终形成三阶段架构路线。

方法论与常识提炼

• （词表外方法）

  三阶段架构演进路线

  报告把基底裸片演进拆分为xPU面积回收、附加功能扩展和真正3D融合三个阶段，用于说明各项技术的实施顺序及前后依赖关系。

• （词表外方法）

  HBM代际参数对比

  报告比较HBM2至HBM4E的年份、工艺，以及sHBM4E和sHBM5的I/O速度与功率密度，以识别先进逻辑工艺带来的转折和新增散热约束。

• （词表外方法）

  系统级功耗、面积、带宽与散热协同权衡

  报告并非只考察存储芯片本身，而是同时评估接口缩短、功能迁移和垂直集成对xPU面积、数据移动、I/O功耗、局部热密度及系统性能空间的影响。

关键数据

• HBM工艺演进时间线2016 HBM2；2019 HBM2E；2021 HBM3；2023 HBM3E；2026 HBM4；2027 HBM4E报告列示的HBM代际与年份
• HBM4/4E基底裸片工艺4nm此前HBM2至HBM3E的基底裸片由2*nm演进至1*nm
• HBM4核心裸片工艺D1c/1*nm报告称Samsung在HBM4采用D1c DRAM和4nm逻辑基底裸片
• xPU SoC工艺演进2016年16n/12nm；2019年8n/4nm；2021—2023年4nm；2026年3nm；2027年<3nm对应HBM2至HBM4E路线
• sHBM4E I/O速度14Gbps与sHBM5的热密度对比基准
• sHBM5 I/O速度>28Gbps约为sHBM4E的2倍
• PHY功率密度sHBM4E为0.5W/mm²；sHBM5为>2.0W/mm²PHY缩小并提速后热热点风险上升
• HPB峰值温降>35%在PHY覆盖比例>50%的条件下
• AI上下文窗口增速30倍/年报告用于说明KV缓存和内存容量需求快速增长
• zHBM系统比较配置1个GPU+4个HBM4E，对比1个GPU+4个zHBM报告未提供该比较的具体量化结果

影响与含义

报告认为，HBM竞争维度将由单纯提高带宽扩展至接口能效、xPU面积利用、RAS、测试、容量扩展和近存计算。先进逻辑基底裸片使更多系统功能可以靠近DRAM部署，而zHBM进一步把优化范围从单颗存储器提升到xPU、DRAM和封装的共同架构层面；相应地，散热、超高密度键合以及统一设计验证能力将成为实现这些收益的关键约束。

风险

• TSV数量与间距、PHY I/O数量和速率以及光罩和中介层尺寸的物理限制，可能约束传统HBM带宽继续扩展。
• PHY面积缩小会提高功率密度并形成热热点；报告显示sHBM5的PHY功率密度超过2.0W/mm²。
• 在基底裸片部署处理单元受到可用硅面积有限和局部热密度上升的双重限制。
• zHBM落地依赖晶圆对晶圆键合、混合铜键合及统一SoC—DRAM设计验证流程。

后续跟踪

• 关注HBM5超过28Gbps I/O速度下，HPB能否达到超过50%的PHY覆盖目标并维持超过35%的峰值温降。
• 关注传统HBM内存控制器向cHBM基底裸片的移植进展。
• 关注基底裸片外部内存扩展、片上RAS传感器、自测试和处理单元的实际集成。
• 关注WoW、混合铜键合及SoC—DRAM统一设计验证流程对zHBM的支撑情况。