Raptor以3D-DRAM突破生成式推理的内存带宽与能耗瓶颈

概览

报告从生成式推理的容量、带宽和功耗矛盾出发，介绍d-Matrix Raptor如何把逻辑芯片直接堆叠在DRAM上，并通过内存映射、数据传输、散热刷新、纠错和冗余机制的联合设计，将3D-DRAM用于低延迟、长上下文推理。

核心观点

生成式推理的数据规模正在同时从两端扩大：模型权重持续增长，KV缓存则随上下文长度和并发用户数增长。报告举例称，64名用户、每人100万上下文时，KV缓存约为935 GB。推理的预填充阶段通常受计算吞吐量约束，而自回归解码通常受内存带宽约束；在低延迟的小批量场景下，解码占据关键运行时间。高GQA与推测解码可能使注意力计算转为计算受限，但MoE即使在中等批量和推测解码条件下仍可能受内存带宽约束，因此容量与带宽必须同时扩展。 报告认为现有两类内存各有明显短板。片上SRAM具有亚纳秒级延迟，示例卡对可提供约300 TB/s带宽、4 GB容量、约1 ns延迟和约0.5 pJ/bit I/O能耗，但其6T存储单元面积约为DRAM 1T1C单元的10倍，N5至N2节点的位单元面积仍约为0.021 µm²，GB级漏电可达数十瓦，实用容量约4 GB且成本约为DRAM的100倍。HBM具备高容量，但受封装边缘空间、堆叠数量、引脚速度和I/O宽度制约；报告估计HBM4系统的实用带宽上限约20 TB/s。若按2.4 pJ/bit把HBM推至100 TB/s，仅内存功耗就需要1.92 kW，尚未计入互连功耗。 Raptor的核心路线是面对面堆叠逻辑与DRAM，使毫米级垂直连接替代带PHY的厘米级中介层路径。报告给出的3D垂直I/O能耗约为0.3–0.4 pJ/bit，约比HBM低一个数量级；具体接口测算为0.37 pJ/bit，而HBM4约为2–3 pJ/bit。Raptor使用TSMC N4/N4P逻辑顶层、3D-DRAM底层和36 µm间距的面对面堆叠。单芯粒提供4 GB容量、12.5 TB/s带宽和840个DRAM微银行；8个芯粒组成一张32 GB、100 TB/s卡，4卡形成128 GB、400 TB/s系统，18个托盘共72卡则达到2.3 TB容量和7.2 PB/s带宽。 模型装载测算采用4位权重、8位KV缓存和72卡扩展域。GLM 5.2包含7440亿总参数、400亿激活参数，在100万上下文下每名用户需要44.7 GB KV缓存；Kimi K3包含2.8万亿总参数、约1020亿激活参数，每名用户需要11.7 GB KV缓存。报告称72张、每张32 GB的Raptor卡可在100万上下文下承载Kimi K3，分离式部署和多机架可以继续扩展；其结论页进一步称，一个Raptor机架服务约3万亿参数模型、100万上下文时可持续实现约1000 TPS/用户。 高带宽只有在计算、内存与互连共同设计时才能转化为有效性能。Raptor需要通过分片和集体通信协调分层网络上的约8000个虚拟设备，而典型GPU系统约为72个设备；低延迟因此是避免受阿姆达尔定律限制的必要条件。报告采用封装内全互连拓扑，以虚拟对角链路降低封装内延迟，避免物理对角线增加距离、D2D功耗和封装层数；卡内与卡间协议采用设备发起、单向且源卡无需确认的推送式传输，以支持多项并行的短消息传输。 第一项具体集成难题是银行到通道的映射。每个计算引擎访问需要128 B数据，而每次银行列访问只能返回32 B，因此理论上每通道需要4个银行。芯粒有256个通道，DRAM共有840个银行，扣除72个备用银行后仅有768个可用银行，即每通道3个。直接执行两次访问会为一个128 B flit读取192 B，造成33%过取并浪费约33 TB/s。简单的列错位方案需要192 B移位缓冲区，并增加时序收敛和验证难度。Raptor采用“流阻塞”：将第四个32 B部分访问在三个flit之间共享，使4×96 B输入恰好形成3×128 B输出，从而将过取降至0%，充分利用每次列访问并收回约33 TB/s带宽。 第二项难题是I/O功耗。按100 TB/s和0.37 pJ/bit计算，I/O本身约消耗296 W。传统HBM的数据总线反转依靠多周期突发、对完整突发的预判以及专用DBI引脚；Raptor的3D-DRAM接口是单周期、256位传输，没有突发和旁带引脚，无法直接复用该机制。其“流翻转”方案按通道比较相邻flit：写入时在翻转位较少时反转当前flit，读取时根据与ECC共同存放的1位标签恢复数据。报告称该方案仅产生0.8%开销、不需要修改PHY，并可降低20% I/O功耗。 第三项难题是105°C结温下的可靠性。DRAM标准保持时间在85°C时为32 ms，在105°C时缩短到4 ms，意味着刷新频率提高8倍；高温还会增加软错误，而840个银行带来的良率风险、单个故障银行造成的通道不对称，以及ECC、巡检和刷新对吞吐量的争用必须同时解决。Raptor利用深度银行结构，其行数少16–32倍，因此4 ms刷新带来的带宽成本仅为1.37%，仍可维持约100 TB/s；最后8个列位置存放交错的[132,128] Reed–Solomon纠错码及DBI位。72个在线冗余微银行通过两级银行链处理任意位置的最多两个故障，由备用银行回填，从而保持通道宽度对称且只增加可忽略的布线成本。 在按硅面积和有效带宽进行的比较中，Raptor容量密度为11.4 MB/mm²，低于HBM4 24 Gb的21.9、HBM4 32 Gb的26.3及Rubin R200的21.9 MB/mm²；但其带宽密度为32.6 GB/s/mm²，显著高于三者的1.67、1.51和1.39 GB/s/mm²。Raptor每GB/s功耗为2.96 mW，而比较对象均为40.0 mW；该比较采用Raptor 83%、Rubin 85%的有效带宽利用率。报告因此强调，低延迟推理未必要求每卡容量最大，而是更适合以适度容量配合极高带宽。早期硅片材料进一步称，在Llama-3.1 70B、DeepSeek-V3、Kimi K2、GPT-OS、Whisper和Canary等模型上，Raptor 3D-DRAM吞吐量分别达到HBM方案的4.71倍和SRAM方案的2.44倍，并且对网络时延和带宽的敏感度更低。

分析框架

报告先按预填充与解码阶段拆解生成式推理瓶颈，再用容量、带宽、延迟、I/O能耗和封装约束比较SRAM、HBM与3D-DRAM。随后从芯粒到卡、托盘和72卡机架进行模型容量与带宽测算，并逐一分析银行映射、I/O功耗、高温刷新、ECC及冗余问题。最后以有效带宽利用率、单位硅面积指标、单位带宽功耗及多模型吞吐量比较验证设计取舍。

方法论与常识提炼

• 行业/产业分析框架供需框架

  推理数据需求与内存能力匹配

  报告把不断增长的模型权重和KV缓存视为容量与带宽需求，再对照SRAM、HBM和3D-DRAM能够提供的容量、带宽及功耗，判断哪种内存结构更适合长上下文推理。

• （词表外方法）

  预填充—解码瓶颈分解

  报告将推理过程拆成通常受计算吞吐量限制的预填充阶段和通常受内存带宽限制的解码阶段，以说明高带宽3D-DRAM主要解决哪一段运行时间。

• （词表外方法）

  硬件、架构与工作负载协同设计

  报告不是把3D-DRAM当作外接存储，而是联合设计银行映射、数据流、互连协议、刷新、纠错和冗余，使物理堆叠带来的原始带宽能够转化为有效推理吞吐量。

• （词表外方法）

  硅面积与有效带宽归一化比较

  报告按每平方毫米容量、每平方毫米带宽及每GB/s功耗比较Raptor、HBM4和Rubin R200，并纳入Raptor 83%与Rubin 85%的有效带宽利用率，以避免仅比较名义规格。

• （词表外方法）

  阿姆达尔定律

  报告用该定律说明，即使内存带宽大幅提高，只要卡内或卡间通信延迟没有同步下降，剩余串行或通信部分仍会限制系统整体加速效果。

标的映射与对比

研报将主题/逻辑映射到具体标的时的结构化摘要（优势、劣势、对比与风险）。

• d-Matrix Raptor 3D-DRAM生成式推理加速器

  报告将其定位为面向长上下文、低延迟生成式推理的3D堆叠逻辑存储一体化平台。

  优势

  单卡100 TB/s带宽、较低I/O能耗、从芯粒到72卡机架的扩展能力，以及流阻塞、流翻转、热感知刷新、ECC和银行链等协同设计。

  劣势

  单卡容量为32 GB，按硅面积计算的容量密度为11.4 MB/mm²，低于报告列示的HBM4和Rubin R200；系统还需协调约8000个虚拟设备。

  对比

  报告给出的Raptor带宽密度为32.6 GB/s/mm²、单位带宽功耗为2.96 mW/GB/s，比较对象分别为1.39–1.67 GB/s/mm²和40.0 mW/GB/s；跨模型吞吐量较HBM和SRAM方案分别高4.71倍和2.44倍。

  风险

  面临3D堆叠散热与供电、微凸点良率、银行故障、105°C下刷新和软错误、宽并行总线信号完整性，以及多芯粒与多卡通信延迟等集成风险。

关键数据

• 64用户、100万上下文KV缓存约935 GB说明长上下文与并发用户共同放大内存容量需求。
• SRAM示例规格300 TB/s、4 GB、约1 ns、约0.5 pJ/bit带宽和延迟突出，但容量、漏电和成本限制扩展。
• HBM4实用带宽上限约20 TB/s受封装边缘空间、堆叠数量及I/O扩展约束。
• HBM达到100 TB/s的内存功耗1.92 kW按2.4 pJ/bit计算，且不包括互连功耗。
• Raptor单卡32 GB、100 TB/s由8个4 GB、12.5 TB/s的3D-DRAM芯粒组成。
• Raptor 72卡机架2.3 TB、7.2 PB/s由18个托盘、72张卡组成。
• GLM 5.2模型测算744B总参数、40B激活参数、44.7 GB KV/用户采用100万上下文。
• Kimi K3模型测算2.8T总参数、约102B激活参数、11.7 GB KV/用户72张32 GB卡可在100万上下文下承载该模型。
• 原始银行映射过取33%，约33 TB/s每通道仅3个银行，直接读取128 B flit需要获取192 B。
• 流阻塞效果0%过取共享部分访问后，384 B输入对应384 B有效输出。
• 100 TB/s下的3D-DRAM I/O功耗296 W按0.37 pJ/bit计算。
• 流翻转效果20%功耗节省、0.8%开销标签与ECC共同存放，不增加PHY旁带引脚。
• 105°C刷新要求32 ms降至4 ms，刷新频率提高8倍深度银行设计将带宽成本控制在1.37%。
• 带宽密度Raptor 32.6 GB/s/mm²；HBM4与Rubin R200为1.67、1.51、1.39 GB/s/mm²基于有效带宽口径比较。
• 单位带宽功耗Raptor 2.96 mW/GB/s；比较对象40.0 mW/GB/s数值越低越好。
• 跨模型吞吐量比较较HBM高4.71倍，较SRAM高2.44倍覆盖报告列举的语言模型和语音模型工作负载。

影响与含义

报告认为，生成式推理加速器的竞争重点正在从单纯增加计算单元转向同时解决数据容量、带宽、能耗与通信延迟。Raptor选择牺牲部分单位面积容量密度，换取远高于HBM的带宽密度和更低的单位带宽功耗；若银行映射、传输编码、高温刷新、ECC和冗余设计能够按早期硅片结果运行，这种适度单卡容量与极高带宽的组合可改善长上下文、低延迟解码，并支持万亿参数级模型扩展到72卡机架。

风险

• 加速器热量必须穿过温度敏感的DRAM堆栈排出，且数百瓦供电需经TSV传递，可能带来结温、压降和散热约束。
• 840个银行和36 µm微凸点增加良率及对准风险；即使1%的故障率也可能导致整条通道失效或通道不对称。
• 105°C下DRAM保持时间由32 ms降至4 ms，刷新频率提高8倍，软错误、ECC、巡检与刷新若协调不当可能压低吞吐量。
• 宽并行总线面临串扰、同步开关噪声、时钟分配和跨堆栈偏斜问题。
• 约8000个虚拟设备的分片和集体通信对网络拓扑、协议、带宽与低延迟提出高要求。
• 向多层堆叠扩展仍面临布线、供电和热管理挑战，混合键合路线也尚需推进至小于2 µm间距和8层堆叠。

后续跟踪

• 关注早期硅片在更多实际生成式推理工作负载下对100 TB/s有效带宽、功耗和吞吐量结果的验证。
• 关注72卡及多机架部署中的分片、集体通信和网络延迟能否维持报告所述扩展效率。
• 关注105°C环境下4 ms刷新、交错ECC、巡检和72个备用银行的长期可靠性表现。
• 关注混合键合向小于2 µm间距、8层堆叠发展的路线，以及多层堆叠的布线、供电和散热进展。