AI推理重塑内存需求：KV缓存卸载与智能体AI成核心驱动

概览

本篇研报由TrendForce发布，深度剖析了AI推理时代对内存和存储系统带来的结构性变革。报告指出，随着AI从训练走向推理，硬件需求的核心矛盾正在转移。KV缓存（KV Cache）的爆炸式增长催生了存储层级卸载的新需求，而智能体AI（Agentic AI）的崛起则彻底重塑了CPU与GPU的算力配比，进而为CPU RAM和企业级SSD开辟了巨大的增量市场。

核心观点

AI推理阶段的硬件需求与训练阶段存在本质差异，主要体现在更高的每秒查询率（QPS）、更长的上下文窗口以及更多的推理步骤。Nvidia数据显示，自2024年下半年以来，单问题平均输出Token数以每年超5倍的速度激增，达到3万至4万Token，标志着行业进入“测试时缩放（Test-time Scaling）”的思考阶段，这直接转化为对内存和算力的巨大消耗。 在内存占用方面，模型权重属于静态分配，而KV缓存则是动态分配。随着对话长度和批处理规模（Batch Size）的增加，KV缓存的内存消耗急剧上升。当GPU的HBM容量不足时，系统不得不丢弃KV缓存并重新计算，导致延迟增加和总拥有成本（TCO）上升。为此，Nvidia推出了Dynamo软件，将不常访问的KV缓存卸载至带宽较低但容量更大、成本更优的CPU RAM和SSD中。同时，Nvidia于2026年初发布了CMX上下文内存存储平台，通过BlueField-4 DPU在本地SSD和共享存储之间增加了一个Pod级别的上下文层（SSD POD，即G3.5层），专门用于管理长上下文工作负载产生的海量KV缓存。 另一方面，智能体AI（Agentic AI）的爆发正在重塑CPU架构。智能体需要主动规划、调用工具并执行操作，这要求CPU承担编排、数据路由和子智能体评估等任务。因此，CPU与GPU的工作负载比例正从传统的1:4或1:8向1:1演进。Nvidia推出了专为智能体设计的Vera CPU，支持高达1.5TB的LPDDR5X内存，是上一代Grace的三倍。不过，由于供应商2027年LPDRAM产能分配不足，Nvidia被迫将下一代Vera Rubin超级芯片模块的SOCAMM内存容量减半。除Nvidia外，Intel、AMD、Arm和Ampere也在2026年密集发布新品，迎接智能体AI带来的CPU全面换代潮。

分析框架

研报采用了“需求拆解与架构演进”的分析框架。首先，机构将AI推理的硬件需求拆解为模型权重（静态）和KV缓存（动态）两个维度，通过量化Token输出的激增趋势，推导出HBM容量瓶颈，进而引出“KV缓存卸载”这一技术路径及其对SSD POD和CPU RAM的拉动作用。其次，机构从智能体AI的工作流特征（规划、工具调用）出发，推导出其对低延迟和CPU算力的依赖，从而得出CPU/GPU配比向1:1收敛的产业趋势，并最终落脚于CPU RAM及新一代CPU硬件的增量需求。

方法论与常识提炼

• 行业/产业分析框架产业链上中下游传导

  软硬件协同与存储层级传导

  研报分析了AI软件层（如长上下文、智能体工作流）的变化如何向下传导至硬件层，导致存储架构从单一的HBM向'HBM-CPU RAM-SSD POD'的多级缓存体系演进，帮助读者理解软件需求如何重塑硬件产业链的价值分布。

• 行业/产业分析框架供需框架

  产能瓶颈对技术规格的逆向约束

  研报指出Nvidia因供应商LPDRAM产能分配不足而被迫减半下一代芯片内存容量，体现了在半导体周期中，上游核心零部件的供给瓶颈会直接反向约束下游终端产品的技术规格与迭代节奏。

标的映射与对比

研报将主题/逻辑映射到具体标的时的结构化摘要（优势、劣势、对比与风险）。

• Nvidia (NVDA)

  AI算力与架构主导者，推出Dynamo软件、CMX平台及Vera CPU，直接受益于推理时代软硬件生态的升级。

  优势

  拥有完整的AI软硬件生态，能够定义KV缓存卸载标准及智能体CPU架构。

  劣势

  受制于上游LPDRAM产能分配，下一代产品规格被迫妥协。

  对比

  在AI推理生态的定义上领先于传统CPU厂商。

  风险

  上游存储芯片产能不足可能限制其高端产品的出货与性能释放。

• Intel (INTC) / AMD (AMD)

  传统x86 CPU巨头，受益于智能体AI带来的CPU算力需求回升及CPU/GPU配比重塑。

  优势

  在服务器CPU市场拥有深厚的积累和产能基础。

  劣势

  在AI专属架构的定义上处于跟随状态。

  对比

  面临Nvidia Vera及Arm阵营在Agentic AI专用CPU市场的激烈竞争。

  风险

  若未能及时适应智能体AI对超低延迟架构的需求，可能丢失增量市场份额。

• SK hynix

  核心存储供应商，提供HBM、SOCAMM及企业级SSD，直接受益于KV缓存卸载及CPU RAM需求爆发。

  优势

  在HBM及AI相关存储产品线布局领先，是Nvidia的核心供应商。

  劣势

  LPDRAM产能分配面临多方博弈。

  对比

  在AI存储硬件的迭代速度上处于行业第一梯队。

  风险

  产能扩张节奏若不及预期，将影响对核心客户的供应保障。

关键数据

• 单问题平均输出Token数增速>5倍/年自2024年下半年以来激增，目前达到约30,000至40,000个Token。
• CPU与GPU工作负载比例演进1:4/1:8 -> 约1:1智能体AI（Agentic AI）工作流导致CPU算力需求大幅上升。
• Nvidia Vera CPU内存支持1.5 TB LPDDR5X是上一代Grace CPU容量的三倍。
• CMX平台单机架容量约9,600 TB基于64个BlueField-4 DPU管理，用于Pod级上下文存储。

影响与含义

研报认为，AI推理时代的到来正在彻底革命化存储系统。对于存储产业链而言，SSD POD作为介于本地SSD和共享存储之间的新层级（G3.5），将迎来持续的需求增长；对于半导体产业链而言，智能体AI对低延迟和CPU算力的渴求，不仅打开了CPU RAM的增量空间，也使得2026年成为全行业CPU架构为适应AI而全面刷新的重要拐点。同时，上游LPDRAM的产能紧缺已成为制约AI芯片规格升级的关键瓶颈。

风险

• 上游LPDRAM产能分配不足，可能持续制约AI芯片及服务器内存规格的升级。
• AI推理应用落地及智能体AI商业化进度不及预期，导致硬件增量需求放缓。

后续跟踪

• Nvidia及Google等巨头SSD POD平台的实际部署规模与采购节奏。
• 2026年各主要CPU厂商（Intel、AMD、Arm等）针对Agentic AI新品的市场接受度与出货量。
• 上游LPDRAM供应商2027年的产能扩充计划及对Nvidia等核心客户的分配调整。