RL 训练效率核心在于训练器与生成器吞吐量匹配

概览

本篇研报由 SemiAnalysis 发布，核心探讨强化学习（RL）训练系统的效率问题。报告通过多组开源 RL 框架实验（包括 Prime RL、slime、verl 等），验证了系统效率的关键在于训练器与生成器之间的吞吐量匹配。研报进一步对比了自建 RL 训练方案与 Thinking Machines Lab 的 Tinker 托管平台的总拥有成本（TCO），发现自建方案成本显著高于托管平台。

核心观点

吞吐量匹配是 RL 训练系统效率的核心。报告将 RL 训练系统视为一个队列：生成器生产轨迹数据放入队列，训练器从中消费。当生成器速度慢于训练器时，队列变空，训练器闲置等待；当生成器速度更快时，队列增长，样本逐渐过时，导致策略陈旧问题。理想状态下，训练器消费速率应大致等于生成器生产速率。 异步训练引入策略陈旧性挑战。PipelineRL 通过允许训练器在轨迹生成仍在进行时推送新权重（飞行中权重更新），实现训练器与生成器的异步执行。但这导致样本由新旧策略混合生成，称为策略陈旧性。报告指出 RL 算法可容忍一定程度的陈旧性，但需设定策略陈旧性预算，限制生成器领先训练器的步数上限。 模型能力与行为是动态变量。模型能力通过解决率衡量，当解决率接近 0% 或 100% 时，奖励分布均匀，优势值为零，训练信号崩溃。课程设计需将解决率维持在中间区间。同时，RL 训练会激发思维链推理，导致输出长度增长，增加 KV 缓存使用，减少最大并发数并增加端到端延迟。 沙箱扩展是关键瓶颈。报告在实验中尝试 96 至 960 不等的并发推演规模，当达到 960 时出现沙箱初始化错误及长达 1 小时的启动延迟。沙箱需随并发推演数量同步扩展，且需具备故障恢复能力，这对基础设施可靠性提出挑战。 自建方案成本显著高于托管平台。基于 H200 GPU 的 TCO 分析显示，每 GPU 每小时总成本为$1.59（资本成本$1.15，运营成本$0.44）。slime 实验最终成本为$16.23/Mtok，比 Tinker 公布的$4.86/Mtok 目标高 4.86 倍；Prime RL 实验成本为$6.90/Mtok，比 Tinker 的$3.43/Mtok 目标高 2.01 倍。

分析框架

报告采用系统建模与实验验证相结合的方法。首先将 RL 训练系统抽象为生产者 - 消费者队列模型，定义训练器消费速率和生成器生产速率的计算方式。然后通过多组实验（Qwen3-235B、GLM-5 等模型，Prime RL、slime 等框架）收集实际运行数据，包括样本吞吐量、训练器等待比例、MFU 利用率等指标。 成本分析方面，报告构建了 H200 GPU 集群的 TCO 模型，涵盖服务器资本支出（每台$361k，每逻辑 GPU$45.2k）和运营成本（电费与托管费合计每 GPU 每月$299）。通过将实验运行时长与 GPU 数量代入 TCO 模型，得出自建方案的每百万 token 成本，并与 Tinker 公布价格对比。 报告还分析了 Tinker 成本优势的潜在来源，推测多租户架构是主要驱动因素：LoRA 训练允许不同用户共享大部分权重，训练端可批量处理跨用户请求；生成端可通过其他租户的推理结果填充空闲计算槽位，缓解掉队者效应。

方法论与常识提炼

• 行业/产业分析框架供需框架

  吞吐量匹配框架

  将 RL 训练系统视为生产者（生成器）与消费者（训练器）的供需关系，系统效率取决于两者速率匹配程度，失衡会导致训练器闲置或样本陈旧。

• 公司基本面与财务框架

  TCO 总拥有成本分析

  将硬件投资拆分为资本成本（服务器、网络、存储等一次性支出）和运营成本（电费、托管费等持续支出），按使用年限和利用率折算为每小时单位成本，用于对比不同方案的经济性。

• 量化/因子/组合理论

  策略陈旧性预算

  异步训练中生成器使用的策略版本与训练器应用梯度时的策略版本存在差距，需设定预算限制该差距，平衡系统效率与训练稳定性。

• 行业/产业分析框架

  多租户架构成本优势

  通过多用户共享权重和计算资源，训练端可批量处理请求，生成端可用其他租户任务填充空闲槽位，显著提升资源利用率并降低成本。

• 公司基本面与财务框架

  队列健康状态分析

  将训练系统抽象为队列，通过过采样、早期剪枝控制进入队列的内容，通过自适应采样和策略陈旧度管理控制离开队列的内容，队列健康决定系统效率。

关键数据

• H200 GPU 总拥有成本$1.59/小时/GPU资本成本$1.15/小时（占 72.5%），运营成本$0.44/小时
• slime 实验成本$16.23/Mtok比 Tinker 公布的$4.86/Mtok 目标高 4.86 倍
• Prime RL 实验成本$6.90/Mtok比 Tinker 公布的$3.43/Mtok 目标高 2.01 倍
• 训练器等待比例（slime 实验）74%训练器消耗速率是生成器实际输出速率的约 4 倍
• 训练器等待比例（Prime RL 实验）30%模型利用率 MFU 为 10.5%
• H200 集群前期资本支出$361,255/服务器每逻辑 GPU 约$45,157，服务器本身占 71%
• Tinker 定价（Qwen3 235B）Prefill $0.68/Mtok, Sample $1.70/Mtok, Train $2.04/Mtok截至 2026 年 6 月 11 日公布的定价

影响与含义

对 AI 基础设施投资者而言，报告揭示了 RL 训练环节的系统瓶颈与成本结构。自建 RL 训练基础设施面临沙箱扩展、策略陈旧性管理、吞吐量匹配等技术挑战，且成本显著高于专业托管平台。Tinker 等多租户平台通过资源共享和推理优化实现成本优势，可能在 RL 训练服务市场占据有利地位。报告提示推理效率对总成本的决定性作用，PD 分离、推测解码等推理优化技术值得关注。

风险

• 沙箱扩展可靠性挑战，高并发时可能出现初始化错误和长尾延迟
• 策略陈旧性过高会损害模型学习效果，需平衡异步效率与训练稳定性
• 模型行为漂移（输出长度增长、工具调用增加）会动态改变系统约束
• 自建方案成本显著高于托管平台，经济性存在不确定性
• Prime Sandbox 仍处于测试阶段，错误信息解析困难

后续跟踪

• 沙箱基础设施的基准测试进展
• 模型推理轨迹分析结果
• PD 分离、推测解码等推理优化技术的实际应用效果
• 大规模 RL 训练（如 Nemotron 3 Ultra）的系统挑战
• 开源社区及 NVIDIA 等供应商推出的更优训练配方