选一个方法

tp methods                  # 这个部署提供的全部
tp methods nemo-rl/grpo     # 某个方法的可调参数，带取值范围

你所连服务端发布了什么，tp methods 说了算。下面这些表是地图，不是版本承诺。控制台的方法页是同一份目录，参数摊开来看，第一次提交之前更好读。方法标识是 <framework>/<method>。

一个 recipe 钉住了什么

tp new 在你的配置旁边写出 recipe.lock.json：

字段	含义
`recipe.name`、`recipe.version`	方法和 recipe 版本
`recipe.digest`	manifest 与其模板的摘要
`framework.kind`、`framework.version`	确切的框架构建，比如 `verl@0.9.0`
`framework.runtime_id`	用哪个交付产物来跑：OCI 镜像、SIF、SQSH
`requires.core`	这个 recipe 能配合的 `tuneplane` 版本

提交时 CLI 会和服务端 catalog 握手，lock 必须与服务端发布的一致。平台发布更新的 recipe 时，旧 lock 会被拒绝，而不是被悄悄升级：

tp recipe status my-grpo                        # 变了什么
tp recipe upgrade my-grpo                       # 升到当前 catalog
tp recipe upgrade my-grpo --framework-version 0.9.0
tp submit my-grpo --profile h200:8 --upgrade-recipe   # 一步做两件事

一个 recipe 可以同时发布多个框架版本。入口变化和参数路径迁移声明在版本上，不在代码里分支，所以接纳一个新的上游发布通常只是一份 manifest 加一个镜像：

tp new my-verl --method verl/grpo --framework-version 0.9.0

NeMo-RL

完整后训练链路的默认框架。catalog 版本 nemo-rl@0.7.0。

方法	是什么	什么时候用
`nemo-rl/sft`	有监督指令微调	第一阶段；它的输出喂给 DPO 或 GRPO
`nemo-rl/dpo`	直接偏好优化	有成对标注；比 GRPO 便宜
`nemo-rl/grpo`	组相对策略优化	数学与推理 RL，无 critic
`nemo-rl/grpo-lora`	GRPO 配 LoRA	显存紧，或者要在单节点上放更大的底座。LoRA 学习率比全量微调高一到两个数量级
`nemo-rl/ppo`	带 critic 和 GAE 的 PPO	稠密奖励，或组内基线被扭曲时
`nemo-rl/rm`	Bradley-Terry 奖励模型	作为 RL 的奖励来源，或校准 LLM 裁判
`nemo-rl/distillation`	on-policy 蒸馏	学生采样，教师提供全分布 KL
`nemo-rl/maxrl`	最大似然 RL	把权重压在低通过率的难题上
`nemo-rl/opsd`	自蒸馏	教师是同一个模型加一份参考解

verl

字节跳动 verl，同步。catalog 版本 verl@0.9.0（默认）与 verl@0.9.1。这里每个 RL 方法跑的都是同一个上游入口 verl.trainer.main_ppo。区分它们的是 recipe 钉住的 advantage estimator。estimator 不是超参：在 config.yaml 里设它会在提交时被拒绝，因为一份和它自称的方法相矛盾的配置，比一个错误更糟。

方法	是什么
`verl/grpo`	同步 GRPO
`verl/dapo`	GRPO 加四项 DAPO 技巧，默认开启：clip-higher、动态采样、token 级 loss、超长奖励整形
`verl/ppo`	带 critic 的 GAE PPO。用于稠密或过程奖励
`verl/rloo`	留一基线：无偏，且不除组内标准差
`verl/reinforce-baseline`	REINFORCE++-baseline：组均值，再做全局 batch 白化。与 `openrlhf/reinforce-baseline` 是同一个 estimator
`verl/remax`	基线取自模型自己的贪心回答。每 prompt 一个样本，代价是每步多一次贪心
`verl/distillation`	on-policy 蒸馏。教师需要自己的 Resource Pool
`verl/sft`	上游的 SFT 训练器，以显式 torchrun argv 启动

loss 变体是参数，不是方法：GSPO、CISPO、GMPO、clip-cov、kl-cov 和 GPG 都是上面任意 RL recipe 的 policy_loss_mode。rollout 校正同理 —— 每个 verl RL 方法都带 rollout_is* 参数，因为 rollout 引擎和训练器从来不完全是同一个策略。

TRL

Hugging Face TRL 配 Accelerate。catalog 版本 trl@1.10.0。

方法	是什么
`trl/sft`	`SFTTrainer`
`trl/dpo`	`DPOTrainer`
`trl/grpo`	`GRPOTrainer`，在线 RL
`trl/grpo-judge`	GRPO，奖励来自平台裁判按一份版本化 rubric 给每条回答打分。适用于没有规则能判定对错的任务
`trl/rm`	序列分类头上的 `RewardTrainer`
`trl/kto`	二元好/坏标注，不需要成对
`trl/rloo`	组内留一基线；与 GRPO 同族
`trl/opsd`	`DistillationTrainer`，on-policy。需要同词表的教师

trl/grpo-judge 是训练与评测共用同一份资产的地方：同一份 rubric 也能给评测打分，所以你优化的东西和你上报的东西不会偏离。

OpenRLHF

DeepSpeed ZeRO 配 colocate 的 vLLM 混合引擎。catalog 版本 openrlhf@0.11.0（默认）与 openrlhf@0.11.2。镜像由部署方从 deploy/docker/Dockerfile.openrlhf 自建，因为上游没有发布包含该包的镜像。管理员设 TUNEPLANE_IMAGE_OPENRLHF 或把它加进 runtime 注册表。

方法	是什么
`openrlhf/sft`	上游 SFT：packing、多轮 loss、继续预训练
`openrlhf/dpo`	上游 DPO，带 IPO、cDPO 和 NLL 正则
`openrlhf/rm`	Bradley-Terry 奖励模型，可作为它自己 RL 方法的 `reward_pretrain`
`openrlhf/grpo`	组归一化 GRPO，无 critic。`no_std_norm` 就是 Dr.GRPO 口径
`openrlhf/ppo`	带 critic 的 GAE PPO；actor、critic、reference 和 reward 共卡
`openrlhf/reinforce-baseline`	REINFORCE++-baseline。与 `verl/reinforce-baseline` 是同一个 estimator，所以一次运行在两个栈之间迁移不用改

PyTorch

torchrun 下的原生 PyTorch 循环。catalog 版本 pytorch@2.14.0。镜像由部署方从 deploy/docker/Dockerfile.pytorch 自建。

方法	是什么
`pytorch/image-classification`	唯一的 `supervised` 方法：带标签的样本对从初始化开始训，spec 里没有底座模型。模型和输入管线在实验的 `train.py` 里

评测与自带

方法	是什么	在哪
`evalkit/benchmark`	lm-eval 或 evalscope；分数落进看板	评测
`custom/custom`	跑 `train.sh`。镜像你带，`tuneplane.report` 你调	自带训练器

custom/custom 需要 --image。平台不猜入口，也从不在别的适配器失败后回退到 custom。

按手上的数据选起点

下一步

各框架的实操：NeMo-RL · verl · TRL · OpenRLHF · PyTorch · 自带训练器常见的一条链是 SFT → DPO 或 GRPO → 评测。见流水线。

开始

核心概念

训练模型

评测与服务

Agent 环境

扩展平台

协作

集成

参考

帮助

一个 recipe 钉住了什么

NeMo-RL

verl

TRL

OpenRLHF

PyTorch

评测与自带

按手上的数据选起点

下一步

​一个 recipe 钉住了什么

​NeMo-RL

​verl

​TRL

​OpenRLHF

​PyTorch

​评测与自带

​按手上的数据选起点

​下一步

一个 recipe 钉住了什么

NeMo-RL

verl

TRL

OpenRLHF

PyTorch

评测与自带

按手上的数据选起点

下一步