提交训练作业

控制台支持 recipe、源码包和镜像三种提交方式。确认前请检查解析后的 Fleet、执行后端、GPU 数量、警告和有效期。预览不会创建排队任务，确认提交后才会创建；配置与来源信息可以展开查看。

tp submit my-grpo --profile h200:8

本地校验、打包工作树并上传，然后展示预览供确认。确认提交后才排队，并打印 job id。下面每一节都是改变这条命令行为的方式。完整参数表在 tp submit。

从控制台发起训练

打开 作业 → 提交作业，或在模板详情页点击提交作业。默认的 Recipe 与配置表单不需要手写 JobSpec JSON：

填写项目，选择训练框架、模板及支持的框架版本。
设置实验名称、基础模型引用、训练/验证数据集引用及 split。
填写 GPU 系列、节点数和每节点 GPU 数。CPU 和内存预算按节点填写；调度器会选择兼容的 Fleet。
调整模板声明的参数。展开优化器、微调或其他分组，也可按参数名搜索。留空沿用模板默认值。LoRA 等框架专属选项仅在模板声明时显示。
解析预览，检查选定的 Fleet、运行环境详情、GPU 数量和警告，再确认提交。仅预览不会创建训练作业。

切换框架或模板会清除不兼容的输入，切换框架版本会重置参数覆盖。任何编辑都会使旧预览失效。确认结果不确定时，重试会沿用同一预览，避免重复创建作业。高级运行环境设置允许填写固定摘要的镜像覆盖。所选框架/版本必须有已注册的运行环境；选择表单选项不会自动安装训练框架。自定义项目仍可使用源码包或镜像提交方式。

选硬件

tp submit my-grpo --profile h200          # 注册表里的默认形状
tp submit my-grpo --profile h200:4        # 4 张卡
tp submit my-grpo --profile h200:16       # 16 张卡，两个整节点

重复这个参数可以把角色分到不同卡型上。共用一个 pool 的角色用逗号分隔：

tp submit my-grpo --profile train=h200:8 --profile rollout=h100:2
tp submit my-distill --profile actor,rollout=h200:8 --profile teacher=h200:8

多 pool 需要一个 kubernetes 或 slurm Fleet。见资源模型。

只为这一次覆盖超参

tp submit my-grpo --profile h200:8 \
  -s policy.optimizer.kwargs.lr=1e-6 \
  -s loss_fn.reference_policy_kl_penalty=0.05

可重复。类型和范围在任何东西上传之前就按方法声明检查过。它只影响这次提交，实验文件不动。

指向模型与数据

NeMo-RL
verl 和 TRL
平台数据集

模型和数据来自配置 —— 一个基线加一个模型片段。提交时通常不需要额外参数。

tp submit my-grpo --profile h200:8

--model 和 --train-data 是必填的。

tp submit my-verl --profile h200:4 \
  --model Qwen/Qwen3.5-9B \
  --train-data data/train.parquet \
  --validation-data data/val.parquet

按 <owner>/<name>[@version] 引用。作业启动时把它拉进共享缓存，并在环境里注入 <NAME>_DATA_DIR，所以 --train-data 是数据集内部的路径。

tp submit my-verl --profile h200:4 \
  --model Qwen/Qwen3.5-9B \
  --train-dataset alice/gsm8k-zh@v2 \
  --train-data train.parquet

更推荐在配置里写成 data.train.dataset。参数只是临时覆盖。见数据集。

挂载作业能读、但不能下载的材料

tp submit my-sft --profile h200:8 --volume acme/support-transcripts

一个 Volume 以只读方式出现在 $VOLUMES_DIR/<name>。它没有版本：当前内容就是它的内容。tp volume ls 列出你能引用的那些。可重复，更推荐在配置里写成 data.volumes。

把这次运行的产出发布成数据集

tp submit my-prep --profile h200:1 --output-dataset acme/support-sft@v1

作业往 $TUNEPLANE_DATASET_OUT_DIR 里写，运行成功后由平台发布。作业从不持有注册表凭据，发布出的数据集继承它所读材料的分级。

对着一个 agent 环境跑

tp submit my-agent --profile h200:8 --environment acme/web-shop@v3

平台把这个版本解析进作业运行时并只读挂载。tp env ls 列出你能引用的那些。见 agent 环境。

换一个镜像

tp submit my-custom --profile h200:8 --image registry.example.com/train:v1

对 custom 必填，其他情况下可选，作用是覆盖该框架已配置的默认镜像。解析顺序是 --image、控制台的框架默认、runtime 注册表、catalog。标签可用；生产上钉 digest。镜像仓库必须在服务端白名单上 —— 见自定义镜像。

训练之后自动串联步骤

tp submit my-grpo --profile h200:8 --then export --then eval

训练成功后自动运行。每一个都成为同一个 Pipeline 的一个 Step。见流水线。

从另一次运行继续

tp submit my-dpo --profile h200:8 --init-from run/run-4f2a91/checkpoint@step=500

SFT → DPO → GRPO 就是这么表达的。新的运行会记录一条指回旧运行的 Derivation，两个作业页上都能看到这条血缘。

换到更新的方法版本

tp submit my-grpo --profile h200:8 --upgrade-recipe
tp submit my-grpo --profile h200:8 --upgrade-recipe --framework-version 0.8.0

--framework-version 只有和 --upgrade-recipe 一起用才有效。单独用它不会改写 lock 文件。

上传了什么

三个目录：experiments/<exp>/、common/ 和 configs/。在一个 git 项目里，git 自己的忽略规则生效，另外还有一份共享的排除清单：

模式	为什么
`.tuneplane-data/**`	本地跑的控制台的数据库和凭据
`.git/**`	commit 记在 provenance 里，历史不随包走
`/outputs/`	本地残留。集群侧的输出是 `$TUNEPLANE_OUT_DIR`
`datasets//raw/`、`datasets//data/`	原始数据。改用数据集或 hub id
`/__pycache__/`	字节码
`*/.key`、`**/secrets.env`	密钥属于服务端

看起来像凭据的文件会拒绝打包，而不是被静悄悄跳过：.env、.envrc、credentials.json、 token.txt、api_key.txt、*.pem、*.key、id_rsa*、secrets.*、hf_token*、 *_credentials.json。把它挪出那三个被打包的目录。密钥通过平台自己的注入通道进入作业，从不经过作业包。

溯源

tp submit my-grpo --profile h200:8 --allow-dirty   # 带着未提交改动提交
tp submit my-grpo --profile h200:8 --no-validate   # 跳过本地校验

工作树不干净默认被拒绝，这样一个结果能追回到确切的 commit。未跟踪的文件两种情况下都以警告列出。

确认成功

tp submit 打印一个 job id 和 QUEUED 或 SUBMITTED 状态。然后：

tp job ls                 # 你的作业
tp job logs               # 跟最近一个
tp job status <JOB_ID>    # 单个作业的细节

服务端拒绝或等待时

拒绝会点名是哪个 gate。已准入但在等的作业也会点名，在作业页和 tp status 里。

Gate	怎么办
`admission`	profile 不在硬件注册表里，或 pool 的 series 与 profile 的不一致。形状写成 `--profile h200:4`，不要去改 series
`userQuota`	超了并发 GPU、并发作业或每日 GPU 小时，或者这个 profile 不在你的许可集合里。等待是正常的，作业会自己出队
`capacity`	该 series 空闲卡不够。`capacity.neverFits` 表示这个 series 根本没有那么多卡
`offlineSeries`	集群里没有该 series 的节点。换一个在线 series 的 profile
`scheduleWindow`	该 series 的可用时间窗关闭。信息里会说下次什么时候开
`storageQuota`、`diskWatermark`	用 `tp clean` 回收运行，然后重试
`maintenance`	集群在排空。作业之后会自己开始

过期的 recipe.lock.json 会在上面这些之前就被拒绝：加 --upgrade-recipe 重新提交。

下一步

参数扫描 · 流水线 · 作业状态 · 故障排查

开始

核心概念

训练模型

评测与服务

Agent 环境

扩展平台

协作

集成

参考

帮助

提交训练作业

从控制台发起训练

选硬件

只为这一次覆盖超参

指向模型与数据

挂载作业能读、但不能下载的材料

把这次运行的产出发布成数据集

对着一个 agent 环境跑

换一个镜像

训练之后自动串联步骤

从另一次运行继续

换到更新的方法版本

上传了什么

溯源

确认成功

服务端拒绝或等待时

下一步

​从控制台发起训练

​选硬件

​只为这一次覆盖超参

​指向模型与数据

​挂载作业能读、但不能下载的材料

​把这次运行的产出发布成数据集

​对着一个 agent 环境跑

​换一个镜像

​训练之后自动串联步骤

​从另一次运行继续

​换到更新的方法版本

​上传了什么

​溯源

​确认成功

​服务端拒绝或等待时

​下一步

从控制台发起训练

选硬件

只为这一次覆盖超参

指向模型与数据

挂载作业能读、但不能下载的材料

把这次运行的产出发布成数据集

对着一个 agent 环境跑

换一个镜像

训练之后自动串联步骤

从另一次运行继续

换到更新的方法版本

上传了什么

溯源

确认成功

服务端拒绝或等待时

下一步