故障排查

tp status                 # 你的账号、配额和活跃作业
tp job status <JOB_ID>    # 单个作业，含卡着它的那个 gate
tp job logs               # 跟最近一个作业

这三条能回答大部分问题。下面这些表是给它们回答不了的情况准备的。

现象	处理
`tp login` 打不开浏览器	加 `--device-flow`。CLI 会打印一个短码；在任何设备上打开它给的 URL 并输入那个码
在 CI 里	`tp login --token <service token>`
401，或令牌过期	再跑一次 `tp login`。凭据在 `~/.tuneplane/`，按机器独立。被停用的账号也读作 401，所以先查账号
每条 `tp` 命令什么都没打印就死	`~/.tuneplane/credentials.json` 里有非 ASCII 字符，而这台机器的 locale 编码不是 UTF-8。升级 CLI

提交被拒

信息点名	原因	处理
recipe 契约或 `runtime_id` 不一致	你的 lock 和服务端 catalog 偏离了	`tp recipe status <exp>`，然后 `tp recipe upgrade <exp>`，或带 `--upgrade-recipe` 提交
有未提交改动	一次提交必须能追到确切的 commit	`git commit`，或者接受失去溯源就用 `--allow-dirty`
配置校验失败	拼错的键、超范围的值，或 batch size 不整除	逐个修掉，然后用 `tp validate <exp>` 确认再提交
Hugging Face 前置检查失败	一个你没被批准的受限仓库，或写错的 `org/name`	先去 hub 上申请权限，然后绑定你的账号
镜像仓库不在白名单上	`--image` 的主机不在 `TUNEPLANE_ALLOWED_IMAGE_REGISTRIES` 里。空列表会完全拒绝用户镜像	找管理员。见自定义镜像
`custom external observability requires spec.framework.observability_url`	已发布的 `custom/custom` recipe 声明了 `external`	传 `--observability-url`。见自带训练器
未知的 profile，或 pool 的 series 与 profile 的不一致	profile 不在硬件注册表里，或你改了 series 而不是形状	形状写成 `--profile h200:4`
打包时点名某个文件被拒	打包器发现了看起来像凭据的东西	把它挪出 `experiments/`、`common/` 和 `configs/`

作业起不来

状态	按这个顺序查
`QUEUED` 一直不动	作业页和 `tp status` 里会点名那个 gate。先看配额，再看该 series 的空闲卡，再看调度时间窗是否关闭，最后看维护模式
`QUEUED` 且该 series 没有节点	`offlineSeries`：集群里没有那个 series 的机器。换一个在线 series 的 profile
`PENDING` 好几分钟	拉镜像慢、没有匹配选择器的节点，或卡不够。作业的 Config 和 Logs 标签页里带着后端自己的事件。过了 pre-running 超时之后作业被标为失败
几秒内 `FAILED`，带一条脚手架信息	`train.sh` 从来没改过。脚手架以 1 退出并会这么说

QUEUED 从不表示”已经在集群上等 GPU”。那是 PENDING。见作业状态。

它在跑但曲线是空的

按这个顺序查：

Logs 标签页。 权重可能还在下载。一个 9B 模型在冷缓存上要几分钟。
有没有东西在上报。 catalog 方法会替你接好指标。custom 作业必须自己调 tuneplane.report —— 见自带训练器。
ingest 是否可达。 容器里的 TUNEPLANE_JOB_ENDPOINT 必须是 GPU 节点能到的地址，它由部署以 TUNEPLANE_INGEST_URL 配置。如果它指向控制台主机上的 127.0.0.1，什么都到不了，而日志看起来一切正常。

其他训练问题

现象	是什么
一个 `FAILED` 之后出现一个新作业	自动重试，在预算内、过了冷却时间。次数在作业页上。不想再来一次就把作业停掉
OOM，或容器被杀	降 `train_micro_batch_size`、打开 activation checkpointing、降 vLLM 的 `gpu_memory_utilization`，或换一个更大的 profile。Diagnosis 标签页通常会点出那个改动
作业报告在跑但 step 不前进	一个挂住的集合通信、一个消失的共享挂载，或一个内存耗尽但没退出的进程。先看 Logs，再看 System
验证样本是空的	早期正常。样本在某轮验证时出现，所以 `val_period` 要大于零、而且要已经跑到过一轮
reward 恰好平在一个值上	先怀疑判定器，再怀疑模型。一个返回常数的判定器和一个什么都做不到的任务看起来一模一样。见判定器
`train/token_mult_prob_error` 超过 1–2%（NeMo-RL）	训练器与 rollout 引擎之间的权重同步是坏的。此时一条看起来很好的 reward 曲线不可信
checkpoint 不见了	它们被写到了 `$TUNEPLANE_OUT_DIR` 之外

日志

现象	处理
`tp job logs` 一直断	CLI 会自己重连并续上。持续断开通常是反向代理在给 `/api` 做缓冲 —— nginx 需要关掉 buffering
你想要全部历史	`tp job logs <JOB_ID> -n 0`

还是卡住

在控制台里打开那个作业，从 Diagnosis 标签页跑一次 AI 诊断。它会读日志尾部、指标趋势、验证样本和配置快照，并给出包含一份重新提交计划的改动建议。那也答不上来的话，把 run id 交给管理员：服务端日志里有作业页显示不了的东西。

下一步

FAQ · 作业状态 · 错误

开始

核心概念

训练模型

评测与服务

Agent 环境

扩展平台

协作

集成

参考

帮助

登录

提交被拒

作业起不来

它在跑但曲线是空的

其他训练问题

日志

还是卡住

下一步

​登录

​提交被拒

​作业起不来

​它在跑但曲线是空的

​其他训练问题

​日志

​还是卡住

​下一步

登录

提交被拒

作业起不来

它在跑但曲线是空的

其他训练问题

日志

还是卡住

下一步