PENDING 会
被映射到下面这张表上。不会因为观察不到而把某个作业报成成功。
每个状态的含义
QUEUED 不表示”已经在 Slurm 上等 GPU”。那是 PENDING。作业停在 QUEUED 时，先查配额和调度
时间窗，再去查 kubectl get pods —— 作业页会点名是哪个 gate 卡着它。
暂停、恢复与重试
QUEUED，调度器提交一次新的启动，所以配额、容量和调度
时间窗都会再次生效。
重试保留同一个 run id，因此写进同一个输出目录，框架从它最新的 checkpoint 继续。一行记录、
一个 run id，重试次数加一。
自动重试只对到过 RUNNING 的作业生效。在那之前就死掉的作业通常死于自己的配置，重试只会复现
一遍。重试有预算和冷却时间，都由部署设定；次数在作业页上。不想再来一次就把作业停掉。
重试按钮变灰时，提示会说明原因。通常是工作目录快照已经没了：它是提交时那份代码的唯一副本，
作业记录被删除时会被清掉，之后这个作业只能重新提交。
一个 Pipeline 收敛成一个词
带--then export --then eval 的一次提交是一个由多个 Step 组成的 Pipeline。作业列表显示
Pipeline 的状态，不是每个 Step 的。
partial 是最值得认识的那个：训练成功了，导出或评测没有。
GPU 时间怎么计
排队时间免费。容器起来、作业持卡之后开始计。数值是gpu_seconds —— 墙钟时间 × 卡数 —— 显示在
控制台的 Usage 页上。
下一步
资源讲把作业卡在QUEUED 里的配额与时间窗规则。
流水线讲怎么串联步骤。
故障排查讲起不来的作业。