-g 声明一个网格轴,可重复;多个轴取笛卡尔积。-s 是所有变体共享的固定
覆盖项。
每个变体都走普通的提交路径:本地校验、配额、排队。没有任何绕过 gate 的批量通道。
先看一眼网格
跟踪这一组
每个变体带同一个sweep_id,形如 sweep-<experiment>-<timestamp>。控制台的 Jobs 页会给 sweep
成员打标,项目页把它们的曲线画在一张图上。
QUEUED 里等而不是
失败 —— 这也意味着它们不会同时开始。
尽早砍掉没戏的变体
被停掉的变体,作业页上会写明在第几 step、与多少个变体比较、排名第几。
比较遵守四条规则,看结果之前值得知道:
- 只在 rung 上判断,从不连续判断,这样处在正常回落里的变体能活下来。
- 只比较到达了同一个 rung 的变体。
- 某个 rung 上不到四个变体就不做决定。
- 不管
--keep写多少,至少有一个变体活下来。
TUNEPLANE_SWEEP_EARLY_STOP_ENABLED=false 整体关掉这个功能,不用改任何 sweep。
怎么少花钱
先把学习率按数量级扫一遍 ——1e-6、1e-5、1e-4 —— 再在赢的那个数量级内做一次细扫。把
grpo.max_num_steps 降到刚好能看出趋势的最小值,挑前两名,再按完整长度训。
确认成功
tp sweep 打印 sweep_id 以及提交/排队了多少个变体。tp job ls 能看到它们,控制台的 Jobs 页
会把它们标成一组。