
评测矩阵:运行按行,评测集按列,列内最高分高亮。
能给什么打分
给一次运行打分要求它已经导出过。提交时加
--then export 能免掉你去记这件事。
挑评测集
gsm8k、math、humaneval、mmlu、ceval、ifeval,加上 RTL 那几个。任何以
benchmark pack 发布的也会出现在这里。
跨类别多跑几个。后训练会稳定地改善一个轴、同时悄悄损坏另一个,而这只有在你测了不止你在优化的那个
轴时才看得见。
值得知道的参数
两个 runner 产出同一份评分契约,所以同一个评测集不管谁跑都可比。
让每次运行都自动打分
eval: 段。
上报一个跑不进来的 harness 的分数
一个有许可证的工具,或一台物理测试台:create 返回一个 run id,submit 把分数文件报到它上面。--train-run 是让评测门禁和模型注册表把
这些分数当作权威的那个参数;没有它,分数会被记下但不权威。
它们进同一张矩阵,标注为外部产生。