
评测看板。跑过 tp bench 之前它是空的。
tp bench 产出的每个分数,在 /benchmarks 上一张矩阵里。跨运行、跨方法、跨底座模型都可比。
你看到什么
样本数很重要。用
--limit 20 测出来的分数和完整跑出来的不可比,而单元格就是你看见这件事的地方。
你能做什么
训练之前先给底座模型测一遍。没有那一行,这张看板没有参照系,每个提升都是一个没有东西可比的数字。
这些数字从哪来
tp bench 提交一个评测作业,在平台的评测镜像里跑 lm-eval、evalscope 或 RTL harness。分数写入是
幂等的:重新上报同一个运行和同一个评测集会更新那一行,而不是加第二行。
每个 runner 都遵守同一份评分契约,所以同一个评测集不管谁跑都可比。每个指标还带一个声明过的方向,
所以看板不用猜哪边更好。
外部产生的分数进同一张矩阵,并标注为外部。见
从外部 harness 上报。