和一个 checkpoint 对话

tp serve start run:run-4f2a91 --gpus 1
tp serve ls

从那次运行的导出起一个 OpenAI 兼容的 vLLM 服务，并打印它的端点和令牌。然后打开控制台的 Playground 页开始对话。 Playground Session 是给人试模型的。应用流量请改用 Model Deployment。

起一个

CLI
控制台

tp serve start run:run-4f2a91 --gpus 1        # 一个训练产物
tp serve start Qwen/Qwen3.5-9B --gpus 2       # 任意 hub 模型
tp serve start /shared/models/my-model        # 共享存储上的一个路径

--gpus 是张量并行度。

管理它

tp serve ls                              # 你的服务，带端点和剩余 TTL
tp serve extend run-4f2a91 --hours 4     # 让它多活一会儿
tp serve stop run-4f2a91                 # 停掉它，释放卡

一个 session 占着真实的 GPU，也算你的配额。它有一个空闲 TTL，由部署设定，到期自己停。那是防止起了之后忘掉的机制，不是故障。还需要就续期。

并排比较两个模型

Playground 会把同一个 prompt 同时发给两个服务，这是看清一个对齐阶段究竟改变了什么最快的方式。起两个 session —— SFT 产物和 GRPO 产物 —— 然后在 A/B 选择器里同时选上。对话控制是 temperature、max tokens 和 system prompt。端点是 OpenAI 兼容的，所以任何会说那套 API 的东西都能用：

curl https://tuneplane.your-company.com/inference/<id>/v1/chat/completions \
  -H "Authorization: Bearer <token>" \
  -H "Content-Type: application/json" \
  -d '{"model": "default", "messages": [{"role": "user", "content": "Hello"}]}'

哪些后端能提供服务

Fleet kind	Session 形态
`kubernetes`	一个独立的 vLLM Pod，不是 RayJob，经 Kubernetes API 代理访问
`node`	在已注册 Node 上启动 vLLM 容器，预留控制平面可访问的服务端口
`slurm`	不支持：计算节点通常没有从控制台进来的入向路径

确认成功

tp serve ls 会显示这个 session 带一个端点和一个 TTL。一直 pending 说明权重还在加载 —— 一个 9B 模型在冷缓存上要一两分钟。 Playground 是一个由管理员按角色开启的高级功能。没开时，页面会解释这件事而不是报错。

下一步

模型部署用于应用流量 · 模型注册表 · Playground 页

开始

核心概念

训练模型

评测与服务

Agent 环境

扩展平台

协作

集成

参考

帮助

和一个 checkpoint 对话

起一个

管理它

并排比较两个模型

哪些后端能提供服务

确认成功

下一步

​起一个

​管理它

​并排比较两个模型

​哪些后端能提供服务

​确认成功

​下一步

起一个

管理它

并排比较两个模型

哪些后端能提供服务

确认成功

下一步