tp serve

tp serve start run:run-4f2a91 --gpus 1
tp serve ls

起一个 OpenAI 兼容的 vLLM 服务，并打印它的端点和令牌。完整流程见和一个 checkpoint 对话。

实例

tp serve start run:run-4f2a91 --gpus 1          # 一次训练产物的导出
tp serve start Qwen/Qwen3.5-9B --gpus 2         # 一个 hub 模型；--gpus 是张量并行度
tp serve start /shared/models/my-model          # 共享存储上的一个路径
tp serve start run:run-4f2a91 --ttl-hours 8     # 比服务端默认更长的空闲 TTL

tp serve ls                                     # 状态、端点、剩余 TTL
tp serve extend run-4f2a91 --hours 4            # 让它多活一会儿
tp serve stop run-4f2a91                        # 停掉它，释放卡

extend 和 stop 收的是 run id，也就是 tp serve ls 打印的那个。--ttl-hours 在 start 上；extend 收的是 --hours。

一个 session 占着真实的 GPU，也算你的配额。空闲 TTL 到期时它自己停。还需要就续期，用完就 stop。

确认成功

tp serve ls 会显示一个端点和一个 TTL。那个地址是 OpenAI 兼容的，所以它连同旁边那个令牌可以直接填进任何 OpenAI SDK 客户端。

`tp serve`

Manage inference services

tp serve <subcommand>

命令	说明
`tp serve extend`	Extend an inference service’s TTL
`tp serve ls`	List my inference services
`tp serve start`	Start an inference service
`tp serve stop`	Stop an inference service

`tp serve extend`

Extend an inference service’s TTL

tp serve extend <RUN_ID> [options]

参数	说明
`RUN_ID`	必填

选项	说明
`--hours` `<float>`	How much longer, in hours (默认 `1.0`)

`tp serve ls`

List my inference services

tp serve ls

除 --help 外没有其他选项。

`tp serve start`

Start an inference service

tp serve start <MODEL> [options]

参数	说明
`MODEL`	An HF id / an absolute path on shared storage / run:<run_id> (必填)

选项	说明
`--gpus`, `-g` `<int>`	How many cards (the tensor-parallel size) (默认 `1`)
`--ttl-hours` `<float>`	Idle TTL in hours (default: the server setting)

`tp serve stop`

Stop an inference service

tp serve stop <RUN_ID>

参数	说明
`RUN_ID`	必填

除 --help 外没有其他选项。

CLI 参考

配置

实验

训练

产物与评测

资源

管理

实例

确认成功

`tp serve`

`tp serve extend`

`tp serve ls`

`tp serve start`

`tp serve stop`

​实例

​确认成功

​tp serve

​tp serve extend

​tp serve ls

​tp serve start

​tp serve stop

实例

确认成功

`tp serve`

`tp serve extend`

`tp serve ls`

`tp serve start`

`tp serve stop`