Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
Playground 推理服务的启动、列表、续期与停止
tp serve start <MODEL> [选项]
| 参数 / 选项 | 说明 |
|---|---|
MODEL（必填） | HF id / 共享盘绝对路径 / run:<run_id>（取该 run 的 hf_export） |
-g, --gpus | 卡数 = 张量并行度（默认 1） |
--ttl-hours | 闲置 TTL（小时）；默认取服务端配置 |
tp serve ls # 我的服务：状态、端点、剩余 TTL
tp serve extend <SERVE_ID> --ttl-hours 4
tp serve stop <SERVE_ID>
extend，不用了尽早 stop。tp serve ls 给出的地址可直接配给任何 OpenAI SDK 客户端。
tp servetp serve <subcommand>
| 命令 | 说明 |
|---|---|
tp serve extend | Extend an inference service’s TTL |
tp serve ls | List my inference services |
tp serve start | Start an inference service |
tp serve stop | Stop an inference service |
tp serve extendtp serve extend <RUN_ID> [options]
| 参数 | 说明 |
|---|---|
RUN_ID | 必填 |
| 选项 | 说明 |
|---|---|
--hours <float> | How much longer, in hours (默认 1.0) |
tp serve lstp serve ls
--help 外没有其他选项。
tp serve starttp serve start <MODEL> [options]
| 参数 | 说明 |
|---|---|
MODEL | An HF id / an absolute path on shared storage / run:<run_id> (必填) |
| 选项 | 说明 |
|---|---|
--gpus, -g <int> | How many cards (the tensor-parallel size) (默认 1) |
--ttl-hours <float> | Idle TTL in hours (default: the server setting) |
tp serve stoptp serve stop <RUN_ID>
| 参数 | 说明 |
|---|---|
RUN_ID | 必填 |
--help 外没有其他选项。