[Bug]测试结果无TPOT，且E2EL与TTFT结果相同 #113
Description
操作系统及版本
Ubuntu 20.04 docker
安装工具的python环境
docker容器中的python环境
python版本
3.11
AISBench工具版本
3.0.20251219
AISBench执行命令
ais_bench --models vllm_api_general_stream --datasets gsm8k_gen_0_shot_cot_str_perf --debug --mode perf
模型配置文件或自定义配置文件内容
from ais_bench.benchmark.models import VLLMCustomAPI
models = [
dict(
attr="service",
type=VLLMCustomAPI,
abbr='vllm-api-general-stream',
path="/opt/data/verification/models/DeepSeek-V3.2-W8A8",
model="dsv3",
request_rate = 15,
retry = 2,
host_ip = "71.10.29.114",
host_port = 8000,
max_out_len = 900,
batch_size= 512,
trust_remote_code=False,
generation_kwargs = dict(
temperature = 0,
ignore_eos = True
),
)
]
预期行为
测试结果输出TPOT
实际行为
测试结果无TPOT，且E2EL与TTFT结果相同
前置检查
- 我已读懂主页文档的快速入门，无法解决问题
- 我已检索过FAQ，无重复问题
- 我已搜索过现有Issue，无重复问题
- 我已更新到最新版本，问题仍存在