[Question]: A3单机跑GLM5.2-W8A8最大支持多少上下文？

[zhujianwei-ops]

❓ Describe the question

A3单机跑GLM5.2-W8A8最大支持多少上下文？能够给出对应的启动命令。

[sanlio36]

参考启动命令：

pkill -9 xllm

export LD_PRELOAD=/usr/lib64/libtcmalloc.so.4:$LD_PRELOAD

export HCCL_EXEC_TIMEOUT=300
export HCCL_CONNECT_TIMEOUT=300
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_IF_BASE_PORT=2864
export HCCL_BUFFSIZE=512

\rm -rf /root/ascend/log/

XLLM_PATH="./build/xllm/core/server/xllm"

DRAFT_MODEL_PATH=/export/home/models/GLM-5.2-mtp
MODEL_PATH=/export/home/models/GLM-5.2-W8A8-EcoTech/


MASTER_NODE_ADDR="11.87.191.104:23636"
LOCAL_HOST="11.87.191.104"
START_PORT=14436
START_DEVICE=0
LOG_DIR="logs"
NNODES=16
LOCAL_NODES=16

for (( i=0; i<$LOCAL_NODES; i++ ))
do
  PORT=$((START_PORT + i))
  DEVICE=$((START_DEVICE + i))
  LOG_FILE="$LOG_DIR/node_$i.log"
  nohup numactl -C $((DEVICE*40))-$((DEVICE*40+39)) $XLLM_PATH \
    -model-id glm \
    --model $MODEL_PATH \
    --host $LOCAL_HOST \
    --port $PORT \
    --devices="npu:$DEVICE" \
    --master_node_addr=$MASTER_NODE_ADDR \
    --nnodes=$NNODES \
    --node_rank=$i \
    --max_memory_utilization=0.86 \
    --max_tokens_per_batch=4096 \
    --max_seqs_per_batch=16 \
    --block_size=128 \
    --communication_backend="hccl" \
    --enable_prefix_cache=true \
    --enable_chunked_prefill=true \
    --enable_graph=true \
    --enable_schedule_overlap=true \
    --ep_size=16 \
    --dp_size=2 \
    --graph_decode_batch_size_limit=2 \
    --draft_model=$DRAFT_MODEL_PATH \
    --draft_devices="npu:$DEVICE" \
    --num_speculative_tokens=3 \
    --tool_call_parser=auto \
    > $LOG_FILE 2>&1 &

done

最大支持约20K+上下文 (dp降到1约支持30K，再关闭mtp约支持40K+，仅供参考，以实际测试为准)