Qwen3.8-27部署过程

下载Python

wget -c   https://www.python.org/ftp/python/3.11.14/Python-3.11.14.tgz
tar -xzf Python-3.11.14.tgz
./configure   --prefix=/opt/python/3.11   --with-ensurepip=install
make && make install 

创建虚拟环境
/opt/python/3.11/bin/python3.11 -m venv   /data/yzp/venvs/qwen

切换虚拟环境
source /data/yzp/venvs/qwen/bin/activate

uv pip install torch==2.5.1   --index-url https://pypi.tuna.tsinghua.edu.cn/simple
uv pip install torch==2.5.1   --index-url https://pypi.tuna.tsinghua.edu.cn/simple


生成API KEY

umask 077
openssl rand -hex 32 > /data/yzp/vllm-api-key
cat /data/yzp/vllm-api-key

启动大模型
mkdir -p /data/yzp/logs

nohup /data/yzp/venvs/qwen/bin/vllm serve \
  /data/yzp/Qwen3.8-27B \
  --served-model-name Qwen3.8-27B \
  --tensor-parallel-size 4 \
  --dtype bfloat16 \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 1 \
  --trust-remote-code \
  --host 0.0.0.0 \
  --port 8000 \
  --api-key "$(cat /data/yzp/vllm-api-key)" \
  > /data/yzp/logs/qwen-vllm.log 2>&1 < /dev/null &




  nohup /data/yzp/venvs/qwen/bin/vllm serve \
  /data/yzp/Qwen3.8-27B \
  --served-model-name Qwen3.8-27B \
  --tensor-parallel-size 4 \
  --dtype bfloat16 \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 1 \
  --trust-remote-code \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --default-chat-template-kwargs '{"enable_thinking": true, "preserve_thinking": true}' \
  --host 0.0.0.0 \
  --port 8000 \
  --api-key "$(cat /data/yzp/vllm-api-key)" \
  > /data/yzp/logs/qwen-vllm.log 2>&1 < /dev/null &