在 Windows Server 上部署令牌工廠

代幣工廠是一種人工智慧(AI)模型服務系統,能根據應用程式請求產生文字或程式碼。 當你在本地執行時,可以在不向託管模型服務發送提示的情況下,評估 AI 輔助的應用情境。

在本文中,你將使用 vLLM 部署Qwen/Qwen3-Coder-30B-A3B-Instruct到 Windows Server 2025,並驗證最終的 OpenAI 相容端點。 測試的配置使用 Ubuntu 24.04 搭配 Windows 子系統 Linux 版 (WSL) 2 及一顆 NVIDIA RTX PRO 6000 顯示卡。 這個程序建立一個端點,供你手動操作供實驗室和測試使用;它不會設定生產存取、認證、遠端網路或自動啟動。

圖示顯示一個應用程式在 2025 Windows Server 使用本地 Qwen3-Coder 端點,搭載 WSL 2、Ubuntu、vLLM 和 RTX PRO 6000 GPU。

一個相容 OpenAI 的 API 用戶端會向本地端點 127.0.0.1:8000 發送應用程式請求,並收到端點回應。 該端點在運行於 Windows Server 2025 上的 WSL 2 內的 Ubuntu 24.04 中運行 vLLM,並搭載 Qwen3-Coder 30B。 vLLM 將模型推論工作傳送到一張 NVIDIA RTX PRO 6000 GPU。

Prerequisites

  • Windows Server 2025 以及一個擁有管理員權限的帳號。
  • 完成安裝 Linux 子系統於 Windows Server。 安裝 Ubuntu 24.04 作為 Ubuntu-24.04,並設定為使用 WSL 2。
  • 一張配備 96 GB GPU 記憶體的 NVIDIA RTX PRO 6000 Blackwell 顯示卡。
  • 一個相容於 CUDA 13.0 的 NVIDIA Windows 驅動程式。 請在 Windows 上安裝驅動程式,不要在 WSL 上安裝。
  • 一個能在 Ubuntu 中使用 sudo 的帳號。
  • Ubuntu 可透過網際網路存取此程序使用的 Ubuntu、NVIDIA、Astral、PyTorch、vLLM 和 Hugging Face 資源。
  • Qwen/Qwen3-Coder-30B-A3B-Instruct存取 Hugging Face 上的模型資料庫、接受任何適用的授權條款,以及儲存庫主機所需的任何憑證。 在開始 vLLM 之前,先完成 Ubuntu 所需的驗證。 根據貴組織的機密處理政策儲存憑證。

Important

不要在 WSL 裡安裝 Linux NVIDIA 核心驅動程式、顯示驅動程式或驅動元套件。 WSL 使用 Windows 提供的 NVIDIA 驅動程式。

驗證 Windows Server 主機

在安裝 Linux 元件前,先確認作業系統、WSL 發行版和 GPU。

  1. 在 PowerShell 中,確認 Windows Server 版本:

    Get-ComputerInfo -Property WindowsProductName, WindowsVersion, OsBuildNumber |
        Format-List
    

    請確認它WindowsProductName能識別 Windows Server 2025。

  2. 確認 Ubuntu-24.04 使用 WSL 2:

    wsl --list --verbose
    

    Ubuntu-24.04條目必須顯示版本2。

  3. 顯示已安裝的 GPU、GPU 記憶體及 Windows 驅動版本:

    nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
    

    請確保輸出顯示一顆 NVIDIA RTX PRO 6000 顯示卡,記憶體約 96 GB。 報告的記憶體可能與名義容量略有差異。

  4. 打開 Ubuntu 發行版。

    wsl --distribution Ubuntu-24.04
    
  5. 在 Ubuntu 中,確認發行版本、驗證 sudo 存取權限,並檢查可用儲存空間:

    grep PRETTY_NAME /etc/os-release
    sudo -v
    df -h "$HOME"
    

    確保作業系統是 Ubuntu 24.04。 檢視 home 檔案系統的可用空間。

除非步驟中指定 PowerShell,否則在 Ubuntu 執行剩餘的安裝和提供服務的指令。

安裝 CUDA 13.0 和 vLLM

此設定安裝 CUDA 13.0、Python 3.12、vLLM 0.30.0 及 Transformers 5.15.0。 對每個設定任務,較小的指令群組請選擇 「引導設定」,精簡的指令區塊請選擇 「快速設定」。

安裝 CUDA 13.0

  1. 更新 Ubuntu 套件索引並安裝配置 NVIDIA 套件庫的工具:

    sudo apt-get update
    sudo apt-get install -y --no-install-recommends curl ca-certificates
    
  2. 下載並安裝 NVIDIA CUDA 倉庫的金鑰環。

    curl -fSL \
        https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb \
        -o /tmp/cuda-keyring.deb
    sudo dpkg -i /tmp/cuda-keyring.deb
    sudo apt-get update
    
  3. 安裝 CUDA 13.0 工具包元件:

    sudo apt-get install -y --no-install-recommends \
        cuda-nvcc-13-0 cuda-cccl-13-0 cuda-cudart-dev-13-0 cuda-crt-13-0 \
        cuda-nvrtc-dev-13-0 cuda-driver-dev-13-0 libcublas-dev-13-0 \
        libcurand-dev-13-0
    

    該 cuda-driver-dev-13-0 套件提供開發檔案。 它不會安裝 Linux 顯示驅動程式。

  4. 為目前 shell 設定 CUDA 環境變數並驗證編譯器。

    export CUDA_HOME=/usr/local/cuda-13.0
    export PATH="$CUDA_HOME/bin:/usr/lib/wsl/lib:$PATH"
    nvcc --version
    

    確認輸出是否識別 CUDA 13.0。

安裝 Python 和 vLLM

  1. 安裝 Python 環境和 vLLM 所需的 Linux 套件:

    sudo apt-get install -y --no-install-recommends \
        build-essential python3.12-dev python3.12-venv \
        libnuma1 libtcmalloc-minimal4
    
  2. 下載 uv 安裝腳本:

    curl -fSL https://astral.sh/uv/install.sh -o /tmp/install-uv.sh
    
  3. 依照貴組織的軟體安裝政策進行審查 /tmp/install-uv.sh 。

  4. 審查安裝程式後,執行它,新增uv到 PATH,並建立並啟用 Python 3.12 環境:

    sh /tmp/install-uv.sh
    export PATH="$HOME/.local/bin:$PATH"
    uv venv --python 3.12 --python-preference only-system "$HOME/vllm-env"
    source "$HOME/vllm-env/bin/activate"
    
  5. 請從 CUDA 13.0 套件索引中安裝以下 vLLM 與 Transformers 版本:

    uv pip install --python "$VIRTUAL_ENV/bin/python" \
        vllm==0.30.0 transformers==5.15.0 \
        --extra-index-url https://wheels.vllm.ai/0.30.0/cu130 \
        --extra-index-url https://download.pytorch.org/whl/cu130 \
        --index-strategy unsafe-first-match
    

    如果指令順利退出且未出錯,則安裝成功。

設定並啟動模型伺服器

在前台啟動 vLLM,以監控其狀態和輸出。

  1. 在 Ubuntu shell 裡,啟用 vllm-env後,設定一個永久位置來存放下載的模型檔案:

    export HF_HOME="$HOME/hf-cache"
    
  2. 啟動端點。

    vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct \
        --host 127.0.0.1 \
        --port 8000 \
        --max-model-len 32768
    
  3. 保持終端機開啟,直到 vLLM 回報伺服器準備好。

第一次啟動會將模型檔案下載到 HF_HOME 並載入模型。 端點使用單一 GPU,並將輸入與輸出的總上下文限制為 32,768 個標記。 此限制使 GPU 記憶體可用於執行時開銷及鍵值快取。

Important

這個端點不使用認證。 將其綁定到 127.0.0.1 可限制網路暴露,但這不是身分驗證邊界。 能夠抵達 WSL 迴路端點的程序可以發送請求。 此配置僅在受信任且存取受控的主機上使用。 不要將端點暴露於沒有核准認證、TLS、防火牆和存取控制保護的網路。

模型服務參數與設定

Parameters 預設值 何時使用它們
--tensor-parallel-size 1 預設值是 1。 用它來明確記錄單一 GPU 的模型服務。
--port 8000 預設埠口是 8000。 選擇不同埠口時使用它,並更新所有用戶端網址。
--enable-auto-tool-choice 預設為停用。 啟用為相容的代理應用程式自動選擇工具。
--tool-call-parser qwen3_coder 預設不會設定。 選擇 Qwen3-Coder 工具呼叫解析器,用於自動工具選擇。

驗證模型伺服器

使用 PowerShell 列出該端點所服務的模型,然後驗證所選 Qwen 模型是否能產生回應。

  1. 保持運行 vLLM 的 Ubuntu 終端機開啟。

  2. 開啟第二個 PowerShell 視窗並設定端點網址:

    $inferenceBaseUrl = 'http://127.0.0.1:8000'
    
  3. 列出該端點所服務的模型:

    $models = Invoke-RestMethod `
        -Uri "$inferenceBaseUrl/v1/models" `
        -TimeoutSec 30 `
        -ErrorAction Stop
    $models.data | Select-Object id
    

    確認輸出包含 Qwen/Qwen3-Coder-30B-A3B-Instruct。

  4. 建立聊天完成請求:

    $body = @{
        model = 'Qwen/Qwen3-Coder-30B-A3B-Instruct'
        messages = @(
            @{
                role = 'user'
                content = 'When is the last sunset in the Nordic region. Give a short answer.'
            }
        )
        max_tokens = 32
    } | ConvertTo-Json -Depth 5
    
  5. 發送請求並展示所產生的內容:

    $response = Invoke-RestMethod `
        -Uri "$inferenceBaseUrl/v1/chat/completions" `
        -Method Post `
        -ContentType 'application/json' `
        -Body $body `
        -TimeoutSec 120 `
        -ErrorAction Stop
    
    $response.choices[0].message.content
    

    確認產生的回應是否非空且與提示相關。 模型生成,而非對回應進行事實驗證,是端對端測試。