토큰 팩토리는 애플리케이션 요청에 응답하여 텍스트나 코드를 생성하는 인공지능(AI) 모델 서빙 시스템입니다. 로컬에서 실행하면 호스팅된 모델 서비스에 프롬프트를 보내지 않고도 AI 지원 애플리케이션 시나리오를 평가할 수 있습니다.
이 글에서는 Windows Server 2025에서 Qwen/Qwen3-Coder-30B-A3B-Instruct를 vLLM과 함께 배포하고 그 결과물인 OpenAI 호환 엔드포인트를 검증합니다. 테스트된 구성은 Linux용 Windows 하위 시스템 (WSL) 2에서 Ubuntu 24.04와 NVIDIA RTX PRO 6000 GPU 한 대를 사용합니다. 이 절차는 실험실과 테스트용으로 수동으로 조작하는 엔드포인트를 생성하며; 운영 접근, 인증, 원격 네트워킹, 자동 시작 등을 설정하지 않습니다.
OpenAI 호환 API 클라이언트는 127.0.0.1:8000에 위치한 로컬 엔드포인트에 애플리케이션 요청을 보내고 엔드포인트 응답을 받습니다. 엔드포인트는 Ubuntu 24.04 안에서 Qwen3-Coder 30B와 함께 vLLM을 실행하며, 2025년 Windows Server WSL 2 안에서 실행됩니다. vLLM은 모델 추론 작업을 NVIDIA RTX PRO 6000 GPU 1개에 할당합니다.
Prerequisites
- Windows Server 2025와 관리자 권한이 있는 계정.
-
Windows Server에 리눅스 서브시스템 설치 완료. Ubuntu 24.04를 설치
Ubuntu-24.04하고 WSL 2를 사용하도록 설정하세요. - NVIDIA RTX PRO 6000 Blackwell GPU 1대에 96GB GPU 메모리가 탑재되어 있습니다.
- CUDA 13.0과 호환되는 NVIDIA Windows 드라이버입니다. 드라이버는 WSL이 아니라 Windows에 설치하세요.
- Ubuntu에서
sudo을 사용할 수 있는 계정입니다. - Ubuntu에서 Ubuntu, NVIDIA, Astral, PyTorch, vLLM, 그리고 이 절차가 사용하는 Hugging Face 리소스로 인터넷 접속이 가능합니다.
-
Hugging Face의 모델 저장소 접근
Qwen/Qwen3-Coder-30B-A3B-Instruct, 적용 가능한 라이선스 조건 수락, 저장소 호스트가 요구하는 자격 증명 등. vLLM을 시작하기 전에 Ubuntu에서 필요한 모든 인증을 완료하세요. 조직의 비밀 처리 정책에 따라 자격 증명을 저장하세요.
Important
WSL에 리눅스 NVIDIA 커널 드라이버, 디스플레이 드라이버, 드라이버 메타패키지를 설치하지 마세요. WSL은 Windows에서 제공하는 NVIDIA 드라이버를 사용합니다.
Windows Server 호스트 검증
리눅스 컴포넌트를 설치하기 전에 운영체제, WSL 배포판, GPU를 확인하세요.
PowerShell에서 Windows Server 버전을 확인하세요:
Get-ComputerInfo -Property WindowsProductName, WindowsVersion, OsBuildNumber | Format-ListWindows Server 2025를 식별하는지 확인하세요
WindowsProductName.WSL 2를 사용하는지
Ubuntu-24.04확인하세요:wsl --list --verboseUbuntu-24.04항목에는 버전2이 표시되어야 합니다.설치된 GPU, GPU 메모리, Windows 드라이버 버전을 표시하세요:
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv출력에 약 96GB 메모리를 가진 NVIDIA RTX PRO 6000 GPU 한 대가 나오는지 확인하세요. 보고된 메모리는 명목 용량과 약간 다를 수 있습니다.
Ubuntu 배포판을 열어보세요.
wsl --distribution Ubuntu-24.04Ubuntu에서 배포판 버전을 확인하고,
sudo접근 권한을 확인하며, 사용 가능한 저장 공간을 확인하세요:grep PRETTY_NAME /etc/os-release sudo -v df -h "$HOME"운영체제가 Ubuntu 24.04인지 확인하세요. 홈 파일 시스템의 사용 가능한 공간을 검토하세요.
남은 설치 및 서빙 명령은 PowerShell을 명시하는 단계가 아니라면 우분투에서 실행하세요.
CUDA 13.0과 vLLM 설치
이 설정은 CUDA 13.0, Python 3.12, vLLM 0.30.0, Transformers 5.15.0을 설치합니다. 각 설정 작업마다 작은 명령 그룹에는 가이드 셋업 을, 압축된 명령 블록은 빠른 설치 를 선택하세요.
CUDA 13.0 설치
Ubuntu 패키지 인덱스를 업데이트하고 NVIDIA 패키지 저장소를 구성하기 위한 도구를 설치하세요:
sudo apt-get update sudo apt-get install -y --no-install-recommends curl ca-certificatesNVIDIA CUDA 저장소 키링을 다운로드하여 설치하세요.
curl -fSL \ https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb \ -o /tmp/cuda-keyring.deb sudo dpkg -i /tmp/cuda-keyring.deb sudo apt-get updateCUDA 13.0 툴킷 구성 요소 설치:
sudo apt-get install -y --no-install-recommends \ cuda-nvcc-13-0 cuda-cccl-13-0 cuda-cudart-dev-13-0 cuda-crt-13-0 \ cuda-nvrtc-dev-13-0 cuda-driver-dev-13-0 libcublas-dev-13-0 \ libcurand-dev-13-0이 패키지는
cuda-driver-dev-13-0개발 파일을 제공합니다. 리눅스 디스플레이 드라이버를 설치하지 않습니다.현재 셸의 CUDA 환경 변수를 설정하고 컴파일러를 검증하세요.
export CUDA_HOME=/usr/local/cuda-13.0 export PATH="$CUDA_HOME/bin:/usr/lib/wsl/lib:$PATH" nvcc --version출력이 CUDA 13.0을 식별하는지 확인하세요.
Python과 vLLM 설치
Python 환경과 vLLM에서 요구하는 리눅스 패키지를 설치하세요:
sudo apt-get install -y --no-install-recommends \ build-essential python3.12-dev python3.12-venv \ libnuma1 libtcmalloc-minimal4uv설치 스크립트를 다운로드하세요:curl -fSL https://astral.sh/uv/install.sh -o /tmp/install-uv.sh귀사의 소프트웨어 설치 정책에 따라
/tmp/install-uv.sh를 검토하세요.설치 프로그램을 검토한 후 실행하고,
PATH를uv에 추가한 후 Python 3.12 환경을 생성하여 활성화하세요:sh /tmp/install-uv.sh export PATH="$HOME/.local/bin:$PATH" uv venv --python 3.12 --python-preference only-system "$HOME/vllm-env" source "$HOME/vllm-env/bin/activate"CUDA 13.0 패키지 인덱스에서 다음 vLLM 및 트랜스포머 버전을 설치하세요:
uv pip install --python "$VIRTUAL_ENV/bin/python" \ vllm==0.30.0 transformers==5.15.0 \ --extra-index-url https://wheels.vllm.ai/0.30.0/cu130 \ --extra-index-url https://download.pytorch.org/whl/cu130 \ --index-strategy unsafe-first-match명령어가 오류 없이 종료되면 설치가 성공한 것입니다.
모델 서버를 구성하고 시작합니다
vLLM을 포그라운드에서 시작해서 상태와 출력을 모니터링하세요.
Ubuntu 셸에서
vllm-env를 활성화한 후 다운로드한 모델 파일을 위한 영구 위치를 설정하세요:export HF_HOME="$HOME/hf-cache"엔드포인트를 시작하세요.
vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct \ --host 127.0.0.1 \ --port 8000 \ --max-model-len 32768vLLM이 서버 준비가 완료되었다고 보고할 때까지 터미널을 열어두세요.
처음 시작할 때 모델 파일을 HF_HOME 다운로드하고 모델을 불러옵니다. 엔드포인트는 하나의 GPU를 사용하며, 입력과 출력 컨텍스트의 합계를 32,768개의 토큰으로 제한합니다. 이 제한은 GPU 메모리를 런타임 오버헤드와 키값 캐시에 사용할 수 있도록 남겨 둡니다.
Important
이 엔드포인트는 인증을 사용하지 않습니다.
127.0.0.1에 바인딩하면 네트워크 노출은 제한되지만, 인증 경계는 아닙니다. WSL 루프백 엔드포인트에 도달할 수 있는 프로세스는 요청을 보낼 수 있습니다. 이 구성은 신뢰할 수 있고 접근이 통제된 호스트에서만 사용하세요. 승인된 인증, TLS, 방화벽, 접근 제어 보호 없이 엔드포인트를 네트워크에 노출시키지 마세요.
모델 서비스 매개변수 및 설정
| Parameters | Default | 언제 사용해야 할까요 |
|---|---|---|
--tensor-parallel-size 1 |
기본값은 1입니다. | 단일 GPU 서빙을 명시적으로 문서화하는 데 사용하세요. |
--port 8000 |
기본 포트는 8000입니다. | 다른 포트를 선택할 때 사용하고, 모든 클라이언트 URL을 업데이트하세요. |
--enable-auto-tool-choice |
기본적으로 비활성화되어 있습니다. | 호환 가능한 에이전트 애플리케이션을 위한 자동 도구 선택을 가능하게 합니다. |
--tool-call-parser qwen3_coder |
기본적으로 설정되지 않습니다. | 자동 도구 선택과 함께 사용할 Qwen3-Coder 도구 호출 파서를 선택합니다. |
모델 서버 검증
PowerShell을 사용해 엔드포인트가 제공하는 모델을 나열한 후, 선택한 Qwen 모델이 응답을 생성하는지 확인하세요.
vLLM을 실행하는 Ubuntu 터미널은 켜두세요.
두 번째 PowerShell 창을 열고 엔드포인트 URL을 설정하세요:
$inferenceBaseUrl = 'http://127.0.0.1:8000'엔드포인트가 지원하는 모델을 나열하세요:
$models = Invoke-RestMethod ` -Uri "$inferenceBaseUrl/v1/models" ` -TimeoutSec 30 ` -ErrorAction Stop $models.data | Select-Object id출력에
Qwen/Qwen3-Coder-30B-A3B-Instruct가 포함되어 있는지 확인한다.Chat Completions 요청을 생성하세요:
$body = @{ model = 'Qwen/Qwen3-Coder-30B-A3B-Instruct' messages = @( @{ role = 'user' content = 'When is the last sunset in the Nordic region. Give a short answer.' } ) max_tokens = 32 } | ConvertTo-Json -Depth 5요청을 보내고 생성된 콘텐츠를 보여주세요:
$response = Invoke-RestMethod ` -Uri "$inferenceBaseUrl/v1/chat/completions" ` -Method Post ` -ContentType 'application/json' ` -Body $body ` -TimeoutSec 120 ` -ErrorAction Stop $response.choices[0].message.content생성된 응답이 빈 것이 아니고 프롬프트와 관련이 있는지 확인하세요. 모델 생성 과정은 응답의 사실 검증보다는 종단 간 테스트입니다.