Important
이 기능은 공개 미리보기 단계에 있습니다.
이 예시들은 AI 런타임 서버리스 GPU에서 대규모 배치 추론을 실행합니다. 이들은 Ray Data, vLLM, Transformers와 같은 프레임워크를 사용하여 LLM 텍스트 생성, 음성-텍스트 변환 등 다양한 방식을 다룹니다.
| Example | Interface | Description |
|---|---|---|
| Ray Data와 vLLM을 사용한 Qwen2.5-32B 배치 추론 | Notebook | 8개의 H100 GPU에서 Qwen2.5-32B-Instruct의 8개의 영구 vLLM 복제본으로 다국어 배치 추론을 실행하고 결과를 Unity 카탈로그에 저장하세요. |
| Whisper를 사용한 배치 음성-텍스트 변환 | Notebook | AI Runtime에 사전 설치된 라이브러리를 사용하여 서버리스 GPU에서 OpenAI Whisper large-v3-turbo로 오디오를 배치 단위로 전사하세요. |
| Qwen2.5-7B-Instruct와 vLLM을 이용한 배치 추론 | CLI | Ray Data와 vLLM을 사용해 H100 8개가 장착된 노드에서 응답을 생성하고, 결과를 Parquet으로 Unity 카탈로그 볼륨에 기록하세요. |