Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Te przykłady uruchamiają dużoskalowe wnioskowanie wsadowe na bezserwerowych procesorach GPU AI Runtime. Obejmują szereg modalności, takich jak generowanie tekstu za pomocą LLM oraz zamiana mowy na tekst, z wykorzystaniem frameworków takich jak Ray Data, vLLM i Transformers.
| Example | Interface | Description |
|---|---|---|
| Wnioskowanie wsadowe Qwen2.5-32B z użyciem Ray Data i vLLM | Notebook | Uruchom wielojęzyczne wnioskowanie wsadowe z ośmioma utrzymywanymi replikami vLLM modelu Qwen2.5-32B-Instruct na ośmiu procesorach GPU H100 i zapisz wyniki do Unity Catalog. |
| Wsadowa zamiana mowy na tekst za pomocą Whisper | Notebook | Transkrybuj audio wsadowo za pomocą OpenAI Whisper large-v3-turbo na bezserwerowych procesorach GPU, korzystając z bibliotek preinstalowanych w środowisku AI Runtime. |
| Wnioskowanie wsadowe za pomocą Qwen2.5-7B-Instruct i vLLM | CLI | Użyj Ray Data i vLLM do generowania odpowiedzi na węźle 8x H100 i zapisz wyniki do woluminu Unity Catalog jako Parquet. |
| Transkrypcja audio i diaryzacja z użyciem Whisper i pyannote | CLI | Użyj Ray Data do dystrybucji transkrypcji mowy i diaryzacji mówców w klastrze GPU i zapisuj wyniki do woluminu Unity Catalog jako Parquet. |
| Osadzenia białek z BioNeMo ESM-2 | CLI | Użyj Ray Data i BioNeMo ESM-2, aby wygenerować embeddingi białek na węźle 8x H100, a następnie wytrenuj i oceń liniowy klasyfikator białek błonowych. |
| Rozumienie obrazów wsadowych za pomocą Qwen3-VL-8B i vLLM | CLI | Użyj Ray Data i vLLM do tworzenia opisów i klasyfikowania obrazów na węźle 8x H100 oraz zapisywania ustrukturyzowanych wyników do formatu Parquet. |