Wnioskowanie wsadowe

Te przykłady uruchamiają dużoskalowe wnioskowanie wsadowe na bezserwerowych procesorach GPU AI Runtime. Obejmują szereg modalności, takich jak generowanie tekstu za pomocą LLM oraz zamiana mowy na tekst, z wykorzystaniem frameworków takich jak Ray Data, vLLM i Transformers.

Example Interface Description
Wnioskowanie wsadowe Qwen2.5-32B z użyciem Ray Data i vLLM Notebook Uruchom wielojęzyczne wnioskowanie wsadowe z ośmioma utrzymywanymi replikami vLLM modelu Qwen2.5-32B-Instruct na ośmiu procesorach GPU H100 i zapisz wyniki do Unity Catalog.
Wsadowa zamiana mowy na tekst za pomocą Whisper Notebook Transkrybuj audio wsadowo za pomocą OpenAI Whisper large-v3-turbo na bezserwerowych procesorach GPU, korzystając z bibliotek preinstalowanych w środowisku AI Runtime.
Wnioskowanie wsadowe za pomocą Qwen2.5-7B-Instruct i vLLM CLI Użyj Ray Data i vLLM do generowania odpowiedzi na węźle 8x H100 i zapisz wyniki do woluminu Unity Catalog jako Parquet.
Transkrypcja audio i diaryzacja z użyciem Whisper i pyannote CLI Użyj Ray Data do dystrybucji transkrypcji mowy i diaryzacji mówców w klastrze GPU i zapisuj wyniki do woluminu Unity Catalog jako Parquet.
Osadzenia białek z BioNeMo ESM-2 CLI Użyj Ray Data i BioNeMo ESM-2, aby wygenerować embeddingi białek na węźle 8x H100, a następnie wytrenuj i oceń liniowy klasyfikator białek błonowych.
Rozumienie obrazów wsadowych za pomocą Qwen3-VL-8B i vLLM CLI Użyj Ray Data i vLLM do tworzenia opisów i klasyfikowania obrazów na węźle 8x H100 oraz zapisywania ustrukturyzowanych wyników do formatu Parquet.