Wnioskowanie wsadowe

Te przykłady uruchamiają dużoskalowe wnioskowanie wsadowe na bezserwerowych procesorach GPU AI Runtime. Obejmują szereg modalności, takich jak generowanie tekstu za pomocą LLM oraz zamiana mowy na tekst, z wykorzystaniem frameworków takich jak Ray Data, vLLM i Transformers.

Example	Interface	Description
Wnioskowanie wsadowe Qwen2.5-32B z użyciem Ray Data i vLLM	Notebook	Uruchom wielojęzyczne wnioskowanie wsadowe z ośmioma utrzymywanymi replikami vLLM modelu Qwen2.5-32B-Instruct na ośmiu procesorach GPU H100 i zapisz wyniki do Unity Catalog.
Wsadowa zamiana mowy na tekst za pomocą Whisper	Notebook	Transkrybuj audio wsadowo za pomocą OpenAI Whisper large-v3-turbo na bezserwerowych procesorach GPU, korzystając z bibliotek preinstalowanych w środowisku AI Runtime.
Wnioskowanie wsadowe za pomocą Qwen2.5-7B-Instruct i vLLM	CLI	Użyj Ray Data i vLLM do generowania odpowiedzi na węźle 8x H100 i zapisz wyniki do woluminu Unity Catalog jako Parquet.