Batchinferentie

Important

Deze functie bevindt zich in openbare preview-versie.

Deze voorbeelden voeren grootschalige batchinferentie uit op AI Runtime serverless GPU's. Ze behandelen een reeks modaliteiten, zoals LLM-tekstgeneratie en spraak-naar-tekst, met behulp van frameworks zoals Ray Data, vLLM en Transformers.

Example	Interface	Description
Qwen2.5-32B batchinferentie met Ray Data en vLLM	Notebook	Voer meertalige batchinferentie uit met acht persistente vLLM-replica's van Qwen2.5-32B-Instruction op 8 H100 GPU's en sla de resultaten op in Unity Catalog.
Spraak-naar-tekst in batch met Whisper	Notebook	Transcribeer audio in batches met OpenAI Whisper large-v3-turbo op serverless GPU’s, met vooraf in AI Runtime geïnstalleerde bibliotheken.
Batch-inferentie met Qwen2.5-7B-Instruct en vLLM	CLI	Gebruik Ray Data en vLLM om antwoorden te genereren op een 8x H100-node en schrijf de resultaten naar een Unity Catalog-volume als Parquet.