Batchinferentie

Deze voorbeelden voeren grootschalige batchinferentie uit op AI Runtime serverless GPU's. Ze behandelen een reeks modaliteiten, zoals LLM-tekstgeneratie en spraak-naar-tekst, met behulp van frameworks zoals Ray Data, vLLM en Transformers.

Example Interface Description
Qwen2.5-32B batchinferentie met Ray Data en vLLM Notebook Voer meertalige batchinferentie uit met acht persistente vLLM-replica's van Qwen2.5-32B-Instruction op 8 H100 GPU's en sla de resultaten op in Unity Catalog.
Spraak-naar-tekst in batch met Whisper Notebook Transcribeer audio in batches met OpenAI Whisper large-v3-turbo op serverless GPU’s, met vooraf in AI Runtime geïnstalleerde bibliotheken.
Batch-inferentie met Qwen2.5-7B-Instruct en vLLM CLI Gebruik Ray Data en vLLM om antwoorden te genereren op een 8x H100-node en schrijf de resultaten naar een Unity Catalog-volume als Parquet.
Audiotranscriptie en diarisatie met Whisper en pyannote CLI Gebruik Ray Data om spraaktranscriptie en speakerdiarisatie te verdelen over een GPU-cluster en schrijf de resultaten naar een Unity Catalog-volume als Parquet.
Eiwit-inbeddingen met BioNeMo ESM-2 CLI Gebruik Ray Data en BioNeMo ESM-2 om eiwitten op een 8x H100-node te embedden, en train en evalueer vervolgens een lineaire membraaneiwit-classifier.
Batchgewijs afbeeldingen begrijpen met Qwen3-VL-8B en vLLM CLI Gebruik Ray Data en vLLM om afbeeldingen van bijschriften te voorzien en te classificeren op een 8x H100-node en schrijf gestructureerde resultaten naar Parquet.