Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Deze voorbeelden voeren grootschalige batchinferentie uit op AI Runtime serverless GPU's. Ze behandelen een reeks modaliteiten, zoals LLM-tekstgeneratie en spraak-naar-tekst, met behulp van frameworks zoals Ray Data, vLLM en Transformers.
| Example | Interface | Description |
|---|---|---|
| Qwen2.5-32B batchinferentie met Ray Data en vLLM | Notebook | Voer meertalige batchinferentie uit met acht persistente vLLM-replica's van Qwen2.5-32B-Instruction op 8 H100 GPU's en sla de resultaten op in Unity Catalog. |
| Spraak-naar-tekst in batch met Whisper | Notebook | Transcribeer audio in batches met OpenAI Whisper large-v3-turbo op serverless GPU’s, met vooraf in AI Runtime geïnstalleerde bibliotheken. |
| Batch-inferentie met Qwen2.5-7B-Instruct en vLLM | CLI | Gebruik Ray Data en vLLM om antwoorden te genereren op een 8x H100-node en schrijf de resultaten naar een Unity Catalog-volume als Parquet. |
| Audiotranscriptie en diarisatie met Whisper en pyannote | CLI | Gebruik Ray Data om spraaktranscriptie en speakerdiarisatie te verdelen over een GPU-cluster en schrijf de resultaten naar een Unity Catalog-volume als Parquet. |
| Eiwit-inbeddingen met BioNeMo ESM-2 | CLI | Gebruik Ray Data en BioNeMo ESM-2 om eiwitten op een 8x H100-node te embedden, en train en evalueer vervolgens een lineaire membraaneiwit-classifier. |
| Batchgewijs afbeeldingen begrijpen met Qwen3-VL-8B en vLLM | CLI | Gebruik Ray Data en vLLM om afbeeldingen van bijschriften te voorzien en te classificeren op een 8x H100-node en schrijf gestructureerde resultaten naar Parquet. |