Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese Beispiele führen groß angelegte Batch-Inferenz auf KI-Runtime-Serverless-GPUs aus. Sie decken eine Reihe von Modalitäten ab, wie LLM-Textgenerierung und Sprach-zu-Text, und verwenden Frameworks wie Ray Data, vLLM und Transformers.
| Example | Interface | Description |
|---|---|---|
| Qwen2.5-32B Batch-Inferenz mit Ray Data und vLLM | Notebook | Führe mehrsprachige Batch-Inferenz mit acht persistenten vLLM-Replikaten von Qwen2.5-32B-Instruct auf 8 H100-GPUs aus und speichere die Ergebnisse im Unity Catalog. |
| Dialog-zu-Text-Batch mit Whisper | Notebook | Transkribiere Audio in Batches mit OpenAI Whisper large-v3-turbo auf serverlosen GPUs und nutze Bibliotheken, die in AI Runtime vorinstalliert sind. |
| Batch-Inferenz mit Qwen2.5-7B-Instruct und vLLM | CLI | Verwenden Sie Ray Data und vLLM, um Antworten auf einem 8x-H100-Knoten zu generieren und die Ergebnisse als Parquet in ein Unity-Catalog-Volume zu schreiben. |
| Audiotranskription und Tagebucherfassung mit Whisper und pyannote | CLI | Verwenden Sie Ray Data, um Sprachtranskription und Sprecherdiarisierung über einen GPU-Cluster zu verteilen und die Ergebnisse als Parquet in ein Unity-Katalog-Volume zu schreiben. |
| Proteineinbettungen mit BioNeMo ESM-2 | CLI | Verwenden Sie Ray Data und BioNeMo ESM-2, um Proteine über einen 8x-H100-Knoten einzubetten, und trainieren und evaluieren Sie anschließend einen linearen Membran-Protein-Klassifikator. |
| Batch-Bildverständnis mit Qwen3-VL-8B und vLLM | CLI | Verwenden Sie Ray Data und vLLM, um Bilder auf einem 8x-H100-Knoten zu beschriften und zu klassifizieren und strukturierte Ergebnisse in Parquet zu schreiben. |
| Batch-Bildklassifikation mit ViT und parallelen Schreibvorgängen | CLI | Klassifizieren Sie Haustierfotos mit ViT-Base auf einer A10-GPU und speichern Sie für jede Vorhersage ein annotiertes JPEG auf einem Unity Catalog-Volume, wobei parallele Schreibvorgänge verwendet werden, damit die GPU nicht auf Speicher wartet. |
| Spekulative Dekodierung mit SGLang und EAGLE-3 | CLI | Vergleichen Sie den SGLang-Batch-Inferenzdurchsatz für Qwen3-8B auf einer H100-GPU mit und ohne EAGLE-3-Entwurfkopf für spekulative Decodierung. |