Batch-Inferenz

Diese Beispiele führen groß angelegte Batch-Inferenz auf KI-Runtime-Serverless-GPUs aus. Sie decken eine Reihe von Modalitäten ab, wie LLM-Textgenerierung und Sprach-zu-Text, und verwenden Frameworks wie Ray Data, vLLM und Transformers.

Example	Interface	Description
Qwen2.5-32B Batch-Inferenz mit Ray Data und vLLM	Notebook	Führe mehrsprachige Batch-Inferenz mit acht persistenten vLLM-Replikaten von Qwen2.5-32B-Instruct auf 8 H100-GPUs aus und speichere die Ergebnisse im Unity Catalog.
Batch-Verarbeitung von Sprache zu Text mit Whisper	Notebook	Transkribiere Audio in Batches mit OpenAI Whisper large-v3-turbo auf serverlosen GPUs und nutze Bibliotheken, die in AI Runtime vorinstalliert sind.
Batch-Inferenz mit Qwen2.5-7B-Instruct und vLLM	CLI	Verwenden Sie Ray Data und vLLM, um Antworten auf einem 8x-H100-Knoten zu generieren und die Ergebnisse als Parquet in ein Unity-Catalog-Volume zu schreiben.
Audiotranskription und Sprecherdiarisierung mit Whisper und Pyannote	CLI	Verwenden Sie Ray Data, um Sprachtranskription und Sprecherdiarisierung über einen GPU-Cluster zu verteilen und die Ergebnisse als Parquet in ein Unity-Katalog-Volume zu schreiben.
Protein-Einbettungen mit BioNeMo ESM-2	CLI	Verwenden Sie Ray Data und BioNeMo ESM-2, um Proteine über einen 8x-H100-Knoten einzubetten, und trainieren und evaluieren Sie anschließend einen linearen Membran-Protein-Klassifikator.
Batch-Bildverständnis mit Qwen3-VL-8B und vLLM	CLI	Verwenden Sie Ray Data und vLLM, um Bilder auf einem 8x-H100-Knoten zu beschriften und zu klassifizieren und strukturierte Ergebnisse in Parquet zu schreiben.