Batch-Inferenz

Important

Dieses Feature befindet sich in der Public Preview.

Diese Notebooks führen großflächige Batch-Inferenz auf KI-Runtime-Serverless-GPUs aus. Sie decken eine Reihe von Modalitäten ab, wie LLM-Textgenerierung und Sprach-zu-Text, und verwenden Frameworks wie Ray Data, vLLM und Transformers.

Tutorial	Description
Qwen2.5-32B Batch-Inferenz mit Ray Data und vLLM	Führe mehrsprachige Batch-Inferenz mit acht persistenten vLLM-Replikaten von Qwen2.5-32B-Instruct auf 8 H100-GPUs aus und speichere die Ergebnisse im Unity Catalog.
Batch-Verarbeitung von Sprache zu Text mit Whisper	Transkribiere Audio in Batches mit OpenAI Whisper large-v3-turbo auf serverlosen GPUs und nutze Bibliotheken, die in AI Runtime vorinstalliert sind.