Toplu çıkarım

Bu örnekler, AI Runtime sunucusuz GPU'larda büyük ölçekli toplu çıkarım yapar. LLM metin üretimi ve konuşmadan metne dönüştürme gibi çeşitli modaliteleri kapsarlar ve Ray Data, vLLM ve Transformers gibi çerçeveler kullanılır.

Example	Interface	Description
Qwen2.5-32B Ray Data ve vLLM ile toplu çıkarım	Notebook	8 H100 GPU'da Qwen2.5-32B-Instruct'in sekiz kalıcı vLLM replikası ile çok dilli toplu çıkarım çalıştırın ve sonuçları Unity Catalog'a kaydedin.
Whisper ile toplu sesten metne	Notebook	Sunucusuz GPU'larda OpenAI Whisper large-v3-turbo ile AI Runtime'da önceden kurulu kütüphaneler kullanarak sesi toplu olarak transkribe edin.
Qwen2.5-7B-Instruct ve vLLM ile toplu çıkarım	CLI	Ray Data ve vLLM kullanarak 8x H100 düğümünde yanıtlar üretin ve sonuçları bir Unity Catalog volume'üne Parquet olarak yazın.
Whisper ve pyannote ile ses transkripsiyonu ve konuşmacı ayrımı	CLI	Ray Data kullanarak konuşma transkripsiyonu ve konuşmacı ayrıştırmasını bir GPU kümesi arasında dağıtın ve sonuçları Parquet olarak bir Unity Catalog volume’üne yazın.
BioNeMo ESM-2 ile protein gömmeleri	CLI	Ray Data ve BioNeMo ESM-2 kullanarak 8x H100 düğümünde protein yerleştirmeleri oluşturun, ardından doğrusal bir zar-protein sınıflandırıcıyı eğitip değerlendirin.
Qwen3-VL-8B ve vLLM ile toplu görüntü anlama	CLI	Ray Data ve vLLM kullanarak 8x H100 düğümünde görüntülere açıklama oluşturun ve sınıflandırın, yapılandırılmış sonuçları Parquet'e yazın.