Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Important
Bu özellik Genel Önizleme aşamasındadır.
Bu örnekler, AI Runtime sunucusuz GPU'larda büyük ölçekli toplu çıkarım yapar. LLM metin üretimi ve konuşmadan metne dönüştürme gibi çeşitli modaliteleri kapsarlar ve Ray Data, vLLM ve Transformers gibi çerçeveler kullanılır.
| Example | Interface | Description |
|---|---|---|
| Qwen2.5-32B Ray Data ve vLLM ile toplu çıkarım | Notebook | 8 H100 GPU'da Qwen2.5-32B-Instruct'in sekiz kalıcı vLLM replikası ile çok dilli toplu çıkarım çalıştırın ve sonuçları Unity Catalog'a kaydedin. |
| Whisper ile toplu sesten metne | Notebook | Sunucusuz GPU'larda OpenAI Whisper large-v3-turbo ile AI Runtime'da önceden kurulu kütüphaneler kullanarak sesi toplu olarak transkribe edin. |
| Qwen2.5-7B-Instruct ve vLLM ile toplu çıkarım | CLI | Ray Data ve vLLM kullanarak 8x H100 düğümünde yanıtlar üretin ve sonuçları bir Unity Catalog volume'üne Parquet olarak yazın. |