Inferensi kumpulan

Important

Fitur ini ada di Pratinjau Umum.

Contoh-contoh ini menjalankan inferensi batch skala besar pada GPU serverless AI Runtime. Mereka mencakup berbagai modalitas, seperti pembuatan teks LLM dan ucapan-ke-teks, menggunakan kerangka kerja seperti Ray Data, vLLM, dan Transformers.

Example	Interface	Description
Inferensi batch Qwen2.5-32B dengan Ray Data dan vLLM	Notebook	Jalankan inferensi batch multibahasa dengan delapan replika persisten vLLM Qwen2.5-32B-Instruct pada 8 GPU H100 dan simpan hasilnya ke Unity Catalog.
Batch ucapan ke teks dengan Whisper	Notebook	Transkripsikan audio secara batch dengan OpenAI Whisper large-v3-turbo menggunakan GPU serverless dan pustaka yang telah terpasang sebelumnya di AI Runtime.
Inferensi batch dengan Qwen2.5-7B-Instruct dan vLLM	CLI	Gunakan Ray Data dan vLLM untuk menghasilkan respons pada node H100 8x dan tulis hasilnya ke volume Unity Catalog sebagai Parquet.