Ray on AI için Çalışma Zamanı

Important

Bu özellik Genel Önizleme aşamasındadır.

Uyarı

Bu sayfa Ray on AI Runtime’ı ele alır. Eğer Ray'i Databricks Classic compute ile Databricks Runtime ML ile kullanıyorsanız, Ray on Databricks sayfasına bakınız.

Ray, Python iş yüklerini ölçeklendirmek için açık kaynak bir çerçevedir. Ray kümeleri oluşturabilir ve Ray uygulamalarını AI Çalışma Zamanında çalıştırabilirsiniz; sunucusuz GPU hesaplama kullanarak altyapı provisioning'i otomatik olarak yönetebilirsiniz.

Notebook'larda Ray kullanın

Not defteriniz AI Runtime GPU işlem kaynağına bağlandığında, bağlı işlem kaynağında Ray’i başlatmak için ray_init() paketindeki serverless_gpu öğesini kullanın:

from serverless_gpu import ray_init

ray_init()

ray_init() Ray panosunu Databricks sürücü ara sunucusu üzerinden erişilebilecek şekilde yapılandırır ve not defteri çıktısında pano URL’sini yazdırır. Kodunuz çalışırken Ray işlerini, görevlerini ve kaynak kullanımını kontrol etmek için paneli kullanın.

Uyarı

ray_init() için ortam sürümü 5 veya üzeri gerekir. Databricks AI v6 Ray'i içeriyor. Eğer Standard v6 kullanıyorsanız, aramadan ray_init()önce Ray kurun.

Not defteri örnekleri

Example	Description
Ray Core Merhaba Dünya	Ekli hesaplamada asenkron GPU görevleri gönderin, Ray panelinde zamanlamayı inceleyin ve sonuçları alın.
Qwen2.5-32B Ray Data ve vLLM ile toplu çıkarım	8 H100 GPU'da sekiz kalıcı vLLM replikası ile çok dilli toplu çıkarım çalıştırın ve sonuçları Unity Catalog'da Parquet olarak kaydedin.

AI Runtime CLI ile Ray kullanın

AI Çalışma Zamanı CLI, Ray'i tek düğümlü ve çok düğümlü konfigürasyonlarda destekler. İş yükünün commandaltına bir önyükleme betiği ekleyin; bu betik Ray kümesini başlatır ve iş yükü başladığında baş ve işçi düğümlerini koordine eder. Ray Hello World örnekleri bu desen üzerinden geçiyor.

AI Runtime, Ray Core, Ray Data, Ray Train ve Ray Tune dahil olmak üzere Ray'in temel kütüphanelerini destekler. Standart ortamda, iş yükü bağımlılıklarınıza ray[tune] veya ilgili ek bileşeni (ray, ray[train] ya da ray[data]) ekleyin. Databricks yapay zeka ortamı Ray'i içeriyor.

CLI örnekleri

Example	Description
Ray Hello World örnekleri	Ray Core, Ray Train, Ray Data ve Ray Tune için, küme önyükleme örüntüsünü de içeren en basit tek düğümlü ve çok düğümlü örnekler.
Ray Train ile dağıtılmış eğitim	Ray Train ve PyTorch kullanarak birden fazla düğüm arasında büyük bir dil modelini ince ayar yapın.
Ray Data ve vLLM ile toplu çıkarım	Dağıtık veri yüklemesi için Ray Data ve verimli model hizmeti için vLLM kullanarak büyük ölçekli toplu çıkarım çalıştırın.
Ray Tune ile hiperparametre arama	Ray Tune ile Qwen2.5 için LoRA ince ayar hiperparametrelerini arayın; GPU başına bir deneme çalıştırarak ve beklenen performansı göstermeyen denemeleri ASHA zamanlayıcısı ile erkenden durdurarak.