Klasik GPU iş yüklerini sunucusuz hale geçir

Mevcut derin öğrenme iş yükünü klasik bir Databricks kümesinden (Databricks Runtime ML ile) sunucusuz (AI Runtime ile) taşıyorsanız şu adımları izleyin:

1. Kümeye bağımlı kodu değiştirin. Spark tabanlı dağıtık eğitime yapılan tüm referansları (örneğin, TorchDistributor) kaldırın ve bunları Databricks AI Runtime SDK'sındaki@distributed dekoratörüyle (databricks.air) değiştirin.
2. Veri yüklemesini güncelleştirin. Doğrudan DBFS yollarını Unity Kataloğu birim yollarıyla (/Volumes/...) değiştirin. Yerel Spark DataFrame işlemlerini Spark Connect ile değiştirin. Birimlerden dosya tabanlı veri akışı gerçekleştirmek için UCVolumeDataset'den databricks.air.data kullanın. Bkz . Yapay zeka çalışma zamanına veri yükleme.
3. Ortamınızı ayarlayın. Bazı Databricks Runtime ML önceden kurulu kütüphaneleri AI Runtime'da mevcut değildir. Sunucusuz bir GPU ortamı kurun ve iş yükünüz için gereken paketleri kurun %pip install. Bkz . Ortamınızı ayarlama.
4. Denetim noktası yollarını güncelleştirin. Denetim noktalarını DBFS'den veya yerel depolama alanından Unity Kataloğu birimlerine (/Volumes/<catalog>/<schema>/<volume>/... ) taşıyın. Dağıtılmış denetim noktası oluşturma için, G/Ç’yi yerel NVMe üzerinden aşamalayan UCVolumeWriter kaynağındaki UCVolumeReader ve databricks.air.data öğelerini kullanın. Dağıtık Denetim Noktası (DCP) ile Denetim Noktası'na bakınız.
5. MLflow yapılandırmanızı gözden geçirin. AI Runtime’da, .distributed() API MLflow çalıştırmalarını otomatik olarak oluşturur. Deneyi özelleştirmek için, onu mutlak bir yol olarak belirtin. Kesintiye uğrayan çalışmaları devam ettirmek için bir koşu adı ayarlayın. MLflow'un ne sağladığını görün.
6. Önce etkileşimli olarak test edin. İş olarak zamanlamadan önce etkileşimli bir not defterinde iş yükünüzü doğrulayın.