Migrera klassiska GPU-arbetsbelastningar till serverless

Om du flyttar en befintlig arbetsbelastning för djupinlärning från ett klassiskt Databricks-kluster (med Databricks Runtime ML) till serverlös (med AI Runtime) följer du dessa steg:

1. Ersätt klusterberoende kod. Ta bort alla referenser till Spark-baserad distribuerad träning (till exempel TorchDistributor) och ersätt dem med dekoratören @distributed från serverless_gpu.
2. Uppdatera datainläsning. Ersätt direkta DBFS-sökvägar med Unity Catalog-volymsökvägar (/Volumes/...). Ersätt lokala Spark DataFrame-åtgärder med Spark Connect. För att strömma filbaserade data från volymer använder du UCVolumeDataset från databricks.air.data. Se Ladda data på AI Runtime.
3. Konfigurera din miljö. Vissa förinstallerade Databricks Runtime ML-bibliotek finns inte tillgängliga på AI Runtime. Sätt upp en serverlös GPU-miljö och installera de paket din arbetsbelastning behöver med %pip install. Se Konfigurera din miljö.
4. Uppdatera sökvägar för kontrollpunkter. Flytta kontrollpunkter från DBFS eller lokal lagring till Unity Catalog-volymer (/Volumes/<catalog>/<schema>/<volume>/...). För distribuerade kontrollpunkter använder du UCVolumeWriter och UCVolumeReader från databricks.air.data, som mellanlagrar I/O via lokal NVMe. Se Checkpoint med Distributed Checkpoint (DCP).
5. Granska din MLflow-konfiguration. På AI Runtime skapar API:et .distributed() automatiskt MLflow-körningar. För att anpassa experimentet anger du det med en absolut sökväg. För att återuppta avbrutna löpningar, sätt ett löpningsnamn. Se vad MLflow erbjuder för djupinlärning.
6. Testa interaktivt först. Verifiera din arbetsbelastning i en interaktiv notebook-fil innan du schemalägger den som ett jobb.