Migreer klassieke GPU-workloads naar serverless

Als u een bestaande Deep Learning-workload verplaatst van een klassiek Databricks-cluster (met Databricks Runtime ML) naar serverloos (met AI Runtime), voert u de volgende stappen uit:

1. Vervang clusterafhankelijke code. Verwijder eventuele verwijzingen naar gedistribueerde training op basis van Spark (bijvoorbeeld TorchDistributor) en vervang deze door de @distributed decorator van serverless_gpu.
2. Bijwerken van het laden van gegevens. Vervang directe DBFS-paden door Unity Catalog-volumespaden (/Volumes/...). Lokale Spark DataFrame-bewerkingen vervangen door Spark Connect. Gebruik UCVolumeDataset van databricks.air.data om bestandsgegevens uit volumes te streamen. Zie Gegevens laden in AI Runtime.
3. Stel uw omgeving in. Sommige vooraf geïnstalleerde Databricks Runtime ML-bibliotheken zijn niet beschikbaar op AI Runtime. Zet een serverless GPU-omgeving op en installeer de pakketten die je workload nodig heeft met %pip install. Zie Uw omgeving instellen.
4. Controleerpuntpaden bijwerken. Verplaats controlepunten van DBFS of lokale opslag naar Unity Catalog-volumes (/Volumes/<catalog>/<schema>/<volume>/...). Voor gedistribueerde controlepunten gebruikt UCVolumeWriter en UCVolumeReader van databricks.air.data, welke fase I/O via lokale NVMe. Zie Checkpoint met Distributed Checkpoint (DCP).
5. Bekijk je MLflow-configuratie. Op AI Runtime maakt de .distributed() API automatisch MLflow-uitvoeringen. Om het experiment aan te passen, stel je het in op een absoluut pad. Om onderbroken runs te hervatten, stel je een runnaam in. Bekijk wat MLflow biedt.
6. Test eerst interactief. Valideer uw workload in een interactief notitieblok voordat u deze als taak plant.