Migrer les charges de travail classiques des GPU vers les serverless

Si vous déplacez une charge de travail d’apprentissage profond existante d’un cluster Databricks classique (avec Databricks Runtime ML) vers serverless (avec AI Runtime), procédez comme suit :

1. Remplacez le code dépendant du cluster. Supprimez toute référence à l’entraînement distribué basé sur Spark (par exemple, TorchDistributor) et remplacez-la par le décorateur @distributed du SDK Databricks AI Runtime (databricks.air).
2. Mettez à jour le chargement des données. Remplacez les chemins DBFS directs par les chemins de volumes du Unity Catalog (/Volumes/...). Remplacez les opérations spark DataFrame locales par Spark Connect. Pour diffuser en continu des données basées sur des fichiers à partir de volumes, utilisez UCVolumeDataset à partir de databricks.air.data. Consultez Charger des données sur AI Runtime.
3. Configurez votre environnement. Certaines bibliothèques préinstallées de Databricks Runtime ML ne sont pas disponibles sur AI Runtime. Configurez un environnement GPU sans serveur et installez les paquets nécessaires à votre charge de travail avec %pip install. Consultez Configurer votre environnement.
4. Mettez à jour les chemins de point de contrôle. Déplacez les points de contrôle du stockage DBFS ou local vers les volumes du catalogue Unity (/Volumes/<catalog>/<schema>/<volume>/...). Pour les points de contrôle distribués, utilisez UCVolumeWriter et UCVolumeReader à partir de databricks.air.data, qui utilisent des E/S intermédiaires via le NVMe local. Voir Checkpoint avec Checkpoint Distribué (DCP).
5. Examinez votre configuration MLflow. Sur AI Runtime, l’API .distributed() crée MLflow qui s’exécute automatiquement. Pour personnaliser l’expérience, définissez-la avec un chemin absolu. Pour reprendre des exécutions interrompues, définissez un nom d’exécution. Voyez ce que MLflow offre.
6. Testez d’abord de manière interactive. Validez votre charge de travail dans un notebook interactif avant de le planifier en tant que travail.