Stratégie de maintenance Databricks Runtime ML

Databricks Runtime ML comprend une variété de bibliothèques ML et DL populaires. Les bibliothèques sont mises à jour avec chaque version pour inclure de nouvelles fonctionnalités et des correctifs. Cet article décrit les bibliothèques de niveau supérieur prises en charge, leur cadence de mise à jour et les scénarios de dépréciation des bibliothèques.

Stratégie de prise en charge de la bibliothèque

Databricks a désigné un sous-ensemble des bibliothèques prises en charge en tant que bibliothèques de niveau supérieur. Pour ces bibliothèques, Databricks offre une cadence de mise à jour plus rapide, en mettant à jour les versions les plus récentes des packages avec chaque version du runtime (conflits de dépendances). Databricks fournit également une prise en charge avancée, des tests et des optimisations incorporées pour les bibliothèques de niveau supérieur. Les bibliothèques de niveau supérieur sont ajoutées ou supprimées uniquement avec les versions majeures.

La liste complète des bibliothèques de niveau supérieur est la suivante :

• Ensembles de données
• GraphFrames
• MLflow
• PyTorch
• Scikit-learn
• streaming
• TensorBoard
• Transformateurs

Pour obtenir la liste de toutes les bibliothèques incluses dans chaque version du runtime, consultez les notes de publication de Databricks Runtime ML.

Note

À compter de Databricks Runtime 18.0 ML, TensorFlow et spark-tensorflow-connector ne sont plus des bibliothèques de niveau supérieur.

Stratégie de dépréciation de la bibliothèque

Databricks peut supprimer une bibliothèque de la liste de niveau supérieur dans les situations suivantes :

• Si la bibliothèque n’a pas de nouvelles validations depuis deux mois et aucune nouvelle version depuis plus de six mois. Databricks peut rajouter la bibliothèque supprimée lorsque la maintenance active reprend.
• Si l’utilisation de la bibliothèque diminue considérablement.
• Les bibliothèques sont remplacées si de nouveaux packages ont été ajoutés pour combler les lacunes majeures.

Databricks supprime une bibliothèque préinstallée lorsque la bibliothèque atteint l’une des conditions suivantes :

• La bibliothèque n’est plus gérée activement. Une bibliothèque est considérée comme non gérée activement lorsque l’une des conditions suivantes est remplie :
  • Aucun nouveau commit depuis trois mois et aucune nouvelle publication depuis plus de neuf mois.
  • Le référentiel de la bibliothèque est archivé.
  • Arrêt annoncé de la maintenance de cette bibliothèque.
• Aucune version stable n’est trouvée fonctionnelle pour le nouveau runtime.

Lorsqu’une bibliothèque est planifiée pour la suppression, Databricks effectue les étapes suivantes pour informer les clients :

• Un avertissement d'obsolescence est ajouté dans les notes de publication du runtime, indiquant que la bibliothèque sera supprimée dans la prochaine version majeure de Databricks Runtime ML.
• Une notification s’affiche lors de l’importation de la bibliothèque, indiquant que la bibliothèque sera supprimée dans la prochaine version principale de Databricks Runtime ML.
• La documentation Databricks qui référence la bibliothèque est mise à jour pour indiquer que la bibliothèque est planifiée pour la suppression.

Pour continuer à utiliser une bibliothèque après sa suppression, vous pouvez installer la bibliothèque manuellement ou utiliser une version antérieure de Databricks Runtime ML.