Guide de migration de Deep Learning Pipelines
Important
Cette documentation a été mise hors service et peut ne pas être mise à jour. Les produits, services ou technologies mentionnés dans ce contenu ne sont plus pris en charge. Consultez IA et Machine Learning sur Databricks.
Cette page contient des conseils pour opérer une migration à partir du package Deep Learning Pipelines open source inclus dans Databricks Runtime ML 6.6 et versions antérieures. Des parties de la bibliothèque Deep Learning Pipelines sparkdl ont été supprimées dans Databricks Runtime 7.0 Machine Learning (non pris en charge), en particulier les transformateurs et les estimateurs utilisés dans les pipelines Apache Spark ML.
Cette page n’est pas une ressource pour obtenir des informations générales concernant les pipelines de Deep Learning sur Azure Databricks.
Lire les images
Le package Deep Learning Pipelines comprend un lecteur d’images sparkdl.image.imageIO, qui a été supprimé dans Databricks Runtime 7.0 Machine Learning (non pris en charge).
À la place, utilisez la source de données des images ou la source de données des fichiers binaires à partir d’Apache Spark. De nombreux exemples de notebooks dans Charger des données pour le machine learning et le deep learning montrent des cas d’usage de ces deux sources de données.
Transfer learning
Le package Deep Learning Pipelines comprend un transformateur Spark ML sparkdl.DeepImageFeaturizer pour faciliter l’apprentissage de transfert avec des modèles Deep Learning. DeepImageFeaturizer a été supprimé dans Databricks Runtime 7.0 Machine Learning (non pris en charge).
Utilisez plutôt des fonctions définies par l’utilisateur pandas pour exécuter une caractérisation avec des modèles Deep Learning. Les fonctions définies par l’utilisateur pandas et leurs nouvelles variantes, les fonctions définies par l’utilisateur pandas Itérateur scalaire, offrent des API plus flexibles, prennent en charge davantage de bibliothèques de Deep Learning et offrent de meilleures performances.
Pour obtenir des exemples d’apprentissage de transfert avec les fonctions définies par l’utilisateur pandas, consultez Caractérisation pour l’apprentissage de transfert.
Réglage distribué des hyperparamètres
Le package Deep Learning Pipelines comprend un estimateur ML Spark sparkdl.KerasImageFileEstimator pour le réglage des hyperparamètres avec les utilitaires de réglage Spark ML. KerasImageFileEstimator a été supprimé dans Databricks Runtime 7.0 Machine Learning (non pris en charge).
À la place, utilisez le réglage des hyperparamètres avec Hyperopt afin de distribuer le réglage des hyperparamètres pour les modèles Deep Learning.
Inférence distribuée
Le package Deep Learning Pipelines comprend plusieurs transformateurs Spark ML pour la distribution de l’inférence, tous supprimés dans Databricks Runtime 7.0 Machine Learning (non pris en charge) :
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Utilisez plutôt les fonctions définies par l’utilisateur pandas pour exécuter l’inférence sur les DataFrames Spark, en suivant les exemples fournis dans Déployer des modèles de groupe à des fins d’inférence et de prédiction.
Déployer des modèles en tant que fonctions définies par l’utilisateur SQL
Le package Deep Learning Pipelines comprend un utilitaire sparkdl.udf.keras_image_model.registerKerasImageUDF qui permet de déployer un modèle Deep Learning en tant que fonction définie par l’utilisateur pouvant être appelée à partir de Spark SQL. registerKerasImageUDF a été supprimé dans Databricks Runtime 7.0 Machine Learning (non pris en charge).
À la place, utilisez MLflow pour exporter le modèle en tant que fonction définie par l’utilisateur, en suivant l’exemple fourni dans Déploiement de modèle scikit-learn sur Azure ML.