Deep Learning-Pipelines-Migrationshandbuch
Wichtig
Diese Dokumentation wurde eingestellt und wird unter Umständen nicht aktualisiert. Die in diesem Inhalt erwähnten Produkte, Dienste oder Technologien werden nicht mehr unterstützt. Siehe KI und Machine Learning in Databricks.
Auf dieser Seite finden Sie Tipps zur Migration des Open-Source-Pakets Deep Learning Pipelines, das in Databricks Runtime 6.6 ML und niedriger enthalten ist. Teile der Deep Learning Pipelines-Bibliothek sparkdl wurden in Databricks Runtime 7.0 ML (nicht unterstützt) entfernt, insbesondere die Transformer und Schätzer, die in Apache Spark-ML-Pipelines verwendet werden.
Diese Seite ist nicht als Ressource für allgemeine Informationen zu Deep-Learning-Pipelines in Azure Databricks vorgesehen.
Bilder lesen
Das Paket „Deep Learning Pipelines“ enthält den Imagereader sparkdl.image.imageIO, der in Databricks Runtime 7.0 ML (nicht unterstützt) entfernt wurde.
Verwenden Sie stattdessen die Bilddatenquelle oder Binärdateidatenquelle aus Apache Spark. Viele der Beispielnotebooks unter Laden von Daten für maschinelles Lernen und Deep Learning veranschaulichen Anwendungsfälle dieser beiden Datenquellen.
Transferlernen
Das Paket „Deep Learning Pipelines“ enthält den Spark-ML-Transformer sparkdl.DeepImageFeaturizer, um den Lerntransfer mit Deep-Learning-Modellen zu vereinfachen. DeepImageFeaturizer wurde in Databricks Runtime 7.0 ML (nicht unterstützt) entfernt.
Verwenden Sie stattdessen Pandas-UDFs, um die Featurisierung mit Deep-Learning-Modellen durchzuführen. Pandas-UDFs und deren neuere Variante, Pandas-UDFs mit Skalariteratoren, bieten flexiblere APIs, unterstützen mehr Deep-Learning-Bibliotheken und ermöglichen eine bessere Leistung.
Unter Featurisierung für den Lerntransfer finden Sie Beispiele für den Lerntransfer mit Pandas-UDFs.
Verteilte Hyperparameteroptimierung
Das Paket „Deep Learning Pipelines“ enthält den Spark-ML-Schätzer sparkdl.KerasImageFileEstimator für die Hyperparameteroptimierung mithilfe von Spark-ML-Optimierungshilfsprogrammen. KerasImageFileEstimator wurde in Databricks Runtime 7.0 ML (nicht unterstützt) entfernt.
Verwenden Sie stattdessen die Hyperparameteroptimierung mit Hyperopt, um die Hyperparameteroptimierung für Deep-Learning-Modelle zu verteilen.
Verteilter Rückschluss
Das Paket „Deep Learning Pipelines“ enthält mehrere Spark-ML-Transformer für die Verteilung von Rückschlüssen, die alle in Databricks Runtime 7.0 ML (nicht unterstützt) entfernt wurden:
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Verwenden Sie stattdessen Pandas-UDFs, um Rückschlüsse auf Spark-DataFrames auszuführen, während Sie den Beispielen unter Modelle für Rückschluss und Vorhersage bereitstellen folgen.
Bereitstellen von Modellen als SQL-UDFs
Das Paket „Deep Learning Pipelines“ enthält das Hilfsprogramm sparkdl.udf.keras_image_model.registerKerasImageUDF für die Bereitstellung eines Deep-Learning-Modells als über Spark SQL aufrufbare UDF. registerKerasImageUDF wurde in Databricks Runtime 7.0 ML (nicht unterstützt) entfernt.
Verwenden Sie stattdessen MLflow, um das Modell als UDF zu exportieren. Befolgen Sie dazu das Beispiel unter scikit-learn-Modellimplementierung in Azure Machine Learning.