A Deep Learning Pipelines migrálási útmutatója
Fontos
Ez a dokumentáció ki lett állítva, és lehet, hogy nem frissül. A tartalomban említett termékek, szolgáltatások vagy technológiák már nem támogatottak. Lásd: AI és gépi tanulás a Databricksben.
Ez az oldal tippeket tartalmaz a Databricks Runtime 6.6 ML-ben és alább található nyílt forráskód Deep Learning Pipelines-csomagból való migráláshoz. A Deep Learning Pipelines-kódtár sparkdl egyes részei el lettek távolítva a Databricks Runtime 7.0 ML -ben (EoS), különösen az Apache Spark ML-folyamatokban használt transzformátorokban és estimatorokban.
Ez a lap nem az Azure Databricks mélytanulási folyamatairól szóló általános információk forrása.
Képek olvasása
A Deep Learning Pipelines csomag tartalmaz egy képolvasótsparkdl.image.imageIO, amelyet a Databricks Runtime 7.0 ML (EoS) eltávolított.
Ehelyett használja a kép adatforrását vagy bináris fájl adatforrását az Apache Sparkból. A gépi tanuláshoz és a mélytanuláshoz készült Adatok betöltése példajegyzetfüzetek közül sok a két adatforrás használati eseteit mutatja be.
Transzfertanulás
A Deep Learning Pipelines csomag tartalmaz egy Spark ML-átalakítót sparkdl.DeepImageFeaturizer , amely megkönnyíti a mélytanulási modellekkel való átvitelt. DeepImageFeaturizer a Databricks Runtime 7.0 ML -ben (EoS) el lett távolítva.
Ehelyett használjon pandas UDF-eket a mélytanulási modelleken végzett featuráláshoz. A pandas UDF-ek és újabb változataik , a Scalar Iterator pandas UDF-ek rugalmasabb API-kat kínálnak, több mélytanulási kódtárat támogatnak, és jobb teljesítményt nyújtanak.
Lásd : Featurization for transfer learning , például a pandas UDF-ekkel folytatott átviteltanulás.
Elosztott hiperparaméter finomhangolása
A Deep Learning Pipelines csomag tartalmaz egy Spark ML-becslést sparkdl.KerasImageFileEstimator a hiperparaméterek Spark ML-finomhangolási segédprogramok használatával történő finomhangolásához. KerasImageFileEstimator a Databricks Runtime 7.0 ML -ben (EoS) el lett távolítva.
Ehelyett a Hyperopt használatával terjesztheti a hiperparaméter-finomhangolást a mélytanulási modellekhez.
Elosztott következtetés
A Deep Learning Pipelines csomag számos Spark ML-átalakítót tartalmaz a következtetés elosztásához, amelyek mindegyike el lett távolítva a Databricks Runtime 7.0 ML-ben (EoS):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Ehelyett használjon pandas UDF-eket a Spark DataFrame-ek következtetésének futtatásához, a batch-következtetés és -előrejelzés modelljeinek üzembe helyezésére vonatkozó példákat követve.
Modellek üzembe helyezése SQL UDF-ként
A Deep Learning Pipelines csomag tartalmaz egy segédprogramot sparkdl.udf.keras_image_model.registerKerasImageUDF a mélytanulási modell üzembe helyezéséhez a Spark SQL-ből hívható UDF-ként. registerKerasImageUDF a Databricks Runtime 7.0 ML -ben (EoS) el lett távolítva.
Ehelyett az MLflow használatával exportálja a modellt UDF-ként, a scikit-learn modell Azure ML-n való üzembe helyezésének példáját követve.