共用方式為


深度學習管線移轉指南

重要

此檔已淘汰,且可能未更新。 不再支援此內容中所提及的產品、服務或技術。 請參閱 Databricks 上的 AI 和機器學習。

此頁面包含從 Databricks Runtime 6.6 ML 和以下包含之 開放原始碼 深度學習管線套件 移轉的秘訣。 深入學習管線程式庫 sparkdl 的部分已在 Databricks Runtime 7.0 ML 中移除 (不支援), 特別是 Apache Spark ML 管線中使用的轉換器和估算器。

此頁面不是 Azure Databricks 上深度學習管線的一般資訊的資源。

讀取影像

深度學習管線套件包含映射讀取器,此讀取器 sparkdl.image.imageIO 已在 Databricks Runtime 7.0 ML 中 移除(不支援)。

請改用 Apache Spark 中的 映射資料來源 二進位檔案資料來源 。 載入機器學習和深度學習 資料中的 許多範例筆記本會顯示這兩個數據源的使用案例。

轉移學習

深度學習管線套件包含 Spark ML 轉換器 sparkdl.DeepImageFeaturizer ,可協助使用深度學習模型進行傳輸學習。 DeepImageFeaturizer已在 Databricks Runtime 7.0 ML 中移除 (不支援)。

請改用 pandas UDF 搭配深度學習模型來執行特徵化。 pandas UDF 及其較新的 Variant Scalar Iterator pandas UDF 、提供更具彈性的 API、支援更多深度學習程式庫,並提供更佳的效能。

如需使用 pandas UDF 進行傳輸學習的範例,請參閱 轉移學習 特徵化。

分散式超參數微調

深度學習管線套件包含 Spark ML 估算器 sparkdl.KerasImageFileEstimator ,可用於使用 Spark ML 微調公用程式微調超參數。 KerasImageFileEstimator已在 Databricks Runtime 7.0 ML 中移除 (不支援)。

請改用 Hyperopt 的超參數微調來散發深度學習模型的超參數微調。

分散式推斷

深度學習管線套件包含數個用於散發推斷的 Spark ML 轉換器,這些套件全都已在 Databricks Runtime 7.0 ML 中 移除(不支援)

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

請改為使用 pandas UDF 在 Spark DataFrames 上執行推斷,遵循部署模型以進行批次推斷和預測 中的 範例。

將模型部署為 SQL UDF

深度學習管線套件包含公用程式 sparkdl.udf.keras_image_model.registerKerasImageUDF ,可用於將深度學習模型部署為可從 Spark SQL 呼叫的 UDF。 registerKerasImageUDF已在 Databricks Runtime 7.0 ML 中移除 (不支援)。

請改用 MLflow 將模型匯出為 UDF,並遵循 Azure ML 上 scikit-learn 模型部署中的 範例。