分享方式：

Deep Learning Pipelines 移轉指南

  • 文章

重要

此文件已淘汰，可能無法更新。 不再支援此內容所提及的產品、服務或技術。 請參閱 Databricks 的 AI 與機器學習。

此頁面包含從開放原始碼深度學習管線套件移轉的提示，該套件包含在 Databricks Runtime 6.6 ML 及更低版本。 部分深入學習管線程式庫 sparkdl 已從 Databricks Runtime 7.0 ML (EoS) 移除，特別是 Apache Spark ML 管線使用的轉換器與估算器。

此頁面並非 Azure Databricks 深度學習管線的一般資訊資源。

讀取影像

深度學習管線套件包含影像讀取器 sparkdl.image.imageIO，此讀取器已從 Databricks Runtime 7.0 ML (EoS) 移除。

請改用 Apache Spark 的影像資料來源或 二進位檔案資料來源。 載入機器學習與深度學習資料的許多範例筆記本會顯示這兩個資料來源的使用案例。

傳輸學習

深度學習管線套件包含 Spark ML 轉換器 sparkdl.DeepImageFeaturizer，可協助使用深度學習模型進行傳輸學習。 DeepImageFeaturizer 已從 Databricks Runtime 7.0 ML (EoS) 移除。

請改用 pandas UDF 搭配深度學習模型來執行特徵化。 pandas UDF 及其較新變體 純量迭代器 pandas UDF 可提供更具彈性的 API、支援更多深度學習程式庫，且可提供更佳效能。

如需使用 pandas UDF 進行傳輸學習的範例，請參閱傳輸學習特徵化。

分散式超參數微調

深度學習管線套件包含 Spark ML 估算器 sparkdl.KerasImageFileEstimator，可用於使用 Spark ML 微調公用程式來微調超參數。 KerasImageFileEstimator 已從 Databricks Runtime 7.0 ML (EoS) 移除。

請改用 Hyperopt 來分散深度學習模型的超參數微調。

分散式推斷

深度學習管線套件包含數個用於分散式推斷的 Spark ML 轉換器，這些均已從 Databricks Runtime 7.0 ML (EoS) 移除：

  • DeepImagePredictor
  • TFImageTransformer
  • KerasImageFileTransformer
  • TFTransformer
  • KerasTransformer

請改為使用 pandas UDF 在 Spark DataFrames 執行推斷，遵循部署模型以進行批次推斷及預測的範例。

將模型部署為 SQL UDF

深度學習管線套件包含公用程式 sparkdl.udf.keras_image_model.registerKerasImageUDF，可用於將深度學習模型部署為可從 Spark SQL 呼叫的 UDF。 registerKerasImageUDF 已從 Databricks Runtime 7.0 ML (EoS) 移除。

請改用 MLflow 將模型匯出為 UDF，並遵循在 Azure ML 部署 scikit-learn 模型的範例。