Руководство по переносу конвейеров глубокого обучения
Внимание
Поддержка этой документации прекращена, она может больше не обновляться. Продукты, службы или технологии, упомянутые в этом контенте, больше не поддерживаются. См . сведения об ИИ и машинном обучении в Databricks.
На этой странице приведены советы по переходу с пакета конвейеров глубокого обучения с открытым кодом, который входил в Databricks Runtime 6.6 ML и более ранних версий. Части библиотеки sparkdl конвейеров глубокого обучения были удалены в Databricks Runtime 7.0 ML (EoS), в частности, преобразователи и оценки, используемые в конвейерах машинного обучения Apache Spark.
Эта страница не является источником общих сведений о конвейерах глубокого обучения в Azure Databricks.
Чтение образов
Пакет Конвейеров глубокого обучения включает средство чтения sparkdl.image.imageIOизображений, которое было удалено в Databricks Runtime 7.0 ML (EoS).
Вместо него используйте источник данных изображений или источник данных двоичных файлов из Apache Spark. Многие из примеров записных книжек в load data for machine learning and deep learning показывают варианты использования этих двух источников данных.
Перенос обучения
Пакет конвейеров глубокого обучения включает в себя трансформатор машинного обучения Spark sparkdl.DeepImageFeaturizer, который упрощает обучение с использованием моделей глубокого обучения. DeepImageFeaturizerудален в Databricks Runtime 7.0 ML (EoS).
Вместо него для конструирования признаков с помощью моделей глубокого обучения применяйте пользовательские функции pandas. Пользовательские функции pandas и их новые разновидности, скалярные итераторы, реализуют более гибкие API-интерфейсы, поддерживают больше библиотек глубокого обучения и повышают производительность.
Примеры передачи обучения с помощью пользовательских функций pandas см. в разделе Конструирование признаков для передачи обучения.
Распределенная настройка гиперпараметров
Пакет конвейеров глубокого обучения включает оценщик машинного обучения Spark sparkdl.KerasImageFileEstimator для настройки гиперпараметров с помощью служебных программ настройки Spark ML. KerasImageFileEstimatorудален в Databricks Runtime 7.0 ML (EoS).
Вместо этого используйте Hyperopt для распространения настройки гиперпараметров для моделей глубокого обучения.
Распределенный вывод
Пакет конвейеров глубокого обучения включает несколько преобразователей машинного обучения Spark для распространения вывода, все из которых были удалены в Databricks Runtime 7.0 ML (EoS):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Вместо этого используйте определяемые пользователем pandas UDF для выполнения вывода в Кадрах данных Spark, следуя примерам в примерах развертывания моделей для пакетного вывода и прогнозирования.
Развертывание моделей в качестве пользовательских функций SQL
Пакет конвейеров глубокого обучения включает служебную программу sparkdl.udf.keras_image_model.registerKerasImageUDF для развертывания модели глубокого обучения в виде пользовательской функции, вызываемой из Spark SQL. registerKerasImageUDFудален в Databricks Runtime 7.0 ML (EoS).
Вместо него используйте MLflow для экспорта модели в качестве пользовательской функции, как показано в примере в разделе Развертывание модели scikit-learn в Azure ML.