딥 러닝 파이프라인 마이그레이션 가이드
Important
이 설명서는 사용 중지되었으며 업데이트되지 않을 수 있습니다. 이 콘텐츠에 언급된 제품, 서비스 또는 기술은 더 이상 지원되지 않습니다. Databricks에서 AI 및 Machine Learning을 참조 하세요.
이 페이지는 Databricks Runtime 6.6 ML 및 이전 버전에 포함된 오픈 소스 딥 러닝 파이프라인 패키지에서 마이그레이션에 대한 팁을 포함합니다. 딥 러닝 파이프라인 라이브러리 sparkdl 의 일부는 Databricks Runtime 7.0 ML(지원되지 않음), 특히 Apache Spark ML 파이프라인에서 사용되는 변환기 및 추정기에서 제거되었습니다.
이 페이지는 Azure Databricks의 딥 러닝 파이프라인에 대한 일반적인 정보의 리소스가 아닙니다.
이미지 읽기
딥 러닝 파이프라인 패키지에는 Databricks Runtime 7.0 ML(지원되지 않음)에서 제거된 이미지 판독sparkdl.image.imageIO기를 포함합니다.
대신 Apache Spark의 이미지 데이터 원본 또는 이진 파일 데이터 원본을 사용합니다. 기계 학습 및 딥 러닝을 위한 데이터 로드의 많은 Notebook 예제에서 두 데이터 원본의 사용 사례를 보여줍니다.
이전 학습
딥 러닝 파이프라인 패키지에는 딥 러닝 모델을 사용한 전이 학습을 용이하게 하기 위해 Spark ML 변환기 sparkdl.DeepImageFeaturizer가 포함되어 있습니다. DeepImageFeaturizer Databricks Runtime 7.0 ML에서 제거 되었습니다(지원되지 않음).
대신 pandas UDF를 사용하여 딥 러닝 모델로 기능화를 수행합니다. pandas UDF 및 최신 변형 Scalar Iterator pandas UDF는 보다 유연한 API를 제공하고, 더 많은 딥 러닝 라이브러리를 지원하며, 더 나은 성능을 제공합니다.
pandas UDF를 사용한 전이 학습의 예는 전이 학습을 위한 기능화를 참조하세요.
분산된 하이퍼 매개 변수 튜닝
딥 러닝 파이프라인 패키지에는 Spark ML 튜닝 유틸리티를 사용하여 하이퍼 매개 변수를 튜닝하기 위한 Spark ML 추정기 sparkdl.KerasImageFileEstimator가 포함되어 있습니다. KerasImageFileEstimator Databricks Runtime 7.0 ML에서 제거 되었습니다(지원되지 않음).
대신 Hyperopt를 사용하여 하이퍼 매개 변수 튜닝을 사용하여 딥 러닝 모델에 대한 하이퍼 매개 변수 튜닝을 배포합니다.
분산된 유추
딥 러닝 파이프라인 패키지에는 유추를 분산하기 위한 여러 Spark ML 변환기가 포함되어 있으며, 모두 Databricks Runtime 7.0 ML(지원되지 않음)에서 제거되었습니다.
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
대신, 일괄 처리 유추 및 예측을 위해 모델 배포의 예제에 따라 pandas UDF를 사용하여 Spark DataFrames에서 유추를 실행합니다.
모델을 SQL UDF로 배포
딥 러닝 파이프라인 패키지에는 Spark SQL에서 호출 가능한 UDF로 딥 러닝 모델을 배포하는 유틸리티 sparkdl.udf.keras_image_model.registerKerasImageUDF가 포함되어 있습니다. registerKerasImageUDF Databricks Runtime 7.0 ML에서 제거 되었습니다(지원되지 않음).
대신 Azure Machine Learning에서 scikit-learn 모델 배포의 예제에 따라 MLflow를 사용하여 모델을 UDF로 내보냅니다.