Azure Databricks에서 scikit-learn 사용
이 페이지에서는 scikit-learn패키지를 사용하여 Azure Databricks에서 기계 학습 모델을 학습시키는 방법의 예를 제공합니다. scikit-learn 은 단일 노드 기계 학습에 가장 인기 있는 Python 라이브러리 중 하나이며 Databricks Runtime 및 Databricks Runtime ML에 포함되어 있습니다. 클러스터의 런타임에 포함된 scikit-learn 라이브러리 버전은 Databricks Runtime 릴리스 정보를 참조하세요.
이 Notebook을 가져와서 Azure Databricks 작업 영역에서 실행할 수 있습니다.
Azure Databricks에서 빠르게 시작을 위한 추가 예제 Notebooks는 자습서: AI와 ML 시작을 참조하세요.
scikit-learn을 사용하는 기본 예제
이 Notebook은 Azure Databricks에 대한 기계 학습 모델 학습에 대한 빠른 개요를 제공합니다. scikit-learn간단한 분류 모델 학습 패키기를 사용합니다. 또한 MLflow를 사용하여 모델 개발 프로세스를 추적하고, Optuna를 사용하여 하이퍼 매개 변수 튜닝을 자동화하는 방법을 보여 줍니다.
작업 영역이 Unity 카탈로그에 사용하도록 설정된 경우 이 버전의 Notebook을 사용합니다:
scikit-learn 분류 Notebook(Unity 카탈로그)
Unity 카탈로그에 작업 영역을 사용하도록 설정하지 않은 경우 이 버전의 Notebook을 사용합니다:
scikit-learn 분류 Notebook
Azure Databricks에서 scikit-learn을 사용하는 엔드투엔드 예제
이 Notebook은 scikit-learn을 사용하여 데이터 로드, 모델 학습, 분산 하이퍼 매개 변수 튜닝 및 모델 유추의 전체 엔드투엔드 예제를 보여 줍니다. 또한 MLflow 모델 레지스트리를 사용하여 모델을 기록하고 등록하는 모델 수명 주기 관리를 보여 줍니다.
작업 영역이 Unity 카탈로그에 사용하도록 설정된 경우 이 버전의 Notebook을 사용합니다:
Databricks에서 MLflow 통합으로 scikit-learn 사용하기(Unity 카탈로그)
Unity 카탈로그에 작업 영역을 사용하도록 설정하지 않은 경우 이 버전의 Notebook을 사용합니다: