이 섹션에는 많은 인기 있는 오픈 소스 라이브러리를 사용하여 Azure Databricks 기계 학습 모델을 학습시키는 방법을 보여 주는 예제가 포함되어 있습니다.
모델 학습을 위해 데이터 세트를 자동으로 준비하는 AutoML을 사용하고, scikit-learn 및 XGBoost와 같은 오픈 소스 라이브러리를 사용하여 평가판 집합을 수행하고, 각 평가판 실행에 대한 소스 코드가 포함된 Python Notebook을 만들어 코드를 검토, 재현 및 수정할 수 있습니다.
기계 학습 예제
| 패키지 | 노트북(들) | 기능 |
|---|---|---|
| scikit-learn | 기계 학습 자습서 | Unity 카탈로그, 분류 모델, MLflow, Hyperopt 및 MLflow를 사용한 자동화된 하이퍼 매개 변수 튜닝 |
| scikit-learn | 엔드투엔드 예제 | Unity 카탈로그, 분류 모델, MLflow, Hyperopt 및 MLflow를 사용한 자동화된 하이퍼 매개 변수 튜닝, XGBoost |
| MLlib | MLlib 예제 | 이진 분류, 의사 결정 트리, GBT 회귀, Structured Streaming, 사용자 지정 변환기 |
| xgboost | XGBoost 예제 | Python, PySpark 및 Scala, 단일 노드 워크로드 및 분산 학습 |
하이퍼 매개 변수 튜닝 예제
Azure Databricks 하이퍼 매개 변수 튜닝에 대한 일반적인 내용은 Hyperparameter 튜닝 참조하세요.
메모
Hyperopt의 오픈 소스 버전은 더 이상 유지 관리되지 않습니다.
Hyperopt는 16.4 LTS ML 이후 Machine Learning Databricks Runtime에 포함되지 않습니다. Azure Databricks는 Spark에서 병렬 연구를 수행할 수 있는 Optuna 또는 이미 폐기된 Hyperopt 분산 하이퍼파라미터 튜닝 기능과 유사한 경험을 위한 Ray Tune을 권장합니다. Azure Databricks에서 Ray Tune 사용법에 대해 더 알아보세요.
| 패키지 | 노트 | 기능 |
|---|---|---|
| Optuna | Optuna를 시작하세요 | Optuna, 분산형 Optuna, scikit-learn, MLflow |
| Hyperopt | 분산 하이퍼옵트 | 분산된 Hyperopt, Scikit-learn, MLflow |
| Hyperopt | 모델 비교 | 분산 hyperopt를 사용하여 서로 다른 모델 형식에 대한 하이퍼 매개 변수 공간을 동시에 검색 |
| Hyperopt | 분산 학습 알고리즘 및 hyperopt | Hyperopt, MLlib |
| Hyperopt | Hyperopt 모범 사례 | 다양한 크기의 데이터 세트에 대한 모범 사례 |