모델 평가 및 비교
AutoML(자동화된 Machine Learning) 실험이 완료되면 학습된 모델을 검토하고 가장 잘 수행된 모델을 결정하고자 합니다.
Azure Machine Learning 스튜디오에서는 AutoML 실험을 선택하여 세부 정보를 탐색할 수 있습니다.
AutoML 실험 실행에 관한 개요 페이지에서 입력 데이터 자산과 최적의 모델에 관한 요약을 검토할 수 있습니다. 학습된 모든 모델을 탐색하려면 모델 탭을 선택하시기 바랍니다.
전처리 단계 살펴보기
AutoML 실험에 기능화를 사용하도록 설정하면 데이터 가드레일도 자동으로 적용됩니다. 분류 모델에 지원되는 세 가지 데이터 가드레일은 다음과 같습니다.
- 클래스 균형 탐지.
- 누락된 기능 값 대체.
- 높은 카디널리티 기능 검색.
이러한 각 데이터 가드레일은 다음과 같은 세 가지 가능한 상태 중 하나를 표시합니다.
- 통과됨: 데이터 문제가 검색되지 않았으며 사용자 작업이 필요하지 않습니다.
- 완료됨: 변경 내용이 데이터에 적용되었습니다. AutoML이 데이터에 적용한 변경 내용을 검토해야 합니다.
- 경고됨: 문제가 검색되었지만 해결할 수 없습니다. 데이터를 검토하여 문제를 해결해야 합니다.
데이터 가드레일 옆에서 AutoML은 학습된 각 모델에 크기 조정 및 정규화 기술을 적용할 수 있습니다. 알고리즘 이름 아래의 모델 목록에 적용된 기술을 검토할 수 있습니다.
예를 들어 나열된 모델의 알고리즘 이름은 MaxAbsScaler, LightGBM일 수 있습니다. MaxAbsScaler는 각 기능의 크기가 최대 절대값으로 조정되는 크기 조정 기술을 나타냅니다. LightGBM은 모델을 학습시키는 데 사용되는 분류 알고리즘을 나타냅니다.
최상의 실행 및 해당 모델 검색
AutoML에서 모델을 검토할 때 지정한 기본 메트릭에 따라 최적의 실행을 쉽게 식별할 수 있습니다. Azure Machine Learning 스튜디오에서 모델은 자동으로 정렬되어 가장 성능이 뛰어난 모델을 맨 위에 표시합니다.
AutoML 실험의 모델 탭에서 동일한 개요에 다른 메트릭을 표시하려는 경우 열을 편집하면 됩니다. 다양한 메트릭을 포함하는 보다 포괄적인 개요를 만들면 모델을 더 쉽게 비교할 수 있습니다.
모델을 더 자세히 탐색하려면 학습된 모델마다 설명을 생성하면 됩니다. AutoML 실험을 구성할 때 가장 성능이 좋은 모델에 관한 설명을 생성하도록 지정할 수 있습니다. 그러나 다른 모델의 해석 가능성에 관심이 있는 경우 개요에서 모델을 선택하고 모델 설명을 선택할 수도 있습니다.
참고
모델 설명으로 모델의 해석 가능성을 가늠할 수 있습니다. 특히 설명은 대상 기능(모델이 예측하도록 학습된 기능)의 상대적 중요도를 예측합니다. 모델 해석 가능성에 대해 자세히 알아보세요.
팁
AutoML 실행을 평가하는 방법에 대해 자세히 알아보세요.