모델 평가 및 비교
AutoML(자동화된 기계 학습) 실험이 완료되면 학습된 모델을 검토하고 가장 잘 수행된 모델을 결정하려고 합니다.
Azure Machine Learning 스튜디오에서 AutoML 실험을 선택하여 세부 정보를 탐색할 수 있습니다.
AutoML 실험 실행의 개요 페이지에서 입력 데이터 자산 및 최상의 모델의 요약을 검토할 수 있습니다. 학습된 모든 모델을 탐색하려면 모델 탭을 선택할 수 있습니다.
전처리 단계 살펴보기
AutoML 실험에 기능화를 사용하도록 설정하면 데이터 가드레일도 자동으로 적용됩니다. 분류 모델에 지원되는 세 가지 데이터 가드레일은 다음과 같습니다.
- 클래스 균형 탐지.
- 누락된 기능 값 대체.
- 높은 카디널리티 기능 검색.
이러한 각 데이터 가드레일은 다음과 같은 세 가지 가능한 상태 중 하나를 표시합니다.
- 전달됨: 문제가 검색되지 않았으며 아무런 조치도 필요하지 않습니다.
- 완료: 변경 내용이 데이터에 적용되었습니다. 데이터에 대한 AutoML의 변경 내용을 검토해야 합니다.
- 경고: 문제가 검색되었지만 해결할 수 없습니다. 문제를 해결하려면 데이터를 검토해야 합니다.
AutoML은 데이터 가드레일 옆에 학습된 각 모델에 크기 조정 및 정규화 기술을 적용할 수 있습니다. 알고리즘 이름 아래의 모델 목록에 적용된 기술을 검토할 수 있습니다.
예를 들어 나열된 모델의 알고리즘 이름은 다음과 같습니다 MaxAbsScaler, LightGBM.
MaxAbsScaler 는 각 기능이 최대 절대값으로 크기 조정되는 크기 조정 기술을 나타냅니다.
LightGBM 는 모델을 학습시키는 데 사용되는 분류 알고리즘을 나타냅니다.
최상의 실행 및 해당 모델 검색
AutoML에서 모델을 검토할 때 지정한 기본 메트릭에 따라 최상의 실행을 쉽게 식별할 수 있습니다. Azure Machine Learning 스튜디오에서 모델은 자동으로 정렬되어 가장 성능이 뛰어난 모델을 맨 위에 표시합니다.
AutoML 실험의 모델 탭에서 동일한 개요에 다른 메트릭을 표시하려는 경우 열을 편집 할 수 있습니다. 다양한 메트릭을 포함하는 보다 포괄적인 개요를 만들면 모델을 보다 쉽게 비교할 수 있습니다.
모델을 더 자세히 살펴보려면 학습된 각 모델에 대한 설명을 생성할 수 있습니다. AutoML 실험을 구성할 때 가장 성능이 좋은 모델을 위해 설명을 생성하도록 지정할 수 있습니다. 그러나 다른 모델의 해석 가능성에 관심이 있는 경우 개요에서 모델을 선택하고 모델 설명을 선택할 수 있습니다.
메모
모델 설명은 모델의 해석 가능성에 대한 근사치입니다. 특히 설명은 대상 기능(모델이 예측하도록 학습된 기능)의 상대적 중요도를 추정합니다. 모델 해석 가능성에 대해 자세히 알아봅니다.
팁 (조언)
AutoML 실행을 평가하는 방법에 대해 자세히 알아봅니다.
AutoML은 광범위한 검색과 데이터에 대한 최상의 알고리즘 및 전처리 조합을 보여 주는 강력한 시작점을 제공합니다. 하지만 하이퍼 매개 변수를 조정하거나, 사용자 지정 기능을 엔지니어링하거나, AutoML에서 다루지 않는 접근 방식을 테스트하려는 경우가 있습니다. 이때 노트북이 중요한 역할을 합니다.