다음을 통해 공유


Machine Learning - 평가

중요

Machine Learning Studio(클래식)에 대한 지원은 2024년 8월 31일에 종료됩니다. 해당 날짜까지 Azure Machine Learning으로 전환하는 것이 좋습니다.

2021년 12월 1일부터 새로운 Machine Learning Studio(클래식) 리소스를 만들 수 없습니다. 2024년 8월 31일까지는 기존 Machine Learning Studio(클래식) 리소스를 계속 사용할 수 있습니다.

ML Studio(클래식) 설명서는 사용 중지되며 나중에 업데이트되지 않을 수 있습니다.

이 문서에서는 기계 학습 모델을 평가하는 데 사용할 수 있는 Machine Learning Studio(클래식)의 모듈에 대해 설명합니다. 모델 평가 는 학습이 완료된 후 예측의 정확도를 측정하고 모델 적합성을 평가하기 위해 수행됩니다.

참고

적용 대상: Machine Learning Studio(클래식) 전용

유사한 끌어서 놓기 모듈은 Azure Machine Learning 디자이너에서 사용할 수 있습니다.

또한 이 문서에서는 모델 생성, 학습, 평가 및 채점을 위한 Machine Learning Studio(클래식)의 전체 프로세스에 대해서도 설명합니다.

Machine Learning Studio(클래식)에서 기계 학습 모델 만들기 및 사용

기계 학습에 대한 일반적인 워크플로에는 다음 단계가 포함됩니다.

  1. 적합한 알고리즘을 선택하고 초기 옵션을 설정합니다.
  2. 호환되는 데이터를 사용하여 모델을 학습합니다.
  3. 모델의 패턴을 기반으로 하는 새 데이터를 사용하여 예측을 만듭니다.
  4. 모델을 평가하여 예측이 정확한지, 오류의 양, 과잉 맞춤이 발생하는지 여부를 확인합니다.

Machine Learning Studio(클래식)는 기계 학습을 위한 유연하고 사용자 지정 가능한 프레임워크를 지원합니다. 이 프로세스의 각 작업은 특정 유형의 모듈에 의해 수행됩니다. 모듈은 나머지 실험을 중단하지 않고 수정, 추가 또는 제거할 수 있습니다.

이 범주의 모듈을 사용하여 기존 모델을 평가합니다. 모델 평가에는 일반적으로 일종의 결과 데이터 세트가 필요합니다. 평가 데이터 세트가 없는 경우 점수 매기기로 결과를 생성할 수 있습니다. 테스트 데이터 세트 또는 "근거" 또는 알려진 예상 결과를 포함하는 다른 데이터 집합을 사용할 수도 있습니다.

모델 평가에 대한 자세한 정보

일반적으로 모델을 평가할 때 옵션은 평가하는 모델의 유형과 사용하려는 메트릭에 따라 달라집니다. 이러한 항목에는 가장 자주 사용되는 몇 가지 메트릭이 나와 있습니다.

또한 Machine Learning Studio(클래식)는 사용 중인 모델의 유형과 모델에서 예측하는 클래스 수에 따라 다양한 시각화를 제공합니다. 이러한 시각화를 찾는 데 도움이 되는 내용은 평가 메트릭 보기를 참조하세요.

이러한 통계를 해석하려면 모델이 학습된 특정 알고리즘을 더 잘 이해해야 하는 경우가 많습니다. 모델을 평가하는 방법 및 각 측정값에 대해 반환되는 값을 해석하는 방법에 대한 좋은 설명은 Machine Learning 모델 성능을 평가하는 방법을 참조하세요.

모듈 목록

Machine Learning - 평가 범주에는 다음 모듈이 포함됩니다.

  • 모델 교차 유효성 검사: 데이터를 분할하여 분류 또는 회귀 모델에 대한 매개 변수 예측의 교차 유효성을 검사합니다.

    학습 집합 및 모델의 유효성을 테스트하려면 모델 간 유효성 검사 모듈을 사용합니다. 교차 유효성 검사는 데이터를 접기로 분할한 다음 접기 조합에 대해 여러 모델을 테스트합니다.

  • 모델 평가: 표준 메트릭을 사용하여 채점된 분류 또는 회귀 모델을 평가합니다.

    대부분의 경우 제네릭 모델 평가 모듈을 사용합니다. 모델이 지원되는 분류 또는 회귀 알고리즘 중 하나를 기반으로 하는 경우 특히 그렇습니다.

  • 추천 평가: 추천 모델 예측의 정확도를 평가합니다.

    권장 사항 모델의 경우 추천 평가 모듈을 사용합니다.

  • 클러스터링 모델의 경우 클러스터에 데이터 할당 모듈을 사용합니다. 그런 다음, 해당 모듈의 시각화를 사용하여 평가 결과를 확인합니다.
  • 사용자 지정 평가 메트릭을 만들 수 있습니다. 사용자 지정 평가 메트릭을 만들려면 R 스크립트 실행 모듈의 R 코드 또는 Python 스크립트 실행 모듈의 Python 코드를 제공합니다. 이 옵션은 오픈 소스 라이브러리의 일부로 게시된 메트릭을 사용하거나 모델 정확도를 측정하기 위해 고유한 메트릭을 디자인하려는 경우에 편리합니다.

기계 학습 모델 평가의 결과를 해석하는 것은 예술입니다. 데이터 및 비즈니스 문제 외에도 수학 결과를 이해해야 합니다. 다양한 시나리오에서 결과를 해석하는 방법에 대한 설명은 다음 문서를 검토하는 것이 좋습니다.

기술 정보

이 섹션에는 구현 정보, 팁, 질문과 대답이 포함되어 있습니다.

평가 메트릭 보기

Machine Learning Studio(클래식)에서 각 모델 유형에 대한 메트릭 차트를 찾는 위치를 알아봅니다.

2클래스 분류 모델

이진 분류 모델의 기본 보기에는 대화형 ROC 차트와 주 메트릭에 대한 값 테이블이 포함됩니다.

An interactive ROC chart and a table of values for the principal metrics in binary classification models

이진 분류 모델을 보기 위한 두 가지 옵션이 있습니다.

  • 모듈 출력을 마우스 오른쪽 단추로 클릭한 다음 시각화를 선택합니다.
  • 모듈을 마우스 오른쪽 단추로 클릭하고 평가 결과를 선택한 다음 시각화를 선택합니다.

슬라이더를 사용하여 확률 임계값 을 변경할 수도 있습니다. 임계값은 결과를 true로 수락해야 하는지 여부를 결정합니다. 그런 다음 이러한 값이 어떻게 변경되는지 확인할 수 있습니다.

다중 클래스 분류 모델

다중 클래스 분류 모델에 대한 기본 메트릭 뷰에는 모든 클래스에 대한 혼동 행렬과 전체 모델에 대한 메트릭 집합이 포함됩니다.

다중 클래스 분류 모델을 보기 위한 두 가지 옵션이 있습니다.

  • 모듈 출력을 마우스 오른쪽 단추로 클릭한 다음 시각화를 선택합니다.
  • 모듈을 마우스 오른쪽 단추로 클릭하고 평가 결과를 선택한 다음 시각화를 선택합니다.

간단히 하기 위해 다음과 같은 두 결과가 나란히 표시됩니다.

Metrics table and Confusion Matrix for multiclass classification models

회귀 모델

회귀 모델에 대한 메트릭 뷰는 만든 모델의 유형에 따라 달라집니다. 메트릭 뷰는 기본 알고리즘 인터페이스를 기반으로 하며 모델 메트릭에 가장 적합합니다.

회귀 모델을 보는 두 가지 옵션이 있습니다.

  • 테이블에서 정확도 메트릭을 보려면 모델 평가 모듈의 출력을 마우스 오른쪽 단추로 클릭한 다음 시각화를 선택합니다.
  • 값이 포함된 오류 히스토그램을 보려면 모듈을 마우스 오른쪽 단추로 클릭하고 평가 결과를 선택한 다음 시각화를 선택합니다.

Error Histogram and Metrics table for linear regression models

오류 히스토그램 보기는 오류가 배포되는 방식을 이해하는 데 도움이 될 수 있습니다. 다음 모델 형식에 대해 제공되며 루트 평균 제곱 오차(RMSE)와 같은 기본 메트릭 테이블을 포함합니다.

다음 회귀 모델은 일부 사용자 지정 메트릭과 함께 기본 메트릭 테이블을 생성합니다.

데이터 작업에 대한 팁

Machine Learning Studio(클래식) UI에서 복사하여 붙여넣지 않고 숫자를 추출하려면 새 PowerShell 라이브러리를 사용하여 Machine Learning 수 있습니다. 전체 실험 또는 개별 모듈에서 메타데이터 및 기타 정보를 가져올 수 있습니다.

모델 평가 모듈에서 값을 추출하려면 더 쉽게 식별할 수 있도록 모듈에 고유한 주석을 추가해야 합니다. 그런 다음 Download-AmlExperimentNodeOutput cmdlet을 사용하여 JSON 형식의 시각화에서 메트릭 및 해당 값을 가져옵니다.

자세한 내용은 PowerShell을 사용하여 기계 학습 모델 만들기를 참조하세요.

추가 정보