모델 평가 구성 요소

  • 아티클

이 문서에서는 Azure Machine Learning 디자이너의 구성 요소에 대해 설명합니다.

이 구성 요소를 사용하여 학습된 모델의 정확도를 측정합니다. 모델에서 생성된 점수가 포함된 데이터 세트를 제공하면 모델 평가 구성 요소는 산업 표준 평가 메트릭 세트를 계산합니다.

모델 평가에서 반환되는 메트릭은 평가 중인 모델 유형에 따라 달라집니다.

  • 분류 모델
  • 회귀 모델
  • 클러스터링 모델

팁

모델 평가를 접하는 경우 EdX의 기계 학습 과정의 일환으로 Stephen Elston 박사의 비디오 시리즈를 권장합니다.

모델 평가 사용 방법

  1. 커넥트평가 모델의 왼쪽 입력 포트에 클러스터에 데이터 할당의 모델 점수 매기기 또는 결과 데이터 세트 출력의 점수 매기기 데이터 세트 출력입니다.

    참고 항목

    "데이터 세트에서 열 선택"과 같은 구성 요소를 사용하여 입력 데이터 세트의 일부를 선택하는 경우에는 AUC, 이진 분류/변칙 검색의 정확도와 같은 메트릭을 계산하기 위해 실제 레이블 열(학습에 사용됨), '점수가 매겨진 확률' 열 및 '점수가 매겨진 레이블' 열이 있는지 확인하세요. 다중 클래스 분류/회귀에 대한 메트릭을 계산하기 위해 실제 레이블 열인 '점수가 매칭된 레이블' 열이 있습니다. 클러스터링의 메트릭을 계산하기 위한 '할당' 열, 'DistancesToClusterCenter no.X' 열(X는 0부터 중심 수-1 사이의 중심 인덱스임)이 존재합니다.

    Important

    • 결과를 평가하려면 출력 데이터 세트에 모델 평가 구성 요소 요구 사항을 충족하는 특정 점수 열 이름이 포함되어야 합니다.
    • 열은 Labels 실제 레이블로 간주됩니다.
    • 회귀 작업의 경우 평가할 데이터 세트에는 점수가 매겨진 레이블을 나타내는 Regression Scored Labels라는 하나의 열이 있어야 합니다.
    • 이진 분류 작업의 경우 평가할 데이터 세트에는 각각 점수가 매겨진 레이블 및 확률을 나타내는 Binary Class Scored Labels, Binary Class Scored Probabilities라는 두 개의 열이 있어야 합니다.
    • 다중 분류 작업의 경우 평가할 데이터 세트에는 점수가 매겨진 레이블을 나타내는 하나의 Multi Class Scored Labels열이 있어야 합니다. 업스트림 구성 요소의 출력에 이러한 열이 없으면 위의 요구 사항에 따라 수정해야 합니다.

  2. [선택 사항] 커넥트 모델 평가의 오른쪽 입력 포트에 대한 두 번째 모델에 대한 클러스터에 데이터 할당의 모델 점수 매기기 또는 결과 데이터 세트 출력의 점수가 매깁니다. 동일한 데이터에서 서로 다른 두 모델의 결과를 쉽게 비교할 수 있습니다. 두 입력 알고리즘은 동일한 알고리즘 형식이어야 합니다. 또는 서로 다른 매개 변수를 사용하여 동일한 데이터에 대해 수행한 두 번의 실행 결과 생성된 점수를 비교할 수 있습니다.

    참고 항목

    알고리즘 형식은 '기계 학습 알고리즘'의 '2클래스 분류', '다중 클래스 분류', '회귀', '클러스터링'을 나타냅니다.

  3. 파이프라인을 제출하여 평가 점수를 생성합니다.

결과

모델 평가를 실행한 후 구성 요소를 선택하여 오른쪽에 있는 모델 평가 탐색 패널을 엽니다. 그런 다음 출력 + 로그 탭을 선택하고 해당 탭에서 데이터 출력 섹션에 여러 아이콘이 있습니다. 시각화 아이콘에는 결과를 표시하는 첫 번째 방법인 막대 그래프 아이콘이 있습니다.

이진 분류의 경우 시각화 아이콘을 클릭한 후 이진 혼동 행렬을 시각화할 수 있습니다. 다중 분류의 경우 다음과 같이 출력 + 로그 탭에서 혼동 행렬 플롯 파일을 찾을 수 있습니다.

Preview of uploaded image

모델 평가의 두 입력에 데이터 세트를 연결하는 경우 결과에는 데이터 집합 또는 두 모델 모두에 대한 메트릭이 포함됩니다. 왼쪽 포트에 연결된 모델 또는 데이터가 먼저 보고서에 표시되고, 그 다음에는 데이터 세트에 대한 메트릭 또는 오른쪽 포트에 연결된 모델이 표시됩니다.

예를 들어 다음 이미지는 동일한 데이터에 빌드되었지만 매개 변수가 다른 두 클러스터링 모델의 결과를 비교한 것입니다.

Comparing2Models

이것은 클러스터링 모델이므로 평가 결과는 두 회귀 모델의 점수를 비교하거나 두 분류 모델을 비교할 때와 다릅니다. 그러나 전체 프레젠테이션은 동일합니다.

메트릭

이 섹션에서는 모델 평가와 함께 사용할 수 있는 특정 유형의 모델에 대해 반환되는 메트릭에 대해 설명합니다.

분류 모델에 대한 메트릭

이진 분류 모델을 평가할 때 다음 메트릭이 보고됩니다.

  • 정확도는 분류 모델의 적합성을 전체 사례에 대한 참 결과의 비율로 측정합니다.

  • 정밀도는 모든 긍정 결과에 대한 참 결과의 비율입니다. 전체 자릿수 = TP/(TP+FP)

  • 회수 는 실제로 검색된 관련 인스턴스의 총 양 중 일부입니다. 회수 = TP/(TP+FN)

  • F1 점수 는 0에서 1 사이의 정밀도 및 재현율의 가중 평균으로 계산됩니다. 여기서 이상적인 F1 점수 값은 1입니다.

  • AUC 는 y축에서 진양성, x축의 가양성으로 그려진 곡선 아래 영역을 측정합니다. 이 메트릭은 다양한 형식의 모델을 비교할 수 있는 단일 숫자를 제공하기 때문에 유용합니다. AUC는 분류 임계값 고정입니다. 선택한 분류 임계값에 관계없이 모델 예측의 품질을 측정합니다.

회귀 모델에 대한 메트릭

회귀 모델에 대해 반환된 메트릭은 오류 양을 예측하도록 설계되었습니다. 관찰된 값과 예측 값의 차이가 작은 경우 모델은 데이터에 잘 맞는 것으로 간주됩니다. 그러나 잔차의 패턴(예측된 지점과 해당 실제 값 간의 차이)을 살펴보면 모델의 잠재적 편견에 대해 많은 것을 알 수 있습니다.

선형 회귀 모델을 평가하기 위한 다음 메트릭이 보고됩니다. 빠른 포리스트 분위수 회귀와 같은 다른 회귀 모델에는 다른 메트릭이 있을 수 있습니다.

  • MAE(평균 절대 오차) 는 예측이 실제 결과와 얼마나 가까운지 측정하므로 점수가 낮을수록 좋습니다.

  • RMSE(평균 제곱 오차) 는 모델의 오류를 요약하는 단일 값을 만듭니다. 메트릭은 차이를 제곱하여 초과 예측과 과소 예측 간의 차이를 무시합니다.

  • RAE(상대 절대 오차) 는 예상 값과 실제 값 간의 상대적 절대 차이입니다. 평균 차이는 산술 평균으로 나뉘기 때문에 상대적입니다.

  • 마찬가지로 RSE(상대 제곱 오차) 는 실제 값의 총 제곱 오차로 나누어 예측 값의 총 제곱 오차를 정규화합니다.

  • R2라고도 하는 결정 계수는 모델의 예측 기능을 0에서 1 사이의 값으로 나타냅니다. 0은 모델이 임의임을 의미합니다(아무것도 설명하지 않음). 1은 완벽한 핏이 있음을 의미합니다. 그러나 낮은 값은 완전히 정상이고 높은 값은 주의 대상이 될 수 있으므로 R2 값을 해석할 때는 주의해야 합니다.

클러스터링 모델에 대한 메트릭

클러스터링 모델은 다양한 측면에서 분류 및 회귀 모델과 크게 다르므로 모델 평가에서도 클러스터링 모델에 대해서는 다른 통계 세트를 반환합니다.

클러스터링 모델에 대해 반환된 통계는 각 클러스터에 할당된 데이터 요소 수, 클러스터 간의 분리 양 및 각 클러스터 내에서 데이터 요소가 얼마나 긴밀하게 배치되는지를 설명합니다.

클러스터링 모델에 대한 통계는 전체 데이터 세트에 대해 평균을 계산하며 클러스터당 통계를 포함하는 추가 행이 있습니다.

다음 메트릭은 클러스터링 모델을 평가하기 위해 보고됩니다.

  • 다른 센터에 대한 평균 거리 열의 점수는 클러스터의 각 지점이 다른 모든 클러스터의 중심점과 평균적으로 얼마나 가까운지를 나타냅니다.

  • 클러스터 센터까지의 평균 거리 열의 점수는 클러스터의 모든 지점과 해당 클러스터의 중심점의 근접성을 나타냅니다.

  • 요소 수 열에는 각 클러스터에 할당된 데이터 요소의 수와 클러스터에 있는 총 데이터 요소 수가 표시됩니다.

    클러스터에 할당된 데이터 요소 수가 사용 가능한 총 데이터 요소 수보다 작으면 데이터 요소를 클러스터에 할당할 수 없습니다.

  • 열의 점수인 클러스터 센터까지의 최대 거리는 각 지점과 해당 지점 클러스터의 중심 사이의 최대 거리를 나타냅니다.

    이 수치가 높으면 클러스터가 널리 분산된 것을 의미할 수 있습니다. 클러스터의 분산을 확인하려면 클러스터 센터까지의 평균 거리와 함께 이 통계를 검토해야 합니다.

  • 결과의 각 섹션 아래쪽에 표시되는 결합된 평가 점수에는 해당 모델에서 생성된 클러스터에 대한 평균 점수가 나열됩니다.

다음 단계

Azure Machine Learning에서 사용 가능한 구성 요소 집합을 참조하세요.