분류 매트릭스를 사용하여 예측에 대한 모델의 정확도를 평가할 수 있습니다. 분류 매트릭스를 생성하려면 모델을 통해 테스트 데이터 집합을 실행하고 분류 행렬 도구는 테스트 집합의 실제 값을 모델의 예측과 비교합니다. 행렬을 살펴보면 모델이 올바른 빈도와 잘못된 예측 빈도를 한눈에 알 수 있습니다.
이러한 추가 기능에서 분류 매트릭스 마법사를 사용하여 모델을 선택하고 테스트 데이터를 지정한 다음 결과 행렬을 생성합니다.
분류 매트릭스를 읽는 방법
고객 충성도 프로그램을 디자인한 다음 적절한 범주에 고객을 할당하여 적절한 수준의 인센티브를 제공하는 것이 목표라고 가정해 보겠습니다. 보상 프로그램에 대한 세 가지 수준(청동, 은, 금)을 구현했으며 평가 단계에서 고객에게 이를 제공했습니다. 또한 고객을 분석하고 올바른 범주를 예측하는 모델을 디자인했습니다. 이제 평가판 데이터의 분류 매트릭스를 사용하여 모델이 모든 고객에게 올바른 제품을 예측하는 데 얼마나 적합한지 확인합니다.
분류 행렬의 표는 모델을 기반으로 각 범주에 할당될 고객 수를 알려주고, 그 결과를 각 보상 수준에 실제로 가입한 고객 수와 비교합니다.
| 브론즈(실제) | 골드(실제) | 실버 (실제) | |
|---|---|---|---|
| 청동 | 94.45% | 15.18% | 1.70% |
| 금 | 2.72% | 84.82% | 0.00% |
| 은 | 1.84% | 0.00% | 93.80% |
| 올바름 | 95.45% | 84.82% | 98.30% |
| 잘못 분류된 | 4.55% | 15.18% | 1.70% |
각 열에는 테스트 데이터 세트의 실제 값이 표시됩니다.
각 행에는 예측 값이 표시됩니다.
왼쪽 위 모서리에서 오른쪽 아래 모서리까지 행렬에서 대각선으로 배열된 굵은 글씨로 표시된 값은 모델이 맞춘 결과를 보여줍니다.
대각선 외부의 다른 모든 값은 오류를 나타냅니다. 일부 오류는 오탐으로, 모델이 고객이 골드 프로그램에 참여할 것이라고 잘못 예측한 경우입니다. 도메인에 따라 잘못된 긍정 결과가 매우 높은 비용을 초래할 수 있습니다.
다른 경우는 거짓 부정으로, 모델이 고객이 프로그램에 참여했음에도 불구하고 관심이 없을 것이라고 예측한 것입니다. 다시 말하지만, 문제 도메인에 따라 이 손실된 기회 비용이 상당할 수 있습니다.
분류 행렬 마법사 사용
예측을 기반으로 할 마이닝 모델을 선택합니다.
새 테스트 데이터의 원본을 선택하거나 구조와 함께 저장된 테스트 데이터를 사용합니다.
정확도를 평가할 열을 선택합니다. 행렬을 만들 때 하나의 열만 선택할 수 있지만 열에는 여러 값이 있을 수 있습니다.
팁: 예측 가능한 열에 비교할 열이 많은 경우 분류 행렬을 해석하기 어려울 수 있습니다.
예측할 열 선택 페이지에서 잘못된 값과 잘못된 값의 개수를 표시할지 또는 백분율을 표시할지 여부를 지정할 수도 있습니다.
원본 데이터 선택 페이지에서 외부 테스트 데이터를 사용하고 있는지 또는 모델과 함께 저장된 테스트 데이터를 사용하고 있는지를 나타냅니다.
외부 테스트 데이터를 사용하는 경우 마법사의 관계 지정 페이지에서 입력 열에 모델을 매핑해야 합니다.
포함된 테스트 데이터 집합을 사용하는 경우 매핑이 수행됩니다.
마침을 클릭하여 모델에 대한 예측을 실행하고 분류 행렬을 생성합니다.
마법사는 분류 행렬 및 분석에 대한 기타 세부 정보가 포함된 보고서를 만듭니다. 이 보고서는 Excel에서 테이블로 저장되며, 보고서 위에 올바르게 예측된 사례 수와 잘못된 예측 수를 나타내는 요약이 있습니다.
요구 사항
분류 행렬을 만들려면 정확도 측정을 지원하는 기존 마이닝 모델에 액세스할 수 있어야 합니다. 예측 모델 및 연결 모델은 이 도구를 사용하여 측정할 수 없습니다.
측정 중인 모델은 불연속이거나 이미 불연속화된 값을 예측해야 합니다.
구조 또는 모델과 함께 테스트 집합을 저장하는 옵션을 사용하지 않은 경우 모델에서 사용되는 것과 일치하는 데이터 형식을 사용하여 기본적으로 동일한 수의 열이 있는 입력 데이터 집합을 가져와야 합니다.
테스트에 사용하는 데이터 마이닝 모델과 새 데이터에는 예측할 수 있는 열이 하나 이상 포함되어야 하며 열에는 동일한 종류의 데이터가 포함되어야 합니다.
알려진 문제
SQL Server 2012 및 SQL Server 2014에서는 분류 매트릭스 도구에서 내부 테스트 데이터 집합을 모델에 매핑하는 기능이 작동하지 않습니다. 그러나 외부 데이터 집합을 지정한 다음 학습 집합을 입력으로 선택하여 원래 데이터 집합에 대한 오류를 확인할 수 있습니다.
또한 참조하십시오
모델 유효성 검사 및 예측 모델 사용(Excel용 데이터 마이닝 추가 기능)
데이터 탐색(SQL Server 데이터 마이닝 추가 기능)
범주 검색(Excel용 테이블 분석 도구)