데이터 마이닝 디자이너의 마이닝 정확도 차트 탭에서 각 모델이 예측하는 정도를 계산하고 각 모델의 결과를 다른 모델의 결과와 직접 비교할 수 있습니다. 이 비교 방법을 리프트 차트라고 합니다. 일반적으로 마이닝 모델의 예측 정확도는 리프트 또는 분류 정확도로 측정됩니다. 이 자습서에서는 리프트 차트만 사용합니다.
이 항목에서는 다음 작업을 수행합니다.
입력 데이터 선택
마이닝 모델의 정확도를 테스트하는 첫 번째 단계는 테스트에 사용할 데이터 원본을 선택하는 것입니다. 테스트 데이터에 대해 모델이 얼마나 잘 수행되는지 테스트한 다음, 외부 데이터와 함께 사용합니다.
데이터 집합을 선택하려면
SSDT(SQL Server Data Tools)의 데이터 마이닝 디자이너에서 마이닝 정확도 차트 탭으로 전환하고 입력 선택 탭을 선택합니다.
정확도 차트 그룹에 사용할 데이터 집합 선택 상자에서 마이닝 구조 테스트 사례 사용을 선택합니다. 마이닝 구조를 만들 때 따로 설정한 테스트 데이터입니다.
다른 옵션에 대한 자세한 내용은 정확도 차트 종류 선택 및 차트 옵션 설정을 참조하세요.
정확도 차트 매개 변수 설정
정확도 차트를 만들려면 다음 세 가지를 정의해야 합니다.
정확도 차트에 포함해야 하는 모델은 무엇입니까?
측정하려는 예측 가능한 특성은 무엇입니까? 일부 모델에는 여러 대상이 있을 수 있지만 각 차트는 한 번에 하나의 결과만 측정할 수 있습니다.
정확도 차트에서 열을 예측 가능한 열 이름으로 사용하려면, 열의 사용 유형은
Predict또는Predict Only이어야 합니다. 또한 대상 열의 콘텐츠 형식은 하나Discrete또는Discretized.이어야 합니다. 즉, 리프트 차트를 사용하여 연속 숫자 출력에 대한 정확도를 측정할 수 없습니다.모델의 일반 정확도 또는 특정 값 예측의 정확도를 측정하시겠습니까(예: [Bike Buyer] = 'Yes')
리프트 차트를 생성하려면
데이터 마이닝 디자이너의 입력 선택 탭의 리프트 차트에 표시할 예측 가능한 마이닝 모델 열 선택에서 예측 열 및 값 동기화 확인란을 선택합니다.
예측 가능한 열 이름 열에서 각 모델에 대해 Bike Buyer가 선택되어 있는지 확인합니다.
표시 열에서 각 모델을 선택합니다.
기본적으로 마이닝 구조의 모든 모델이 선택됩니다. 모델을 포함하지 않을 수 있지만 이 자습서에서는 모든 모델을 선택한 상태로 둡니다.
예측 값 열에서 1을 선택합니다. 예측 가능한 열이 동일한 각 모델에 대해 동일한 값이 자동으로 채워집니다.
리프트 차트 탭을 선택합니다.
탭을 클릭하면 테스트 데이터에 대한 예측을 가져오기 위해 예측 쿼리가 실행되고 결과는 알려진 값과 비교됩니다. 결과는 그래프에 그려집니다.
예측 값 옵션을 사용하여 특정 대상 결과를 지정한 경우 리프트 차트는 임의 추측 결과와 이상적인 모델의 결과를 그립니다.
임의 추측 선은 예측에 데이터를 사용하지 않고 모델의 정확도를 보여 줍니다. 즉, 두 결과 간에 50-50으로 분할됩니다. 리프트 차트를 사용하면 임의 추측에 비해 모델이 얼마나 잘 수행되는지 시각화할 수 있습니다.
이상적인 모델 선은 정확도의 상한을 나타냅니다. 모델이 항상 정확하게 예측되는 경우 달성할 수 있는 최대 이점을 보여 줍니다.
만든 마이닝 모델은 일반적으로 이러한 두 극단 사이에 속합니다. 임의 추측의 개선은 리프트로 간주됩니다.
범례를 사용하여 이상적인 모델과 임의 추측 모델을 나타내는 색으로 표시된 선을 찾습니다.
TM_Decision_Tree모델이 클러스터링 및 Naive Bayes 모델을 모두 능가하며 가장 큰 향상을 제공한다는 것을 알게 될 것입니다.
이 단원에서 만든 리프트 차트와 유사한 리프트 차트에 대한 자세한 설명은 리프트 차트(Analysis Services - 데이터 마이닝)를 참조하세요.
수업의 다음 과제
또한 참조하십시오
리프트 차트 (Analysis Services - 데이터 마이닝)
리프트 차트 탭(마이닝 정확도 차트 보기)