다음을 통해 공유


SystemGetAccuracyResults(Analysis Services - 데이터 마이닝)

클러스터링 모델을 제외한 모든 관련 모델 및 마이닝 구조에 대한 교차 유효성 검사 정확도 메트릭을 반환합니다.

이 저장 프로시저는 전체 데이터 집합에 대한 메트릭을 하나의 파티션으로 반환합니다. 데이터 집합을 교집합 영역으로 분할하여 각 파티션에 대한 메트릭을 반환하려면 SystemGetCrossValidationResults(Analysis Services - 데이터 마이닝)를 사용합니다.

[!참고]

이 저장 프로시저는 Microsoft 시계열 알고리즘이나 Microsoft 시퀀스 클러스터링 알고리즘을 사용하여 작성된 모델에 대해서는 지원되지 않습니다. 또한 클러스터링 모델의 경우에는 별도의 저장 프로시저인 SystemGetClusterAccuracyResults(Analysis Services - 데이터 마이닝)를 사용해야 합니다.

구문

SystemGetAccuracyResults(<mining structure>, 
[,<mining model list>]
,<data set>
,<target attribute>
[,<target state>]
[,<target threshold>]
[,<test list>])

인수

  • mining structure
    현재 데이터베이스의 마이닝 구조 이름입니다.

    (필수)

  • model list
    유효성을 검사할 모델의 쉼표로 구분된 목록입니다.

    기본값은 null입니다. null 값은 적용 가능한 모든 모델이 사용됨을 의미합니다. 기본값을 사용할 경우 클러스터링 모델은 처리 후보 목록에서 자동으로 제외됩니다.

    (옵션)

  • data set
    마이닝 구조에서 테스트용으로 사용되는 파티션을 나타내는 정수 값입니다. 이 값은 다음 값의 합계를 나타내는 비트 마스크에서 파생되며 각 값은 선택 사항입니다.

    학습 사례

    0x0001

    테스트 사례

    0x0002

    모델 필터

    0x0004

    가능한 값의 전체 목록은 이 항목의 설명 섹션을 참조하십시오.

    (필수)

  • target attribute
    예측 가능한 개체의 이름을 포함하는 문자열입니다. 예측 가능한 개체는 마이닝 모델의 열, 중첩 테이블 열 또는 중첩 테이블 키 열일 수 있습니다.

    (필수)

  • target state
    예측할 특정 값을 포함하는 문자열입니다.

    값을 지정하면 해당 상태에 대해 메트릭이 수집됩니다.

    값을 지정하지 않거나 null을 지정하면 각 예측에서 가능성이 가장 높은 상태에 대해 메트릭이 계산됩니다.

    기본값은 null입니다.

    (옵션)

  • target threshold
    0.0에서 1 사이의 숫자로, 예측 값이 올바른 것으로 간주되는 최소 확률을 지정합니다.

    기본값은 null이며 이는 모든 예측이 올바른 것으로 간주됨을 의미합니다.

    (옵션)

  • test list
    테스트 옵션을 지정하는 문자열입니다. 이 매개 변수는 나중에 사용하도록 예약되어 있습니다.

    (옵션)

반환 형식

반환되는 행 집합에는 각 파티션의 점수와 모든 모델에 대한 집계가 포함됩니다.

다음 표에는 GetValidationResults에서 반환하는 열이 나열되어 있습니다.

열 이름

설명

Model

테스트한 모델의 이름입니다. All은 결과가 모든 모델의 집계임을 나타냅니다.

AttributeName

예측 가능한 열의 이름입니다.

AttributeState

예측 가능한 열의 대상 값입니다.

이 열에 값이 있으면 지정된 상태에 대해서만 메트릭이 수집됩니다.

이 값을 지정하지 않거나 값이 null이면 각 예측에서 가능성이 가장 높은 상태에 대해 메트릭이 계산됩니다.

PartitionIndex

결과가 적용되는 파티션을 나타냅니다.

이 프로시저의 경우에는 값이 항상 0입니다.

PartitionCases

<data set> 매개 변수를 기반으로 하여 사례 집합의 행 수를 나타내는 정수입니다.

Test

수행한 테스트 유형입니다.

Measure

테스트에서 반환한 측정값의 이름입니다. 각 모델의 측정값은 모델 유형 및 예측 가능한 값의 유형에 따라 달라집니다.

각 예측 가능 유형에 대해 반환된 측정값 목록은 교차 유효성 검사 보고서의 측정값를 참조하십시오.

각 측정값의 정의는 교차 유효성 검사(Analysis Services - 데이터 마이닝)를 참조하십시오.

지정된 측정값에 대한 값입니다.

주의

다음 표에서는 교차 유효성 검사에 사용되는 마이닝 구조의 데이터를 지정하는 데 사용할 수 있는 값의 예를 보여 줍니다. 교차 유효성 검사에 테스트 사례를 사용하려면 마이닝 구조에 테스트 데이터 집합이 이미 포함되어 있어야 합니다. 마이닝 구조를 만들 때 테스트 데이터 집합을 정의하는 방법은 데이터 집합 학습 및 테스트을 참조하십시오.

정수 값

설명

1

학습 사례만 사용합니다.

2

테스트 사례만 사용합니다.

3

학습 사례와 테스트 사례를 모두 사용합니다.

4

잘못된 조합입니다.

5

학습 사례만 사용하고 모델 필터를 적용합니다.

6

테스트 사례만 사용하고 모델 필터를 적용합니다.

7

학습 및 테스트 사례를 모두 사용하고 모델 필터를 적용합니다.

교차 유효성 검사를 사용할 수 있는 시나리오에 대한 자세한 내용은 테스트 및 유효성 검사(데이터 마이닝)를 참조하십시오.

이 예에서는vTargetMail 마이닝 구조에 연결된 v Target Mail DT라는 의사 결정 트리 모델 하나에 대해 정확도 측정값을 반환합니다. 네 번째 줄의 코드는 결과가 테스트 사례를 기반으로 하고 모델별 필터를 사용하여 각 모델에 대해 필터링되어야 함을 나타냅니다. [Bike Buyer]는 예측할 열을 지정하고 그 다음 줄에 나오는 1은 "예. 구입합니다"를 의미하는 1이라는 값에 대해서만 모델을 평가해야 함을 나타냅니다.

코드의 마지막 줄에서는 상태 임계값을 0.5로 지정합니다. 이는 정확도를 계산할 때 확률이 50% 이상인 예측을 "올바른" 예측으로 간주해야 함을 나타냅니다.

CALL SystemGetAccuracyResults (
[vTargetMail],
[vTargetMail DT],
6,
'Bike Buyer',
1,
0.5
)

예제 결과:

ModelName

AttributeName

AttributeState

PartitionIndex

PartitionSize

Test

측정값

v Target Mail DT

Bike Buyer

1

0

1638

분류

참 긍정

605

v Target Mail DT

Bike Buyer

1

0

1638

분류

거짓 긍정

177

v Target Mail DT

Bike Buyer

1

0

1638

분류

참 부정

501

v Target Mail DT

Bike Buyer

1

0

1638

분류

거짓 부정

355

v Target Mail DT

Bike Buyer

1

0

1638

Likelihood

로그 점수

-0.598454638753028

v Target Mail DT

Bike Buyer

1

0

1638

Likelihood

리프트

0.0936717116894395

v Target Mail DT

Bike Buyer

1

0

1638

Likelihood

제곱 평균 오차

0.361630800104946

요구 사항

교차 유효성 검사는 SQL Server Enterprise(SQL Server 2008부터 해당)에서만 사용할 수 있습니다.

참고 항목

참조

SystemGetCrossValidationResults(Analysis Services - 데이터 마이닝)

SystemGetAccuracyResults(Analysis Services - 데이터 마이닝)

SystemGetClusterCrossValidationResults(Analysis Services - 데이터 마이닝)

SystemGetClusterAccuracyResults(Analysis Services - 데이터 마이닝)