예측 점수 모델의 정확도 및 성능 보기
예측 점수 모델의 정확도를 아는 것은 모델을 사용할 준비가 되었는지 또는 더 높은 정확도를 위해 미세 조정해야 하는지 여부를 결정하는 데 중요합니다. 또한 리더십 팀과 판매자가 개선된 비즈니스 결과를 위한 모델을 채택하도록 설득하는 데도 도움이 됩니다.
이 문서에 설명된 메트릭은 영업 기회 점수와 잠재 고객 점수에 모두 적용됩니다.
라이선스 및 역할 요구 사항
| 요구 사항 유형 | 반드시 필요 |
|---|---|
| 라이선스 | Dynamics 365 Sales Premium 또는 Dynamics 365 Sales Enterprise 추가 정보: Dynamics 365 Sales 가격 |
| 보안 역할 | 시스템 관리자 추가 정보: 미리 정의된 영업에 대한 보안 역할 정보 |
정확도에 영향을 주는 요인
예측 점수 모델는 영업 기회 또는 잠재 고객이 판매로 이어질 가능성을 계산합니다. 모델의 정확도는 다음 요인에 따라 달라집니다.
- 모델 학습에 사용할 수 있는 데이터의 품질 및 양.
- 선택하는 비즈니스 프로세스 흐름 및 필터
- 모델이 단계별 모델링을 사용하는 경우 선택된 단계 및 특성
이 모델은 교육 데이터 세트에서 마감된 영업 기회 또는 잠재 고객의 80%를 사용하여 교육됩니다. 가장 최근 레코드로 구성된 테스트 데이터 세트로 나머지 20%를 사용하여 유효성을 검사합니다. 진양성, 가양성 등과 같은 매개 변수를 기반으로 검증된 테스트 데이터 세트에서 모델의 정확도를 계산합니다.
정확도 및 성능 메트릭 보기
영업 허브 페이지 왼쪽 아래에 있는 영역 변경에서 Sales Insights 설정을 선택합니다.
예측 모델 아래 사이트 맵에서 영업 기회 점수 또는 잠재 고객 점수를 선택합니다.
모델 선택 목록에서 모델을 선택합니다.
성능 탭을 선택합니다.
성능 탭은 다음 메트릭을 표시합니다. 성능 탭에 메트릭이 표시되지 않으면 영업 기회 평가 모델 편집 및 재학습을 수행합니다.
모델 성능: 다음 매개 변수를 기반으로 모델을 게시할 준비가 되었는지 여부를 지정합니다.
정확도: 모델이 긍정 또는 부정으로 올바른 예측을 수행하는 빈도를 나타냅니다. 이 메트릭은 데이터 세트가 균형을 이루고 가양성과 가음성의 비용이 동일할 때 가장 유용합니다. 정확도 점수는 다음 공식을 사용하여 계산됩니다.
정확도 = (TP + TN) / (총 영업 기회 또는 채점된 잠재 고객 수) *100
재현율: 모델이 실제 양성 결과와 비교하여 양성 결과를 올바르게 예측한 빈도를 나타냅니다. 재현율 점수가 낮다는 것은 모델이 더 적은 진양성을 예측하고 있음을 의미합니다. 재현율 점수는 다음 공식을 사용하여 계산됩니다.
재현율 = TP / (TP + FN) * 100
전환율: 과거 데이터당 검증되었거나 획득한 기회 또는 리드의 비율 또는 기회 또는 리드가 전환될 가능성입니다. 모델은 이 값을 사용하여 특성이 예측 점수에 미치는 영향을 파악합니다. 전환율은 다음 공식을 사용하여 계산됩니다.
전환율 = (TP + FN) / (총 영업 기회 또는 채점된 잠재 고객 수) *100
오류 매트릭스: 모델이 과거 데이터에 대해 테스트되었을 때 결과를 얼마나 잘 예측할 수 있는지 나타냅니다. 매트릭스는 진양성, 진음성, 가양성 및 가음성의 수를 표시합니다.
메트릭 예측 실제 진양성(TP) 네 네 진음성(TN) 없음 없음 가양성(FP) 네 없음 가음성(FN) 없음 네 곡선하 면적: 모델의 곡선하 면적(AUC) 점수입니다. AUC 점수는 모델이 무작위로 선택된 음성 인스턴스(실패한 영업 기회 또는 부적격 잠재 고객)보다 더 높은 무작위로 선택된 양성 인스턴스(성공한 영업 기회 또는 적격 잠재 고객)의 순위를 매길 확률을 결정합니다. AUC가 더 높은 모델은 진양성과 진음성을 더 잘 예측합니다.
F1 점수: 모델의 정밀도 및 재현율 점수를 기반으로 계산된 F1 점수를 표시합니다. F1 점수는 데이터 불균형의 경우에도 모델의 품질을 결정합니다.
임계값: 잠재 고객 또는 영업 기회가 적격/성공으로 간주되는 임계값입니다. 예를 들어 임계값이 45인 경우 점수가 45보다 큰 기회는 획득한 것으로 예측됩니다. 임계값은 F1 점수를 최적화하기 위해 선택됩니다.
예: 모델 성능 메트릭
1,000개 영업 기회의 샘플 데이터 세트에 대한 예측 결과를 살펴보겠습니다.
| 데이터 | 영업 기회 수 |
|---|---|
| 진양성 | 650 |
| 가양성 | 200 |
| 진음성 | 100 |
| 가음성 | 50 |
모델은 850개의 영업 기회(TP+FP)를 획득할 것으로 예측했지만 실제로는 650개의 영업 기회(TP)만 획득했습니다. 마찬가지로, 모델은 150개의 영업 기회(TN + FN)가 실패할 것으로 예측했지만, 실제로는 100개의 영업 기회(TN)만 실패했습니다.
다음 테이블은 데이터의 메트릭을 보여줍니다.
| 메트릭 | 점수 |
|---|---|
| 정확도 | (650 + 100) / 1,000 = 75% |
| 리콜 | 650 / (650 + 50) = 92% |
| 전환율 | (650 + 50) / 1,000 = 70% |
모델 성능 향상
모델이 게시할 준비가 되지 않았거나 성능이 좋지 않은 경우 다음 단계를 시도하여 점수를 높이세요.
- 사용하는 특성을 검토합니다.
- 특성 인사이트를 보고 모델의 전체 예측에 미치는 영향을 이해하십시오.
- 빈 값의 비율이 더 높기 때문에 가양성 또는 가음성이 발생하는 특성에 대한 빈 값을 무시하십시오.
- 지능형 필드를 포함하여 잠재 고객 평가 모델가 점수를 향상시키거나 손상시키는 요소를 구별하도록 돕습니다.
- 영업 기회 평가 모델에서 단계별 모델링을 사용하여 각 비즈니스 프로세스 단계에 적용할 속성을 선택합니다.
- 필터 기준, 학습 데이터 기간 또는 기타 모델 구성을 세분화합니다. 예를 들어 훈련 데이터에 대해 2년 기간을 선택했는데 해당 기간 동안 테스트 또는 잘못된 레코드가 너무 많다는 것을 알게 되면 데이터 품질이 더 좋은 6개월 또는 1년 중 더 짧은 기간을 선택합니다.
앱에서 옵션을 찾을 수 없습니까?
세 가지 가능성이 있습니다.
- 필요한 라이선스나 역할이 없습니다.
- 관리자가 기능을 사용 설정하지 않았습니다.
- 조직에서 사용자 지정 앱을 사용 중입니다. 정확한 단계는 관리자에게 문의하세요. 이 문서에 설명된 단계는 기본 제공 영업 허브 및 Sales Professional 앱에만 해당됩니다.