Tahmini puanlama modellerinin doğruluğunu ve performansını görüntüleme
Tahmini puanlama modelinin doğruluğunu bilmek, modelin kullanıma hazır olup olmadığına karar vermek veya daha iyi kesinlik için ayarlama yapmanız gerekip gerekmediğine karar vermek açısından önemlidir. Ayrıca, liderlik takımı ve satıcıları iyileştirilmiş iş sonuçları için modeli benimsemeye ikna etmenize yardımcı olur.
Bu makalede açıklanan ölçümler hem fırsat puanlama hem de müşteri adayı puanlama için geçerlidir.
Lisans ve rol gereksinimleri
| Gereksinim türü | Aşağıdakine sahip olmanız gerekir: |
|---|---|
| Lisans | Dynamics 365 Sales Premium veya Dynamics 365 Sales Enterprise Daha fazla bilgi: Dynamics 365 Sales fiyatlandırması |
| Güvenlik rolleri | Sistem Yöneticisi Daha fazla bilgi: Önceden tanımlanmış güvenlik rolleri hakkında |
Doğruluğu etkileyen faktörler
Bir tahmini puanlama modeli fırsatın veya müşteri adayının satışa dönüştürülme olasılığını hesaplar. Modelin doğruluğu aşağıdaki etkenlere bağlıdır:
- Modeli eğitmek için kullanılabilecek verilerin kalitesi ve miktarı
- Seçtiğiniz ,ş süreci akışı ve filtreler
- Model her bir aşama modelleme için etkinleştirilmişse seçilen aşamalar ve öznitelikler
Model, kapanmış fırsatların %80'i veya eğitim veri kümesi müşteri adaylarını kullanarak eğitim altına alınır. En son kayıtlardan oluşan, test veri kümesi olarak kalan %20'yi kullanarak doğrulanır. Daha sonra modelin doğruluğu gerçek pozitif, hatalı pozitif sonuçlar vb. gibi parametrelere dayalı olarak doğrulanan test veri kümesinde hesaplanır.
Doğruluk ve performans ölçümlerini görüntüleme
Satış Merkezi uygulamasının sol alt köşesindeki Alanı değiştir seçeneğine gidin ve Sales Insights ayarları'nı seçin.
Tahmini modeller altındaki site haritasında Fırsat puanlaması veya Müşteri adayı puanlaması öğesini seçin.
Model Seç listesinde bir model seçin.
Performans sekmesini seçin.
Performans sekmesi aşağıdaki metrikleri görüntüler. Performans sekmesinde herhangi bir ölçüm görmezseniz fırsat puanlama modelini düzenleyin ve yeniden eğitin.
Model Performansı: Aşağıdaki parametrelere göre modelin yayımlamaya hazır olup olmadığını belirtir:
Doğruluk: Modelinizin olumlu veya olumsuz gibi doğru tahminleri ne sıklıkta yaptığını gösterir. Bu ölçüm, en çok veri kümesi dengeli olduğunda ve hatalı pozitif sonuçlar ile hatalı negatif alanların maliyeti aynı olduğunda yararlıdır. Doğruluk puanı aşağıdaki formül kullanılarak hesaplanır:
Doğruluk = (TP + TN)/(Puanlanan toplam fırsat veya müşteri adayı sayısı) *100
Yakalama: Modelin gerçek pozitif sonuçlarla kıyasla pozitif bir sonucu ne sıklıkta doğru şekilde tahmin ettiğini gösterir. Düşük geri çekme puanı, modelin daha az doğru pozitif tahmin ettiği anlamına gelir. Geri çekme puanı aşağıdaki formül kullanılarak hesaplanır:
Geri çekme = TP / (TP + FN) * 100
Dönüştürme oranı: Geçmişe ait veriler için niteliği oanylanan veya kazanılan fırsat ya da müşteri adayı yüzdesi veya bir fırsatın ya da müşteri adayının dönüştürülme olasılığı. Bir özniteliğin tahmini puanı nasıl etkileyebileceğini belirlemek için model bu değeri kullanır. Dönüştürme oranı aşağıdaki formül kullanılarak hesaplanır:
Dönüştürme oranı = (TP + FN)/(Puanlanan toplam fırsat veya müşteri adayı sayısı) * 100
Karıştırma matrisi: Modelin geçmiş verilere karşı test edildiğinde sonuçları tahmin etme konusunda ne kadar iyi olduğunu gösterir. Matris gerçek pozitiflerin, gerçek negatifleri, hatalı pozitiflerin ve hatalı negatiflerin sayısını gösterir.
Metrik Sistem Tahmin Edilen Gerçek Doğru pozitif sonuç (TP) Evet Evet Doğru negatif sonuç (TN) Hayı Hayı Hatalı pozitif sonuç (FP) Evet Hayı Hatalı negatif sonuç (FN) Hayı Evet Eğri altındaki alan: Modelin eğrinin altında (AUC) alanı puanını gösterir. AUC puanı, bir modelin rastgele seçilmiş pozitif bir örneği (kazanılmış fırsat veya kalifiye müşteri adayı), rastgele seçilmiş olumsuz bir negatif örnekten (kaybedilen fırsat veya diskalifiye müşteri adayı) yüksek derecelendirme olasılığını belirler. AUC puanı daha yüksek olan bir model, gerçek pozitifleri ve gerçek negatifleri tahmin etme konusunda daha iyidir.
F1 puanı: Modelin hassasiyet ve geri çekme puanlarına göre hesaplanan F1 puanını görüntüler. F1 puanı, verilerin dengeli olmadığı durumlarda modelin kalitesini belirlemenizi sağlar.
Eşik: Müşteri adayının veya fırsatın uygun bulundu veya kazanıldı olarak değerlendirilme eşiğini tanımlar. Örneğin, eşiğiniz 45 ise, puanı 45'ten yüksek olan fırsatlar kazanıldı olarak tahmin edilir. Eşik, F1 puanını en iyi duruma getirmek için seçilir.
Örnek: Model performans ölçümleri
1.000 fırsatların örnek veri kümesi için tahmin sonuçlarına bakalım:
| Veriler | Fırsat sayısı |
|---|---|
| Gerçek pozitif | Kategori 650 |
| Hatalı pozitif | 200 |
| Gerçek negatif | Kategori 100 |
| Hatalı negatif | 50 |
Model, 850 fırsatı (TP + FP) kazanıldı olarak tahmin ettiği ancak gerçekte yalnızca 650 (TP) fırsatın kazanıldığı anlamına gelir. Benzer şekilde, model 150 (TN + FN)fırsatı kaybedildi olarak tahmin etmiştir ancak kaybedilen fırsat sayısı yalnızca 100'dür.
Aşağıdaki tabloda, veri ölçümleri gösterilmektedir.
| Metrik Sistem | Puan |
|---|---|
| Doğruluk | (650 + 100) / 1.000 = 75% |
| Geri çek | 650 / (650 + 50) = %92 |
| Dönüştürme oranı | (650 + 50) / 1.000 = 70% |
Model performansını geliştirme
Modeliniz yayınlanmaya hazır değilse veya iyi bir şekilde gerçekleştirmiyorsa, puanları iyileştirmek için aşağıdaki adımları izleyin.
- Kullandığı öznitelikleri inceleyin.
- Öznitelik öngörülerini görüntüleme modelin genel tahmin üzerindeki etkisini anlamak için.
- Daha yüksek boş değer yüzdesine sahip olan ve bu nedenle hatalı pozitiflere veya hatalı negatiflere yol açan öznitelikler için boş değerleri yok sayın.
- Müşteri adayı puanlama modeli, puanı artıran veya zarar veren etmenler arasında ayrım yapmak için akıllı alanları ekleyin.
- Her iş süreci aşamasına uygulanacak öznitelikleri seçmek için, bir fırsat puanlama modelinde her aşama modellemesi'ni kullanın.
- Filtre ölçütlerini, eğitim verileri için zaman dilimini veya diğer model yapılandırmalarını iyileştirin. Örneğin, eğitim verileri için iki yıllık bir zaman aralığı seçtiyseniz ve bu dönemde çok fazla test veya hatalı veri olduğunu görürseniz veri kalitesinin daha iyi olduğu altı ay veya bir yaş gibi daha kısa bir dönem seçin.
Uygulamanızda seçenekleri bulamıyor musunuz?
Bunun üç nedeni olabilir:
- Gerekli lisansa veya role sahip değilsiniz. Bu sayfanın üst kısmındaki Lisans ve rol gereksinimleri bölümünü kontrol edin.
- Yöneticiniz özelliği açmamıştır.
- Kuruluşunuz özel bir uygulama kullanıyordur. Tam adımlar için yöneticinize başvurun. Bu makalede açıklanan adımlar, kullanıma hazır Satış Merkezi ve Sales Professional uygulamalarına özgüdür.
İlgili bilgiler
Tahmini müşteri adayı puanını yapılandırma
Tahmini fırsat puanını yapılandırma