Tahmini puanlama modellerinin doğruluğunu ve performansını görüntüleme

Tahmini puanlama modelinin doğruluğunu bilmek, modelin kullanıma hazır olup olmadığına karar vermek veya daha iyi kesinlik için ayarlama yapmanız gerekip gerekmediğine karar vermek açısından önemlidir. Ayrıca, liderlik takımı ve satıcıları iyileştirilmiş iş sonuçları için modeli benimsemeye ikna etmenize yardımcı olur.

Bu makalede açıklanan ölçümler hem fırsat puanlama hem de müşteri adayı puanlama için geçerlidir.

Doğruluğu etkileyen faktörler

Bir tahmini puanlama modeli fırsatın veya müşteri adayının satışa dönüştürülme olasılığını hesaplar. Modelin doğruluğu aşağıdaki etkenlere bağlıdır:

• Modeli eğitmek için kullanılabilecek verilerin kalitesi ve miktarı
• Seçtiğiniz ,ş süreci akışı ve filtreler
• Model her bir aşama modelleme için etkinleştirilmişse seçilen aşamalar ve öznitelikler

Model, kapanmış fırsatların %80'i veya eğitim veri kümesi müşteri adaylarını kullanarak eğitim altına alınır. En son kayıtlardan oluşan, test veri kümesi olarak kalan %20'yi kullanarak doğrulanır. Daha sonra modelin doğruluğu gerçek pozitif, hatalı pozitif sonuçlar vb. gibi parametrelere dayalı olarak doğrulanan test veri kümesinde hesaplanır.

Doğruluk ve performans ölçümlerini görüntüleme

1. Satış Merkezi uygulamasının sol alt köşesindeki Alanı değiştir seçeneğine gidin ve Sales Insights ayarları'nı seçin.

2. Tahmini modeller altındaki site haritasında Fırsat puanlaması veya Müşteri adayı puanlaması öğesini seçin.

3. Model Seç listesinde bir model seçin.

4. Performans sekmesini seçin.

Performans sekmesi aşağıdaki metrikleri görüntüler. Performans sekmesinde herhangi bir ölçüm görmezseniz fırsat puanlama modelini düzenleyin ve yeniden eğitin.

• Model Performansı: Aşağıdaki parametrelere göre modelin yayımlamaya hazır olup olmadığını belirtir:

  • Doğruluk: Modelinizin olumlu veya olumsuz gibi doğru tahminleri ne sıklıkta yaptığını gösterir. Bu ölçüm, en çok veri kümesi dengeli olduğunda ve hatalı pozitif sonuçlar ile hatalı negatif alanların maliyeti aynı olduğunda yararlıdır. Doğruluk puanı aşağıdaki formül kullanılarak hesaplanır:

    Doğruluk = (TP + TN)/(Puanlanan toplam fırsat veya müşteri adayı sayısı) *100

  • Yakalama: Modelin gerçek pozitif sonuçlarla kıyasla pozitif bir sonucu ne sıklıkta doğru şekilde tahmin ettiğini gösterir. Düşük geri çekme puanı, modelin daha az doğru pozitif tahmin ettiği anlamına gelir. Geri çekme puanı aşağıdaki formül kullanılarak hesaplanır:

    Geri çekme = TP / (TP + FN) * 100

  • Dönüştürme oranı: Geçmişe ait veriler için niteliği onaylanan veya kazanılan fırsat ya da müşteri adayı yüzdesi veya bir fırsatın ya da müşteri adayının dönüştürülme olasılığını gösterir. Bir özniteliğin tahmini puanı nasıl etkileyebileceğini belirlemek için model bu değeri kullanır. Dönüştürme oranı aşağıdaki formül kullanılarak hesaplanır:

    Dönüştürme oranı = (TP + FN)/(Puanlanan toplam fırsat veya müşteri adayı sayısı) * 100

• Karıştırma matrisi: Modelin geçmiş verilere karşı test edildiğinde sonuçları tahmin etme konusunda ne kadar iyi olduğunu gösterir. Matris gerçek pozitiflerin, gerçek negatifleri, hatalı pozitiflerin ve hatalı negatiflerin sayısını gösterir.

  Metrik Sistem	Tahmin Edilen	Gerçek
  Doğru pozitif sonuç (TP)	Evet	Evet
  Doğru negatif sonuç (TN)	Hayı	Hayı
  Hatalı pozitif sonuç (FP)	Evet	Hayı
  Hatalı negatif sonuç (FN)	Hayı	Evet

• Eğri altındaki alan: Modelin eğri altındaki alan (AUC) puanını gösterir. AUC puanı, bir modelin rastgele seçilmiş pozitif bir örneği (kazanılmış fırsat veya kalifiye müşteri adayı), rastgele seçilmiş olumsuz bir negatif örnekten (kaybedilen fırsat veya diskalifiye müşteri adayı) yüksek derecelendirme olasılığını belirler. AUC puanı daha yüksek olan bir model, gerçek pozitifleri ve gerçek negatifleri tahmin etme konusunda daha iyidir.

• F1 puanı: Modelin hassasiyet ve geri çekme puanlarına göre hesaplanan F1 puanını gösterir. F1 puanı, verilerin dengeli olmadığı durumlarda modelin kalitesini belirlemenizi sağlar.

• Eşik: Müşteri adayının veya fırsatın uygun bulundu ya da kazanıldı olarak değerlendirilme eşiğini tanımlar. Örneğin, eşiğiniz 45 ise, puanı 45'ten yüksek olan fırsatlar kazanıldı olarak tahmin edilir. Eşik, F1 puanını en iyi duruma getirmek için seçilir.

Örnek: Model performans ölçümleri

1.000 fırsatların örnek veri kümesi için tahmin sonuçlarına bakalım:

Veriler	Fırsat sayısı
Gerçek pozitif	Kategori 650
Hatalı pozitif	200
Gerçek negatif	Kategori 100
Hatalı negatif	50

Model, 850 fırsatı (TP + FP) kazanıldı olarak tahmin ettiği ancak gerçekte yalnızca 650 (TP) fırsatın kazanıldığı anlamına gelir. Benzer şekilde, model 150 (TN + FN)fırsatı kaybedildi olarak tahmin etmiştir ancak kaybedilen fırsat sayısı yalnızca 100'dür.

Aşağıdaki tabloda, veri ölçümleri gösterilmektedir.

Metrik Sistem	Puan
Doğruluk	(650 + 100) / 1.000 = 75%
Geri çek	650 / (650 + 50) = %92
Dönüştürme oranı	(650 + 50) / 1.000 = 70%

Model performansını geliştirme

Modeliniz yayınlanmaya hazır değilse veya iyi bir şekilde gerçekleştirmiyorsa, puanları iyileştirmek için aşağıdaki adımları izleyin.

• Kullandığı öznitelikleri inceleyin.
• Modelin genel tahmin üzerindeki etkisini anlamak için öznitelik içgörülerini görüntüleyin.
• Daha yüksek boş değer yüzdesine sahip olan ve bu nedenle hatalı pozitiflere veya hatalı negatiflere yol açan öznitelikler için boş değerleri yok sayın.
• Müşteri adayı puanlama modeli, puanı artıran veya zarar veren etmenler arasında ayrım yapmak için akıllı alanları ekleyin.
• Her iş süreci aşamasına uygulanacak öznitelikleri seçmek için, bir fırsat puanlama modelinde her aşama modellemesi'ni kullanın.
• Filtre ölçütlerini, eğitim verileri için zaman dilimini veya diğer model yapılandırmalarını iyileştirin. Örneğin, eğitim verileri için iki yıllık bir zaman aralığı seçtiyseniz ve bu dönemde çok fazla test veya hatalı veri olduğunu görürseniz veri kalitesinin daha iyi olduğu altı ay veya bir yaş gibi daha kısa bir dönem seçin.

Uygulamanızda özelliği bulamıyor musunuz?

Bunun birkaç nedeni olabilir:

• Bu özelliği kullanmak için gerekli lisansa sahip değilsiniz. Lisansınızla hangi özelliklerin mevcut olduğunu görmek için karşılaştırma tablosuna ve lisanslama kılavuzuna bakın.
• Bu özelliği kullanmak için gerekli güvenlik rolüne sahip değilsiniz.
  • Bir özelliği yapılandırmak veya ayarlamak için Yönetim ve özelleştirme rollerine sahip olmanız gerekir
  • Satışla ilgili özellikleri kullanmak için Birincil satış rollerine sahip olmanız gerekir
  • Bazı görevler belirli İşlevsel roller gerektirir.
• Yöneticiniz özelliği açmamıştır.
• Kuruluşunuz özel bir uygulama kullanıyordur. Tam adımlar için yöneticinize başvurun. Bu makalede açıklanan adımlar, kullanıma hazır Satış Merkezi ve Sales Professional uygulamalarına özgüdür.

İlgili bilgiler

Müşteri adaylarını puanları üzerinden öncelikleri belirleme
Tahmini müşteri adayı puanını yapılandırma
Tahmini fırsat puanını yapılandırma