Bagikan melalui

Lihat akurasi dan performa model penilaian prediktif

  • Artikel

Mengetahui seberapa akurat model penskoran prediktif membantu Anda memutuskan apakah model tersebut siap digunakan atau perlu disesuaikan untuk akurasi yang lebih tinggi. Ini juga membantu Anda meyakinkan tim kepemimpinan dan penjual Anda untuk mengadopsi model untuk hasil bisnis yang lebih baik.

Metrik yang dijelaskan dalam artikel ini berlaku untuk penilaian peluang dan penilaian prospek.

Persyaratan lisensi dan peran

Jenis persyaratan Anda harus memiliki
Lisensi Dynamics 365 Sales Premium atau Dynamics 365 Sales Enterprise
Informasi lebih lanjut: Harga Dynamics 365 Sales
Peran keamanan Administrator Sistem
Informasi selengkapnya: Peran keamanan yang telah ditentukan sebelumnya untuk Penjualan

Faktor-faktor yang mempengaruhi akurasi

Model penskoran prediktif menghitung kemungkinan peluang atau prospek akan menghasilkan penjualan. Keakuratan model tergantung pada faktor-faktor berikut:

  • Kualitas dan jumlah data yang tersedia untuk melatih model
  • Alur proses bisnis dan filter yang Anda pilih
  • Tahapan dan atribut yang Anda pilih, jika model menggunakan pemodelan per tahap

Model dilatih menggunakan 80% peluang tertutup atau prospek dalam himpunan data pelatihan. Ini divalidasi menggunakan 20% sisanya sebagai himpunan data pengujian, yang terdiri dari catatan terbaru. Akurasi model dihitung menggunakan himpunan data pengujian yang divalidasi berdasarkan parameter seperti positif sejati, positif palsu, dan sebagainya.

Lihat metrik akurasi dan performa

  1. Buka Ubah area di sudut kiri bawah aplikasi Pusat Penjualan, dan pilih Pengaturan Sales Insights.

  2. Pada peta situs di bawah Model prediktif, pilih Penilaian peluang atau Penilaian prospek.

  3. Dalam daftar Pilih model , pilih model.

  4. Pilih tab Performa .

    Cuplikan layar tab Performa yang menampilkan metrik akurasi model

Tab Performa menampilkan metrik berikut. Jika Anda tidak melihat metrik apa pun di tab Kinerja , edit dan latih ulang model penilaian peluang.

  • Performa Model: Menentukan apakah model siap untuk dipublikasikan berdasarkan parameter berikut:

    • Akurasi: Seberapa sering model membuat prediksi yang benar, baik positif maupun negatif. Metrik ini paling berguna ketika himpunan data seimbang, dan biaya positif palsu dan negatif palsu adalah sama. Skor akurasi dihitung menggunakan rumus berikut:

      Akurasi = (TP + TN) / (Jumlah total peluang atau prospek yang dicetak) *100

    • Recall: Seberapa sering model memprediksi hasil positif dengan benar dibandingkan dengan positif yang sebenarnya. Skor penarikan yang rendah berarti model memprediksi lebih sedikit positif sejati. Skor penarikan dihitung menggunakan rumus berikut:

      Recall = TP / (TP + FN) *100

    • Tingkat konversi: Persentase peluang atau prospek yang memenuhi syarat atau dimenangkan per data historis, atau kemungkinan peluang atau prospek akan berkonversi. Model menggunakan nilai ini untuk menentukan bagaimana atribut akan memengaruhi skor prediktif. Tingkat konversi dihitung menggunakan rumus berikut:

      Tingkat konversi = (TP + FN) / (Jumlah total peluang atau prospek yang dicetak) *100

  • Matriks kebingungan: Seberapa baik model Anda memprediksi hasil saat diuji terhadap data historis. Matriks menampilkan jumlah positif sejati, negatif benar, positif palsu, dan negatif palsu.

    Metrik Diperkirakan Aktual
    Positif benar (TP) Ya Ya
    Negatif benar (TN) No No
    Positif palsu (FP) Ya No
    Negatif palsu (FN) No Ya

  • Area di bawah kurva: Skor area di bawah kurva (AUC) model. Skor AUC menentukan probabilitas bahwa model akan memberi peringkat instans positif yang dipilih secara acak (peluang yang dimenangkan atau prospek yang memenuhi syarat) lebih tinggi daripada yang negatif yang dipilih secara acak (peluang yang hilang atau prospek yang didiskualifikasi). Model dengan AUC yang lebih tinggi lebih baik dalam memprediksi positif sejati dan negatif sejati.

  • Skor F1: Skor F1 dihitung berdasarkan skor presisi dan penarikan model Skor F1 menentukan kualitas model bahkan ketika data tidak seimbang.

  • Ambang batas: Ambang batas di mana prospek atau peluang dianggap memenuhi syarat atau dimenangkan. Misalnya, jika ambang batas adalah 45, peluang dengan skor lebih besar dari 45 akan diprediksi sebagai dimenangkan. Ambang batas dipilih untuk mengoptimalkan skor F1.

Contoh: Metrik performa model

Mari kita lihat hasil prediksi untuk kumpulan data sampel 1.000 peluang:

Data Jumlah peluang
Positif sejati 650
Positif palsu 200
Negatif sejati 100
Negatif palsu 50

Model memprediksi 850 peluang (TP + FP) akan dimenangkan; namun, hanya 650 peluang (TP) yang benar-benar dimenangkan. Demikian pula, model memprediksi 150 (TN + FN) peluang akan hilang, tetapi hanya 100 (TN) peluang yang benar-benar hilang.

Tabel berikut menunjukkan metrik untuk data.

Metrik Skor
Akurasi (650 + 100) / 1.000 = 75%
Tarik Kembali 650 / (650 + 50) = 92%
Rasio konversi (650 + 50) / 1.000 = 70%

Meningkatkan performa model

Jika model Anda belum siap untuk dipublikasikan atau tidak berkinerja baik, coba langkah-langkah berikut untuk meningkatkan skornya.

  • Tinjau atribut yang digunakannya.
  • Lihat wawasan atribut untuk memahami pengaruhnya terhadap prediksi keseluruhan model.
  • Abaikan nilai kosong untuk atribut yang memiliki persentase nilai kosong yang lebih tinggi dan mungkin berkontribusi pada positif palsu atau negatif palsu.
  • Sertakan bidang cerdas untuk membantu model penskoran prospek membedakan antara faktor-faktor yang meningkatkan atau merugikan skor.
  • Gunakan pemodelan per tahap dalam model penilaian peluang untuk memilih atribut yang akan diterapkan pada setiap tahap proses bisnis.
  • Persempit kriteria filter, periode waktu untuk data pelatihan, atau konfigurasi model lainnya. Misalnya, jika Anda telah memilih dua tahun sebagai periode waktu untuk data pelatihan dan ada terlalu banyak catatan pengujian atau kesalahan selama periode tersebut, pilih periode waktu yang lebih pendek, seperti enam bulan atau satu tahun, ketika kualitas data Anda lebih baik.

Tidak dapat menemukan opsi di aplikasi?

Ada tiga kemungkinan:

  • Anda tidak memiliki lisensi atau peran yang diperlukan. Periksa bagian Persyaratan lisensi dan peran di bagian atas halaman ini.
  • Administrator Anda belum mengaktifkan fitur tersebut.
  • Organisasi Anda menggunakan aplikasi kustom. Tanyakan langkah-langkah yang tepat kepada administrator Anda. Langkah-langkah yang dijelaskan dalam artikel ini khusus untuk aplikasi Pusat Penjualan dan Sales Professional yang siap digunakan.

Mengonfigurasi Penskoran prospek prediktif
Mengonfigurasi Penskoran peluang prediktif