Προβολή της ακρίβειας και των επιδόσεων των προγνωστικών μοντέλων βαθμολόγησης

Άρθρο
03/23/2023

Γνωρίζοντας πόσο ακριβές είναι ένα προγνωστικό μοντέλο βαθμολόγησης σάς βοηθά να αποφασίσετε εάν το μοντέλο είναι έτοιμο για χρήση ή χρειάζεται συντονισμό για μεγαλύτερη ακρίβεια. Σας βοηθά επίσης να πείσετε την ηγετική ομάδα σας και τους πωλητές σας να υιοθετήσουν το μοντέλο για βελτιωμένα επιχειρηματικά αποτελέσματα.

Οι μετρήσεις που περιγράφονται σε αυτό το άρθρο ισχύουν τόσο για τη βαθμολόγηση ευκαιρίας όσο και για τη βαθμολόγηση υποψήφιου πελάτη.

Απαιτήσεις άδειας χρήσης και ρόλου

Τύπος απαίτησης	Πρέπει να έχετε
Άδεια χρήσης	Dynamics 365 Sales Premium ή Dynamics 365 Sales Enterprise Περισσότερες πληροφορίες: Τιμολόγηση Dynamics 365 Sales
Ρόλοι ασφαλείας	Διαχειριστής συστήματος Περισσότερες πληροφορίες: Προκαθορισμένοι ρόλοι ασφαλείας για Sales

Παράγοντες που επηρεάζουν την ακρίβεια

Ένα προγνωστικό μοντέλο βαθμολόγησης υπολογίζει την πιθανότητα μια ευκαιρία ή ένας υποψήφιος πελάτης να οδηγήσει σε πώληση. Η ακρίβεια του μοντέλου εξαρτάται από τους ακόλουθους παράγοντες:

Η ποιότητα και η ποσότητα των δεδομένων που είναι διαθέσιμα για εκπαίδευση του μοντέλου
Η ροή επιχειρηματικής διαδικασίας και τα φίλτρα που επιλέξατε
Τα στάδια και τα χαρακτηριστικά που επιλέγετε, εάν το μοντέλο χρησιμοποιεί μοντελοποίηση ανά στάδιο

Το μοντέλο εκπαιδεύεται χρησιμοποιώντας το 80% των κλεισμένων ευκαιριών ή των υποψήφιων πελατών στο εκπαιδευτικό σύνολο δεδομένων. Επικυρώνεται χρησιμοποιώντας το υπόλοιπο 20% ως δοκιμαστικό σύνολο δεδομένων, το οποίο αποτελείται από τις πιο πρόσφατες καρτέλες. Η ακρίβεια του μοντέλου υπολογίζεται χρησιμοποιώντας το εγκεκριμένο δοκιμαστικό σύνολο δεδομένων με βάση διάφορες παραμέτρους όπως πραγματικά θετικά, ψευδή θετικά κ.ο.κ αποτελέσματα.

Προβολή μετρήσεων ακρίβειας και επιδόσεων

Μεταβείτε στην Αλλαγή περιοχής στην κάτω αριστερή γωνία της εφαρμογής Κέντρο πωλήσεων και επιλέξτε τις ρυθμίσεις Sales Insights.
Στον χάρτη τοποθεσίας, στην περιοχή Προγνωστικά μοντέλα. επιλέξτε Βαθμολογία ευκαιρίας ή Βαθμολογία υποψήφιου πελάτη.
Στη λίστα Επιλογή μοντέλου, επιλέξτε ένα μοντέλο.
Επιλέξτε την καρτέλα Επιδόσεις.

Η καρτέλα Επιδόσεις εμφανίζει τις ακόλουθες μετρήσεις. Αν δεν βλέπετε μετρήσεις στην καρτέλα Επιδόσεις, επεξεργαστείτε και επανεκπαιδεύστε ένα μοντέλο βαθμολόγησης ευκαιρίας.

Επιδόσεις μοντέλου: Καθορίζει εάν το μοντέλο είναι έτοιμο για δημοσίευση με βάση τις ακόλουθες παραμέτρους:
- Ακρίβεια: Πόσο συχνά το μοντέλο έκανε σωστές προβλέψεις, είτε θετικές είτε αρνητικές. Αυτή η μέτρηση είναι πιο χρήσιμη όταν το σύνολο δεδομένων είναι ισορροπημένο και το κόστος των ψευδών θετικών και ψευδών αρνητικών αποτελεσμαων είναι το ίδιο. Η βαθμολογία ακρίβειας υπολογίζεται με χρήση του ακόλουθου τύπου:
  
  Ακρίβεια = (TP + TN) / (Συνολικός αριθμός ευκαιριών ή υποψήφιων πελατών που βαθμολογήθηκε) *100
- Ανάκληση: Πόσο συχνά το μοντέλο προέβλεψε ένα θετικό αποτέλεσμα σε σύγκριση με τα πραγματικά θετικά αποτελέσματα. Μια χαμηλή βαθμολογία ανάκλησης σημαίνει ότι το μοντέλο προβλέπει λιγότερα πραγματικά θετικά αποτελέσματα. Η βαθμολογία ανάκλησης υπολογίζεται με χρήση του ακόλουθου τύπου:
  
  Ανάκληση = TP / (TP + FN) * 100
- Συντελεστής μετατροπής: Το ποσοστό ευκαιριών ή υποψήφιων πελατών που έχουν προκριθεί ή κερδηθεί ανά ιστορικά δεδομένα ή η πιθανότητα μετατροπής μιας ευκαιρίας ή ενός υποψήφιου πελάτη. Το μοντέλο χρησιμοποιεί αυτήν την τιμή για να προσδιοριστεί ο τρόπος με τον οποίο ένα χαρακτηριστικό θα επηρεάσει την προγνωστική βαθμολογία. Ο συντελεστής μετατροπής υπολογίζεται με χρήση του ακόλουθου τύπου:
  
  Συντελεστής μετατροπής = (TP + FN) / (Συνολικός αριθμός ευκαιριών ή υποψήφιων πελατών που βαθμολογήθηκε) *100

Πίνακας σύγχυσης: Πόσο καλά προέβλεψε το μοντέλο σας να προβλέπει τα αποτελέσματα κατά τη δοκιμή του με βάση ιστορικά δεδομένα. Η μήτρα εμφανίζει τον αριθμό των πραγματικών θετικών, των πραγματικών αρνητικών, των ψευδών θετικών και των ψευδών αρνητικών αποτελεσμάτων.

Μετρικό	Προβλέφθηκε	Πραγματική
Αληθώς θετικό (TP)	Όχι	Όχι
Αληθώς αρνητικό (TN)	όχι	όχι
Ψευδώς θετικό (FP)	Όχι	όχι
Ψευδώς αρνητικό (FN)	όχι	Όχι

Περιοχή κάτω της καμπύλης: Ο βαθμός της περιοχής κάτω από την καμπύλη (AUC) του μοντέλου. Ο βαθμός AUC καθορίζει την πιθανότητα ένα μοντέλο να κατατάξει μια θετική παρουσία που επιλέχθηκε τυχαία (μια ευκαιρία ή ένας υποψήφιος πελάτη που προκρίθηκε) υψηλότερα από μια τυχαία επιλεγμένη αρνητική (μια χαμένη ευκαιρία ή υποψήφιος πελάτη που απορρίφθηκε). Ένα μοντέλο με υψηλότερο AUC είναι καλύτερο να προβλέπει πραγματικά θετικά και πραγματικά αρνητικά αποτελέσματα.
Βαθμός F1: Ο βαθμός F1 που υπολογίστηκε με βάση τους βαθμούς πρόβλεψης και ανάκλησης του μοντέλου. Ο βαθμός F1 καθορίζει την ποιότητα του μοντέλου ακόμη και όταν τα δεδομένα παρουσιάζουν ανισορροπία.
Όριο: Το όριο στο οποίο ο υποψήφιος πελάτη ή η ευκαιρία θεωρούνται ότι έχουν προκριθεί ή κερδηθεί. Για παράδειγμα, αν το όριο σας είναι 45, οι ευκαιρίες με βαθμό μεγαλύτερο από το 45 θα προβλεφθούν ως κερδισμένες. Το όριο επιλέγεται για βελτιστοποίηση του βαθμού F1.

Παράδειγμα: Μετρήσεις επιδόσεων μοντέλου

Ας δούμε τα αποτελέσματα πρόβλεψης για ένα δείγμα συνόλου δεδομένων 1.000 ευκαιριών:

Δεδομένα	Αριθμός ευκαιριών
Αληθές θετικό	650
Ψευδές θετικό αποτέλεσμα	200
Αληθές αρνητικό	100
Ψευδώς αρνητικό αποτέλεσμα	50

Το μοντέλο πρόβλεψε ότι 850 (TP+FP) ευκαιρίες θα κερδίζονταν, ωστόσο μόνο 650 (TP) ευκαιρίες κερδήθηκαν πραγματικά. Ομοίως, το μοντέλο ότι πρόβλεψε 150 (TN + FN) ευκαιρίες θα χανόταν, αλλά μόλις 100 (TN) ευκαιρίες χάθηκαν στην πραγματικότητα.

Ο παρακάτω πίνακας δείχνει τις μετρήσεις για τα δεδομένα.

Μετρικό	Βαθμολογία
Ακρίβεια	(650 + 100) / 1.000 = 75%
Ανάκληση	650 / (650 + 50) = 92%
Συντελεστής μετατροπής	(650 + 50) / 1.000 = 70%

Βελτίωση των επιδόσεων του μοντέλου

Εάν το μοντέλο σας δεν είναι έτοιμο για δημοσίευση ή εάν επιδόσεις του δεν είναι καλή, ακολουθήστε τα παρακάτω βήματα για να βελτιώσετε τις βαθμολογίες του.

Ελέγξτε τα χαρακτηριστικά που χρησιμοποιεί.
Προβάλετε πληροφορίες χαρακτηριστικών για να κατανοήσετε την επίδραση στη συνολική πρόβλεψη του μοντέλου.
Παραβλέψτε κενές τιμές για χαρακτηριστικά τα οποία έχουν υψηλότερο ποσοστό κενών τιμών και ενδέχεται να συμβάλλουν σε ψευδή θετικά ή ψευδή αρνητικά αποτελέσματα.
Συμπεριλάβετε ευφυή πεδία που θα βοηθήσουν ένα μοντέλο βαθμολόγησης υποψήφιου πελάτη να διακρίνει μεταξύ των παραγόντων που βελτιώνουν ή βλάπτουν τη βαθμολογία.
Χρησιμοποιήστε τη μοντελοποίηση ανά στάδιο σε ένα μοντέλο βαθμολόγησης ευκαιριών για να επιλέξετε χαρακτηριστικά που θα εφαρμοστούν σε κάθε στάδιο επιχειρηματικής διαδικασίας.
Βελτιώστε τα κριτήρια φίλτρου, τη χρονική περίοδο για δεδομένα εκπαίδευσης ή άλλες ρυθμίσεις παραμέτρων μοντέλου. Για παράδειγμα, εάν έχετε επιλέξει ως χρονική περίοδο τα δύο έτη για δεδομένα εκπαίδευσης και υπάρχουν πολλές δοκιμαστικές ή εσφαλμένες καρτέλες κατά τη διάρκεια αυτής της περιόδου, επιλέξτε μια μικρότερη χρονική περίοδο, όπως έξι μήνες ή ένα έτος, όταν η ποιότητα των δεδομένων σας είναι καλύτερη.

Δεν μπορείτε να βρείτε τις επιλογές στην εφαρμογή σας;

Υπάρχουν τρεις πιθανότητες:

Δεν έχετε την απαραίτητη άδεια χρήσης ή ρόλο.
Ο διαχειριστής σας δεν έχει ενεργοποιήσει τη δυνατότητα.
Ο οργανισμός σας χρησιμοποιεί μια προσαρμοσμένη εφαρμογή. Επικοινωνήστε με τον διαχειριστή σας για τα ακριβή βήματα. Τα βήματα που περιγράφονται σε αυτό το άρθρο αφορούν ειδικά τις έτοιμες εφαρμογές Κέντρο πωλήσεων και Sales Professional.

Δείτε επίσης

Ρύθμιση προγνωστικής βαθμολόγησης υποψήφιου πελάτη
Ρύθμιση προγνωστικής βαθμολόγηση ευκαιρίας

Κοινή χρήση μέσω