De nauwkeurigheid en prestaties van voorspellende scoremodellen bekijken

Kennis van hoe nauwkeurig een model voor voorspellend scoren is, helpt bij het beslissen of het model gereed is voor gebruik of dat het moet worden verfijnd voor een betere nauwkeurigheid. Het helpt u ook om uw leiderschapsteam en de verkopers te overtuigen om het model te gebruiken ter verbetering van de bedrijfsresultaten.

De metrische gegevens die in dit artikel worden beschreven, zijn van toepassing op zowel het scoren van verkoopkansen als het scoren van potentiële klanten.

Licentie- en rolvereisten

Vereistetype	U moet over het volgende beschikken
Licentie	Dynamics 365 Sales Premium of Dynamics 365 Sales Enterprise Meer informatie: Dynamics 365 Sales-prijzen
Beveiligingsrollen	systeembeheerder Meer informatie: Vooraf gedefinieerde beveiligingsrollen voor Verkoop

Factoren die invloed hebben op nauwkeurigheid

Een model voor voorspellend scoren berekent de kans dat een verkoopkans of een potentiële klant resulteert in een verkoop. De nauwkeurigheid van het model is afhankelijk van de volgende factoren:

• De kwaliteit en hoeveelheid van de gegevens die beschikbaar zijn voor het trainen van het model
• De bedrijfsprocesstroom en filters die u selecteert
• De fasen en kenmerken die u selecteert als modellering per fase in het model wordt gebruikt.

Het model wordt getraind met behulp van 80% van de gesloten verkoopkansen of potentiële klanten in de trainingsgegevensset. Het wordt gevalideerd met de resterende 20% als een testgegevensset die bestaat uit de meest recente records. De nauwkeurigheid van het model wordt berekend met de gevalideerde testgegevensset op basis van parameters, zoals terecht-positieven, fout-positieven enzovoort.

Nauwkeurigheids- en prestatiestatistieken bekijken

1. Ga in de linkerbenedenhoek van de Verkoophub-app naar Wijzigingsgebied en selecteer vervolgens Instellingen voor Sales Insights.

2. Selecteer in het siteoverzicht onder Voorspellende modellen de optie Scoren van verkoopkansen of Scoren van potentiële klanten.

3. Selecteer een model in de lijst Model selecteren.

4. Selecteer het tabblad Prestaties.

   

Het tabblad Prestatie bevat de volgende metrische gegevens. Als u geen statistieken ziet op het tabblad Prestaties, bewerkt u een model voor het scoren van verkoopkansen en traint u het opnieuw.

• Modelprestaties: geeft op of het model gereed is voor publicatie op basis van de volgende parameters:

  • Nauwkeurigheid: geeft aan hoe vaak het model correcte voorspellingen heeft gedaan, zowel positief als negatief. Deze statistiek is het nuttigst wanneer de gegevensset in evenwicht is en de kosten van fout-positieven en fout-negatieven hetzelfde zijn. De nauwkeurigheidsscore wordt berekend met de volgende formule:

    Nauwkeurigheid = (TP + TN) / (totaal aantal gescoorde verkoopkansen of potentiële klanten) * 100

  • Relevante overeenkomsten: geeft aan hoe vaak het model een positieve uitkomst correct voorspelde in vergelijking met de werkelijke positieven. Een lage score voor relevante overeenkomsten betekent dat het model minder terecht-positieven voorspelt. De score voor relevante overeenkomsten wordt berekend met de volgende formule:

    Relevante overeenkomsten = TP / (TP + FN) * 100

  • Conversiepercentage: het percentage verkoopkansen of potentiële klanten dat is gekwalificeerd of binnengehaald op basis van historische gegevens, of de waarschijnlijkheid dat een verkoopkans of potentiële klant wordt omgezet. Het model gebruikt deze waarde om te bepalen hoe een kenmerk de voorspellingsscore beïnvloedt. Het conversiepercentage wordt berekend met de volgende formule:

    Conversiepercentage = (TP + FN) / (totaal aantal gescoorde verkoopkansen of potentiële klanten) * 100

• Verwarringsmatrix: geeft aan hoe goed uw model de uitkomsten heeft voorspeld bij tests met historische gegevens. De matrix geeft het aantal terecht-positieven, terecht-negatieven, fout-positieven en fout-negatieven weer.

  Metrische gegevens	Voorspeld	Actueel
  Terecht-positief (TP)	Ja	Ja
  Terecht-negatief (TN)	No	No
  Fout-positief (FP)	Ja	No
  Fout-negatief (FN)	No	Ja

• Gebied onder de curve: de AUC-score (Area Under the Curve) van het model. De AUC-score bepaalt de waarschijnlijkheid dat een model een willekeurig gekozen positief exemplaar (een binnengehaalde verkoopkans of een gekwalificeerde potentiële klant) een hogere score verleent dan een willekeurig gekozen negatief exemplaar (een gemiste verkoopkans of een gediskwalificeerde potentiële klant). Een model met een hogere AUC is beter in het voorspellen van terecht-positieven en terecht-negatieven.

• F1-score: de F1-score die is berekend op basis van de scores voor nauwkeurigheid en relevante overeenkomsten van het model. Met de F1-score wordt de kwaliteit van het model bepaald, zelfs als de gegevens niet in evenwicht zijn.

• Drempel: de drempel waarbij de potentiële klant of verkoopkans als gekwalificeerd of binnengehaald wordt beschouwd. Als de drempel bijvoorbeeld 45 is, worden verkoopkansen met een score hoger dan 45 voorspeld als binnengehaald. De drempel wordt geselecteerd om de F1-score te optimaliseren.

Voorbeeld: prestatiestatistieken van model

Laten we eens kijken naar de voorspellingsresultaten voor een voorbeeldgegevensset van 1.000 verkoopkansen:

'Gegevens	Aantal verkoopkansen
Terecht-positief	650
Fout-positief	200
Terecht-negatief	100
Fout-negatief	50

Het model voorspelde dat 850 verkoopkansen (TP + FP) zouden worden binnengehaald, maar slechts 650 (TP) werden daadwerkelijk binnengehaald. Evenzo voorspelde het model dat er 150 (TN + FN) gemiste verkoopkansen zouden zijn, maar slechts 100 (TN) verkoopkansen werden daadwerkelijk gemist.

In de volgende tabel worden de metrische gegevens voor de gegevens weergegeven.

Metrische gegevens	Score
Nauwkeurigheid	(650 + 100) / 1.000 = 75%
Intrekken	650 / (650 + 50) = 92%
Conversiepercentage	(650 + 50) / 1.000 = 70%

Prestaties van het model verbeteren

Als uw model nog niet gereed is voor publicatie of niet goed presteert, probeert u de volgende stappen om de scores te verbeteren.

• Bekijk de kenmerken die het model gebruikt.
• Bekijk inzichten in kenmerken om de invloed ervan op de algehele voorspelling van het model te begrijpen.
• Negeer lege waarden voor kenmerken die een hoger percentage lege waarden hebben en dus kunnen bijdragen aan fout-positieven of fout-negatieven.
• Gebruik intelligente velden om een model voor het scoren van potentiële klanten te helpen onderscheid te maken tussen factoren die de score positief of negatief beïnvloeden.
• Gebruik modellering per fase in een verkoopkansscoremodel om kenmerken te kiezen die op elke bedrijfsprocesfase moeten worden toegepast.
• De filtercriteria, tijdsperiode voor trainingsgegevens of andere modelconfiguraties te verfijnen. Als u bijvoorbeeld een periode van twee jaar hebt gekozen als de periode voor trainingsgegevens en er zijn te veel testrecords of onjuiste records in die periode, kiest u een kortere periode, zoals zes maanden of één jaar, wanneer de kwaliteit van uw gegevens beter is.

Kunt u de opties in uw app niet vinden?

Er zijn drie mogelijkheden:

• U beschikt niet over de benodigde licentie of rol.
• Uw beheerder heeft de functie niet ingeschakeld.
• Uw organisatie gebruikt een aangepaste app. Neem contact op met uw beheerder voor exacte stappen. De stappen die in dit artikel worden beschreven, zijn specifiek voor de kant-en-klare Verkoophub- en Sales Professional-app.

Zie ook

Voorspellend scoren van potentiële klanten configureren
Voorspellend scoren van verkoopkansen configureren