Kopīgot, izmantojot

Sākotnējā debitora maksājuma prognozēšanas modeļa novērtēšana

  • Raksts

Šajā rakstā ir paskaidrots, kā novērtēt prognožu modelis pēc tam, kad esat ieslēdzis Finanšu ieskati un pēc tam ģenerējis un apmācījis savu pirmo modeli. Šajā rakstā ir aplūkoti debitoru maksājumu prognozēšanas modeļi. Tajā aprakstītas darbības, ko varat veikt, lai izprastu debitoru maksājumu prognozēšanas modeli un novērtētu tā efektivitāti.

Informācijas iegūšana par modeli

365 Finance lapā Finanšu ieskati parametri Microsoft Dynamics blakus precizitātes rādītājs tiek parādīta opcija Uzlabot modeļa precizitāti saistīt.

Uzlabojiet modeļa precizitāti saistīt.

Šī saistīt aizvedīs jūs uz AI Builder vietu, kur varat uzzināt vairāk par pašreizējo modeli un arī veikt pasākumus, lai to uzlabotu. Tālāk atrodamajā attēlā ir redzams atvērta lapa.

AI Builder.

Atvērtajā lapā ir redzama tālāk minētā informācija.

  • Sadaļā Veiktspēja modeļa veiktspējas pakāpe sniedz perspektīvu par modeļa kvalitāti. Papildinformāciju par šo kategoriju skatiet dokumentācijā prognožu modelis sniegums AI Builder .

  • Sadaļā Visietekmīgākie dati ir parādīts, cik svarīgi jūsu modelim bija dažādi ievades datu tipi. Varat novērtēt šo sarakstu un atbilstošos procentus, lai noteiktu, vai informācija atbilst tam, ko zināt par savu uzņēmumu un tirgu.

    Veiktspējas un Ietekmīgākās datu sadaļas prognožu modelis.

  • Sadaļā Veiktspēja atlasiet Skatīt detalizētu informāciju , lai uzzinātu vairāk par atzīmi un citiem apsvērumiem. Šajā attēlā informācija rāda, ka modelis izmanto mazāk informācijas nekā ieteicams. Tāpēc sistēma ir ģenerējusi brīdinājuma ziņojumu.

    Brīdinājumi par modeļa veiktspēju.

Detalizētāka izpēte

Lai gan precizitāte ir labs sākumpunkts modeļa novērtēšanai un veiktspējas pakāpe nodrošina perspektīvu, AI Builder tā nodrošina detalizētākus rādītājus, kurus varat izmantot novērtēšanai. Lai lejupielādētu detalizētu informāciju, sadaļā Veiktspēja atlasiet daudzpunktes pogu ( ...) blakus pogai Lietotmodeli un pēc tam atlasiet Lejupielādēt detalizētu metriku .

Komanda Lejupielādēt detalizētu metriku.

Tālāk atrodamajā attēlā redzams formāts, kādā varat lejupielādēt datus.

Lejupielādēto datu formāts.

Lai iegūtu detalizētāku rezultātu analīzi, ir labs sākumpunkts, lai pārskatītu metriku Neskaidrību matrica. Piemēram, šeit ir dati, kas tiek rādīti šim rādītājam iepriekšējā attēlā.

{"name": "Confusion Matrix", "value": {"schema_type": "confusion_matrix", "schema_version": "1.0.0", "data": {"class_labels": ["0", "1", "2"], "matrix": [[71, 9, 21], [5, 0, 27], [2, 0, 45]]}}, "type": "dictionaryNumericalList", "isGlobalScore": false}

Šos datus var izvērst, kā norādīts tālāk.

  Prognozēts laikā Prognozēts vēlu Prognozēts ļoti vēlu
Faktiskais laiks maksājumam 71 0 21
Faktiskais nokavētais maksājums 5 0 27
Faktiskais ļoti nokavētais maksājums 2 0 45

Neskaidrību matrica parāda no mācību procesa nejauši izvēlēta testa datu komplekta rezultātus. Tā kā šie slēgtie rēķini netika izmantoti modeļa apmācīšanai, tie ir labi testa gadījumi modelim. Tā kā ir zināms rēķina faktiskais stāvoklis, var redzēt arī modeļa veiktspēju.

Vispirms ir jāmeklē visizplatītākā faktiskā vērtība. Kaut arī šī vērtība var nebūt precīzi saskaņota ar vispārējo datu kopu, tas ir saprātīgs aptuvens skaitlis. Šajā gadījumā faktiskā apmaksa laikā tiek veikta 92 no 171 rēķina kopsummas un ir visizplatītākā faktiskā vērtība. Tāpēc tas ir labs pamats jūsu modelim. Ja jūs minējāt, ka visi rēķini būtu savlaicīgi, jums būtu taisnība 92 no 171 reizēm (proti, 54 procenti).

Jums ir svarīgi saprast, cik sabalansēta ir datu kopa. Šajā gadījumā 92 rēķini 171 tika apmaksāti savlaicīgi, 32 tika apmaksāti novēloti, un 47 tika apmaksāti ļoti novēloti. Šīs vērtības norāda samērā līdzsvarotu datu kopu, jo katrā klasifikācijā ir netriviāli rezultāti. Situācija, kad vienai no valstīm ir ļoti maz rezultātu, algoritmiskās mācīšanās modelim var būt sarežģīta.

Modeļa precizitāti norāda testa datu kopas pareizo prognožu skaits. Šīs pareizās prognozes ir vērtības, kas iepriekšējā piemērā redzamas treknrakstā. Šajā gadījumā vērtības rada aprēķināto precizitāti 67,8 procenti (= [71 + 0 + 45] ÷ 171). Šī vērtība parāda 14 procentu uzlabojumu virs bāzlīnijas minējuma (54 procenti) un ir viens no modeļa kvalitātes rādītājiem.

Ja jūs rūpīgāk aplūkosiet neskaidrību matricu, jūs ievērosiet, ka modelis spēj labi prognozēt laicīgus un ļoti novēlotus rēķinu maksājumus. Tomēr tas nepareizi prognozēja visus 32 rēķinus, kas faktiski apmaksāti ar novēlošanos (bet ne ar lielu novēlošanos). Šis rezultāts liecina, ka modelim nepieciešama papildu izpēte un uzlabošana.

Skaitlis, kas attēlo modeļa veiktspēju labāk nekā precizitāti, ir F1 makro rezultāts. Šis rezultāts ņem vērā visu klasifikācijas stāvokļu (laicīgs, novēlots un ļoti novēlots) rezultātus. Piemēram, šeit ir dati, kas tiek rādīti rādītājam F1 makro iepriekšējā attēlā.

{"name": "F1 Macro", "value": 0.4927170868347339, "type": "percentage", "isGlobalScore": false}

Šādā gadījumā F1 makro rezultāts ir aptuveni 49,3 procenti, kas norāda, ka modelis nenodrošina efektīvas prognozes visiem stāvokļiem, neskatoties uz vispārējo precizitātes rādītāju, kas šķiet samērā augsts.

Modeļa uzlabošana

Kad esat izpratis pirmā modeļa rezultātus, iespējams, vēlēsities uzlabot modeli, pievienojot vai noņemot funkciju kolonnas, vai filtrējot jebkuru datu kopas daļu, kas neatbalsta precīzas prognozes. Aizveriet AI Builder un pēc tam izmantojiet modeļa uzlabošanu programmā Dynamics 365 Finance saistīt lai restartētu AI Builder procesu. Varat eksperimentēt ar dažādiem raksturlielumiem, neietekmējot publicēto modeli. Publicētais modelis tiek ietekmēts tikai tad, ja atlasāt Publicēt. Atcerieties, ka jūsu Dynamics 365 Finance instancei tiek izmantots viens modelis. Tāpēc rūpīgi pārskatiet jebkuru jauno modeli, pirms to publicējat.

Plašāka informācija

Lai iegūtu papildinformāciju par to, kā novērtēt prognozēšanas modeļus, mašīnmācīšanās modeļu rezultāti