Prognoze modeļa veiktspēja
Pēc katras apmācības tiek izmantota testa datu kopa, AI Builder lai novērtētu jaunā modeļa kvalitāti un piemērotību. Modeļa kopsavilkuma lapā tiek rādīts modeļa apmācības rezultāts. Šos rezultātus izsaka kā A, B, C vai D snieguma pakāpi.
Veiktspējas mērīšana
Veiktspējas kategorija
Pēc katras apmācības tiek parādīta atzīme, AI Builder kas palīdzēs novērtēt modeļa precizitāti. Lēmums par to, vai jūsu modelis ir gatavs publicēšanai, ir jāpieņem jums, pamatojoties uz jūsu unikālajām vajadzībām un apstākļiem. AI Builder nodrošina šādas snieguma pakāpes, lai palīdzētu jums veikt šo sprieduma zvanu.
Kā interpretēt katru pakāpi
| Pakāpe | Norādes |
|---|---|
| A | Iespējams, joprojām varat uzlabot modeli, bet šī ir augstākā novērtējuma kategorija, ko var iegūt. |
| T | Daudzos gadījumos modelis ir pareizs. Vai to var uzlabot? Tas ir atkarīgs no jūsu unikālajiem apstākļiem, datiem un prasībām. |
| C | Modelim klājas nedaudz labāk nekā nejaušam minējumam. Tas varētu būt pieņemams dažām lietojumprogrammām, taču vairumā gadījumu tas ir modelis, kuru jūs turpinātu pielāgot un uzlabot. |
| D | Kaut kas nav kārtībā. Jūsu modelis darbojas sliktāk, nekā mēs varētu sagaidīt nejaušu minējumu (underfit modelis). Vai arī tas darbojas tik labi (100% vai tuvu tam), ka, iespējams, jums ir datu kolonna, kas ir tieši saistīta ar rezultātu (overfit modelis) . |
- Plašāka informācija par underfit modeļiem
- Papildinformācija par overfit modeļiem
Precizitātes diapazons ir atkarīgs no jūsu datiem
Ja prognozējat 2 vai vairāk rezultātus, faktiskie precizitātes rādītāji, kas atbilst iepriekš minētajām atzīmēm, var atšķirties atkarībā no vēsturisko datu sadalījuma. Atšķirība ir saistīta ar to, ka uzlabojums salīdzinājumā ar jūsu pamatlikmi mainās, kad pārvietojat šo bāzlīniju.
Pieņemsim, ka jūsu modelis paredz, vai sūtījums tiks piegādāts laikā. Ja jūsu vēsturiskais laika rādītājs ir 80 procenti, veiktspējas rādītājs 92 atbilst B kategorijai. Bet, ja jūsu vēsturiskais laika rādītājs ir tikai 50 procenti, 92 atbilst A pakāpei. Tas ir tāpēc, ka 92 ir daudz labāks uzlabojums nekā 50 procenti nekā vairāk nekā 80 procenti, un jūs varētu sagaidīt, ka nejaušs minējums būs tuvu šiem procentiem.
Bināro vēsturisko datu piemērs
Šajā piemērā ir parādīti precizitātes diapazoni katrai kategorijai, ja vēsturiskie dati satur atšķirīgus laika rādītājus binārajam prognoze.
| Pakāpe | Precizitātes diapazons vēsturiskajam 25% laika rādītājam | Precizitātes diapazons vēsturiskajam 50% laika rādītājam | Precizitātes diapazons vēsturiskajam 80% laika rādītājam | Precizitātes diapazons vēsturiskajam 95% laika rādītājam |
|---|---|---|---|---|
| A | 92,5 – <99,3% | 90 – 98% | 93 – <99% | 98,1 – <99,8% |
| T | 81,3 – <92,5% | 75 – <90% | 84 – <93% | 95,3 – <98,1% |
| C | 66,3 – <81,3% | 55 – <75% | 71 – <84% | 91,5 – <95,3% |
| D | <66,3% jeb ≥99,3% | <55% vai ≥98% | <71% vai ≥99% | <91,5% jeb ≥99,8% |
Vairāku iznākumu vēsturisko datu piemērs
Precizitātes rādītāji, kas atbilst katrai pakāpei, var atšķirties arī tad, ja prognozējat vairāk nekā 2 rezultātus. Pieņemsim, ka jūsu modelis paredz vairāk nekā divas piegādes iespējas: agri, laikā vai vēlu.
Precizitātes diapazoni katrai pakāpei mainās, mainoties vēsturiskajiem laika rādītājiem.
| Pakāpe | Agri (33,3%) | Sākumā (20%) | Agri (10%) |
|---|---|---|---|
| Laikā (33,3%) | Laikā (40%) | Laikā (80%) | |
| Novēloti (33,4%) | Novēloti (40%) | Novēloti (10%) | |
| A | 86,7 – <98,7% | 87,2 – <98,7% | 93,2 – <99,3% |
| T | 66,7 – <86,7% | 68,0 – <87,2% | 83,0 – <93,2% |
| C | 40,0 – <66,7% | 42,4 – <68,0% | 69,4 – <83,0% |
| D | 33,3 – <40,0% | 36,0 – <42,4% | 66,0 – <69,4% |
Skaitliskā prognoze piemērs
Skaitliskiem prognoze AI Builder izmanto statistisko mēru R kvadrātā, lai aprēķinātu modeļu precizitātes pakāpi. Šajā tabulā ir parādītas atzīmes, kas atbilst katrai pakāpei:
| Pakāpe | R kvadrātā |
|---|---|
| A | 85% - <99% |
| T | 60% - <85% |
| C | 10% - <60% |
| D | ≥99% vai <10% |
Detalizēta informācija par veiktspēju
Lai iegūtu detalizētu informāciju par apmācību, modeļa lodziņā Atzīme atlasiet Skatīt detalizētu informāciju . Cilnē Veiktspēja ir pieejama šāda informācija:
Piezīmes
Informāciju par šajā apgabalā plānotajiem papildu līdzekļiem skatiet laidiena plānos.
- Precizitātes rādītājs
- R kvadrātā
Precizitātes rādītājs
AI Builder Aprēķina modeļa precizitātes rādītāju prognoze pamatojoties uz testa datu kopas rezultātu. Pirms treniņa AI Builder nodala datu kopu atsevišķos treniņu datos un testēšanas datu kopās. Un pēc apmācības AI Builder jūsu AI modelis tiek izmantots testēšanas datu kopai un pēc tam tiek aprēķināts jūsu precizitātes rādītājs. Piemēram, ja testa datu kopā ir 200 rindas un AI Builder pareizi tiek prognozētas 192 rindas, AI Builder tiek rādīts 96 procentu precizitātes rādītājs.
Papildinformāciju skatiet sadaļā Modeļa novērtēšana.
R -kvadrātā
Skaitliskiem prognoze AI Builder aprēķina r kvadrātā punktu skaitu pēc katra treniņa. Šis rezultāts mēra jūsu modeļa "piemērotības labestību", un tas tiek izmantots, lai noteiktu jūsu modeļa veiktspējas pakāpi.
Pieņemsim, ka prognozējat dienu skaitu pasūtījuma izpildei, nosūtīšanai un piegādei. Modelis paredz skaitļu kopu. R kvadrātā vērtība ir balstīta uz attālumiem starp prognozētajām vērtībām un faktiskajām vērtībām jūsu treniņu datos. To izsaka kā skaitli no 0 līdz 100%, ar augstākām vērtībām, kas norāda, ka prognozētā vērtība ir tuvāka reālajai vērtībai. Parasti augstāks rezultāts nozīmē, ka modelis darbojas labāk. Tomēr atcerieties, ka perfekti vai gandrīz perfekti rezultāti (overfit modeļi) parasti norāda uz problēmu ar jūsu treniņu datiem.
Cilnē Kopsavilkums ir pieejama šāda veiktspējas informācija:
- Apmācības datums
- Datu avots
- Vēsturiskais iznākums
- Tabulu saraksts, kas izmantots, lai veiktu prognoze.
Prognoze modeļa veiktspējas uzlabošana
Kad esat apmācījis un novērtējis savu modeli, ir pienācis laiks pielāgot modeli, lai uzlabotu tā veiktspēju. Tālāk ir norādītas dažas darbības, kuras varat izmēģināt, lai palīdzētu uzlabot modeļa prognozēšanas spēju.
Kļūdu un problēmu pārskatīšana
- Ja pēc apmācības pabeigšanas rodas kādas kļūdas, izlabojiet tās un pārkvalificējiet modeli.
- Ja nav kļūdu, pārbaudiet apmācības informāciju. Mēģiniet risināt pēc iespējas vairāk problēmu un pēc tam pārkvalificējiet modeli.
Pārskatiet populārākos ietekmētājus
Pēc katras apmācības modeļa informācijas lapā parādās labāko ietekmētāju saraksts. Katrai apmācībā izmantotajai kolonnai ir punktu skaits, kas atspoguļo tās ietekmi uz apmācību. Šie rādītāji kopā ir vienādi ar 100 procentiem.
Tas palīdz parādīt, vai jūsu modelis ir apmācīts, kā jūs gaidāt. Piemēram, ja vēlaties paredzēt tiešsaistes pircēju nodomu un kā visietekmīgāko sleju sagaidāt Vecums, Produkts, tas ir jāredz ietekmīgāko sleju sarakstā lapā Detalizēta informācija par modeli. Ja nē, tas var norādīt, ka apmācības rezultāts nav tāds, kā gaidīts. Šādā gadījumā varat vai nu noņemt neatbilstošo vai maldinošo sleju atlasi un atkārtoti apmācīt modeli, vai arī pārbaudīt apmācības problēmas, lai skatītu sīkāku informāciju.
Papildu datu pievienošana
Minimālā prasība apmācības datiem ir 50 rindas, taču tas nenozīmē, ka 50 datu rindas apmācīs ļoti prognozējošu modeli. Mēģiniet nodrošināt 1,000 vai vairāk datu rindas, kas ir pareizi marķētas, ar reālistisku sadalījumu starp opcijām.
Datu izplatīšanas pārbaude
Piemēram, ja izmantojat divas opciju etiķetes Jā vai Nē un lielākajā daļā datu rindu šajā kolonnā ir tikai Jā , jūsu modelim ir grūti mācīties no šiem datiem. Centieties, lai jūsu datos būtu opciju sadalījums, kas aptuveni atspoguļo to opciju sadalījumu, kuras, iespējams, redzēsit. Piemēram, ja skatāt datu kolonnas cat_owner un dog_owner, izmantojiet datu sadalījumu aptuveni 50 procentu apmērā. Ja skatāties uz krāpnieciskiem darījumiem, izmantojiet nelīdzsvarotāku sadalījumu — iespējams, no 95 līdz 5 procentiem. Meklējiet nozares standartus šāda veida informācijai, ja nezināt, ko sagaidīt.
Papildu kolonnas pievienošana
Piemēram, jūs vēlaties paredzēt, kuri klienti, visticamāk, atgriezīsies un iegādāsies jūsu produktus. Varat pievienot papildu kolonnas, lai padarītu apmācības datus bagātākus. Piemēram:
- Kā viņi novērtē produktu?
- Cik daudz viņi lieto produktu?
- Vai viņi ir esošie klienti?
Sašauriniet atlasītās kolonnas līdz atbilstošai informācijai
Iespējams, jums jau ir daudz pareizi marķētu apmācības datu ar daudzām datu kolonnām. Tad kāpēc modelis joprojām nevarētu darboties labi? Iespējams, ka atlasāt kolonnas, kas izraisa nevēlamu neobjektivitāti. Pārliecinieties, vai visas atlasītās kolonnas ir atbilstošas, lai ietekmētu to, ko vēlaties paredzēt. Noņemiet atlasi neatbilstošām vai maldinošām kolonnām.
Datu validēšana
- Pārliecinieties, vai datu kolonnās nav augsts trūkstošo vērtību līmenis (lielāks par 99 procentiem). Aizpildiet trūkstošās vērtības ar noklusējuma datiem vai noņemiet datu kolonnu no modeļa apmācības.
- Ja datu kolonnai ir augsta korelācija ar prognoze iznākumu, noņemiet datu kolonnu no modeļa apmācības.