Ytelse for prognosemodell

Etter hver opplæringsøkt bruker AI Builder testdatasettet til å evaluere kvaliteten og nøyaktigheten til den nye modellen. En sammendragsside for modellen som viser resultatene av modellkalibreringen. Disse resultatene uttrykkes som ytelsesgradering A, B, C eller D.

Måle ytelse

Ytelsesgradering

Etter hver læringsprosess viser AI Builder en karakter for å hjelpe deg med å vurdere modellesn nøyaktighet. Du må ta avgjørelsen om hvorvidt modellen er klar til å publiseres eller ikke basert på dine unike behov og omstendigheter. AI Builder gir følgende ytelseskarakterer for å hjelpe deg med denne vurderingen.

Slik tolker du hver gradering

Gradering Veiledning
A Det kan være modellen kan forbedres ytterligere, men dette er den beste graderingen du kan få.
F Modellen er korrekt i mange av tilfellene. Kan den forbedres? Det avhenger av de unike omstendighetene, dataene og kravene dine.
C Modellen gjør det noe bedre enn en tilfeldig gjetting. Den kan være akseptabel for noen apper, men i de fleste tilfeller er dette en modell du fortsetter å tilpasse og forbedre.
D Noe er galt. Modellen din yter værre enn forventet for et tilfeldig anslag (undertilpasset modell). Eller det gir så gode resultater (ved eller nær 100 %) at du sannsynligvis har en datakolonne som er direkte korrelert med resultatet (overtilpasset modell).

Nøyaktighetsområdet varierer avhengig av dataene

Hvis du forutser 2 eller flere resultater, vil de faktiske nøyaktighetsgradene som tilsvarer graderingene over, variere avhengig av datadistribusjonen av dine historiske data. Forskjellene gjenspeiler det faktum at forbedringen i forhold til den opprinnelige grunnraten, endres når den grunnlinjen flyttes.

La oss si at din modell forutser om en forsendelse vil ankomme til riktig tid. Hvis den historiske i tide-satsen er 80%, ville ytelsespoengsummen 92 tilsvare karakteren B. Hvis imidlertid den historiske i tide-satsen bare er 50%, vil 92 tilsvare karakteren A. Det er fordi 92 % er en mye større forbedring over 50% enn det er over 80%, og du ville forventet at en vilkårlig gjetting ville vært i nærheten av de prosentandelene.

Eksempel på binære historisk data

Dette eksemplet viser nøyaktighetsområdene for hver gradering når de historiske dataene inneholder ulike i tide-satser for en binær prognose.

Gradering Nøyaktighetsområde for en historisk i tide-sats på 25 % Nøyaktighetsområde for en historisk i tide-sats på 50 % Nøyaktighetsområde for en historisk i tide-sats på 80 % Nøyaktighetsområde for en historisk i tide-sats på 95 %
A 92,5 – < 99,3 % 90 – 98 % 93 – < 99 % 98,1 – < 99,8 %
F 81,3 – < 92,5 % 75 – < 90 % 84 – < 93 % 95,3 – < 98,1 %
C 66,3 – < 81,3 % 55 – < 75 % 71 – < 84 % 91,5 – < 95,3 %
D < 66,3 % eller ≥ 99,3 % < 55 % eller ≥ 98 % < 71 % eller ≥ 99 % < 91,5 % eller ≥ 99,8 %

Eksempel på historiske data med flere resultater

Nøyaktige satser som samsvarer med hver gradering, kan variere når du forutsier mer enn to resultater. La oss si at modellen forutsier mer enn to alternativer for levering: tidlig, til tiden eller sen.

Nøyaktighetsområdene for hver gradering endres når de historiske til tiden-ratene endres.

Gradering Tidlig (33,3 %) Tidlig (20 %) Tidlig (10 %)
Til tiden (33,3 %) Til tiden (40 %) Til tiden (80 %)
Sen (33,4 %) Sen (40 %) Sen (10 %)
A 86,7 – < 98,7 % 87,2 – < 98,7 % 93,2 – < 99,3 %
F 66,7 – < 86,7 % 68,0 – < 87,2 % 83,0 – < 93,2 %
C 40,0 – < 66,7 % 42,4 – < 68,0 % 69,4 – < 83,0 %
D 33,3 – < 40,0 % 36,0 – < 42,4 % 66,0 – < 69,4 %

Numerisk prediksjon, eksempel

For numeriske prediksjon bruker AI Builder det R-kvadrerte statistiske målet til å beregne nøyaktighetsgraden for modellene. Tabellen nedenfor viser graderingene som samsvarer med hver gradering:

Gradering R-kvadrert
A 85 % – < 99 %
F 60 % – < 85 %
C 10 % – < 60 %
D ≥99 % eller < 10 %

Ytelsesdetaljer

For kalibreringsdetaljer velger du Se detaljer på modellens graderingsboks. I kategorien Ytelse er følgende informasjon tilgjengelig:

Merk

Hvis du vil ha informasjon om ytterligere funksjoner som er planlagt for dette området, kan du ta en titt på utgivelsesplaner.

  • Nøyaktighetspoengsum
  • R-kvadrert

Nøyaktighetspoengsum

AI Builder beregner nøyaktighetsresultatet for modellen din basert på prognoseresultatet av testdatasettet. Før opplæringsøkten deler AI Builder datasettene inn i opplæringsdata og testdatasett. Og etter opplæringsøkten bruker AI Builder modellen for kunstig intelligens på testdatasettet, og beregner deretter nøyaktighetspoengsummen. Eksempel: Hvis testresultatene datasett 200 rader og AI Builder forutser 192 av dem riktig, viser AI Builder en nøyaktighetspoengsum på 96 prosent.

For mer informasjon, se Evaluer modellen din.

R-kvadrert

For numeriske prediksjon beregner AI Builder en r-kvadrert poengsum etter hver opplæring. Denne poengsummen måler hvor godt modellen passer, og brukes til å finne modellens ytelseskarakter.

La oss si at du forutser hvor mange dager det vil ta å fullføre, sende og levere en ordre. Modellen forutser et sett med tall. Den r-kvadrerte verdien er basert på avstandene mellom prognostiserte verdier og faktiske verdier i kalibreringsdataene. Dette uttrykkes som et tall i intervallet 0 – 100 %, der høyere verdier indikerer at den prognostiserte verdien er nærmere den reelle verdien. Vanligvis vil en høyere poengsum bety at modellens ytelse er bedre. Husk imidlertid at perfekte eller nesten perfekte resultater (overtilpassede modeller) vanligvis indikerer et problem med kalibreringsdataene.

I fanen Sammendrag er følgende ytelsesinformasjon tilgjengelig:

  • Kalibreringsdato
  • Datakilde
  • Historisk resultat
  • Tabelliste som brukes til å gjøre prognosen.

Forbedre ytelsen til prognosemodellen din

Etter at du har hatt en kalibreringsøkt og evaluert modellen din, er det på tide å finjustere modellen for å forbedre ytelsen. Her er noen ting du kan gjøre for å forbedre modellens prognosekraft.

Gjennomgå feil og problemer

  • Hvis det finnes feil etter at du er ferdig med kalibreringen, fikser du dem og kalibrerer modellen på nytt.
  • Hvis det ikke er noen feil, kontroller opplæringsdetaljene. Forsøk å finn ut av så mange problemer som mulig, og rekalibrer deretter modellen.

Vurder de viktigste påvirkerne

Etter hver kalibrering dukker det opp en liste over de viktigste påvirkerne på informasjonssiden til modellen. Hver kolonne som brukes i kalibreringen, har en poengsum som representerer innvirkningen den har på kalibreringen. Disse resultatene utgjør til sammen 100 prosent.

Dette bidrar til å vise om modellen din har fått forventet kalibrering. Hvis du for eksempel vil forutsi Internett-kundenes intensjon, og du forventer Alder, Produkt som den mest innflytelsesrike kolonnen, skal du se dette i den mest innflytelsesrike kolonnelisten på siden med modelldetaljer. Hvis ikke kan det indikere at resultatet av kalibreringen ikke er som forventet. I så fall kan du enten fjerne merkingen av de irrelevante eller villedende kolonnene og lære opp modellen på nytt eller ta en titt på opplæringsproblemene for mer informasjon.

Legg til flere data

Minimumskravet for opplæringsdata er 50 rader, men dette betyr ikke at 50 datarader vil gi en modell med stor forutsigbarhet. Forsøk med 1000 eller flere datarader, riktig merket, med en realistisk fordeling mellom alternativene.

Kontroller datadistribusjonen

Eksempel: Hvis du bruker to etikettalternativer, Ja eller Nei, og de fleste av dataradene bare har Ja i dette feltet, er det vanskelig for modellen å lære av disse dataene. Prøv å ha en fordeling av alternativer i dataene dine som omtrent reflekterer fordelingen av alternativene du kan forvente å se. Hvis du for eksempel ser på datakolonner for cat_owner og dog_owner, kan du bruke en datadistribusjon på rundt 50 prosent. Hvis du ser på falske transaksjoner, bruker du en mer ubalansert distribusjon – kanskje 95 til 5 prosent. Se på bransjestandarder for denne typen informasjon hvis du ikke vet hva du kan forvente.

Legg til flere kolonner

Hvis du for eksempel vil forutsi hvilke kunder som mer sannsynligvis vil komme tilbake for å kjøpe produktene dine. Du kan legge til flere kolonner for å gjøre opplæringsdataene rikere. Eksempel:

  • Hvordan vurderer de produktet?
  • Hvor mye bruker de produktet?
  • Er det en eksisterende kunde?

Begrens valgte kolonner til relevant informasjon

Du har kanskje allerede mye riktig merket opplæringsdata med mange datakolonner. Så hvorfor er modellytelsen fortsatt ikke bra nok? Det kan være at du velger kolonner som fører til uønsket skjevhet. Forsikre deg om at alle kolonnene du velger, er relevante for å påvirke det du vil forutsi. Fjern merkingen av irrelevante eller villedende kolonner.

Valider dataene

  • Forsikre deg om at datakolonnene ikke har høy frekvens av manglende verdier (over 99prosent). Fyll ut de manglende verdiene med standarddata, eller fjern datakolonnen fra modellopplæringen.
  • Hvis en datakolonne har høy korrelasjon med prognoseutfall, fjerner du datakolonnen fra modellkalibreringen.

Neste trinn

Bruk prediksjonsmodellen i Power Apps

  • Last updated on