Prognoosimudeli jõudlus
Pärast iga treeningut kasutatakse katseandmestikku, AI Builder et hinnata uue mudeli kvaliteeti ja sobivust. Teie mudeli kokkuvõttelehel kuvatakse teie mudeli treeningu tulemus. Neid tulemusi väljendatakse tulemuslikkuse klassina A, B, C või D.
Tulemuslikkuse mõõtmine
Jõudlusklass
Pärast iga treeningut kuvatakse hinne, AI Builder mis aitab teil hinnata oma mudeli täpsust. Otsus selle kohta, kas teie mudel on avaldamiseks valmis, on see, mille peate tegema oma ainulaadsete vajaduste ja asjaolude põhjal. AI Builder pakub järgmisi sooritushindeid, mis aitavad teil seda otsustusvõimet teha.
Kuidas tõlgendada iga klassi
| Grade | Juhiseid |
|---|---|
| A | Mudelit on võimalik siiski täiustada, kuid see on parim klass, mille saate saada. |
| P | Mudel on paljudel juhtudel õige. Kas seda saab parandada? See sõltub teie ainulaadsetest asjaoludest, andmetest ja nõuetest. |
| C | Mudelil läheb veidi paremini kui juhuslikul oletusel. Mõne rakenduse jaoks võib see olla vastuvõetav, kuid enamikul juhtudel on see mudel, mida jätkaksite näpistamist ja täiustamist. |
| D | Midagi on valesti. Teie mudel toimib kas halvemini, kui me eeldaksime, et juhuslik oletus toimib (alafitseeritud mudel). Või toimib see nii hästi (100% või selle lähedal), et teil on tõenäoliselt andmeveerg, mis on otseselt seotud tulemusega (overfit-mudel) . |
Täpsusvahemik varieerub sõltuvalt teie andmetest
Kui ennustate 2 või enamat tulemust, võivad ülaltoodud hinnetele vastavad tegelikud täpsusmäärad varieeruda sõltuvalt teie ajalooliste andmete jaotusest. Erinevus võtab arvesse asjaolu, et paranemine võrreldes teie baasmääraga muutub, kui liigutate seda lähtejoont.
Oletame, et teie mudel ennustab, kas saadetis saabub õigel ajal. Kui teie ajalooline õigeaegne määr on 80 protsenti, vastab tulemuslikkuse skoor 92 B-klassile. Kuid kui teie ajalooline õigeaegne määr on ainult 50 protsenti, vastaks 92 A-klassile. Seda seetõttu, et 92 on palju parem paranemine üle 50 protsendi kui üle 80 protsendi ja eeldaksite, et juhuslik oletus on nende protsentide lähedal.
Binaarsete ajalooliste andmete näide
Selles näites on esitatud iga hinde täpsusvahemikud, kui ajaloolised andmed sisaldavad binaarse prognoos jaoks erinevaid ajalisi määrasid.
| Grade | Täpsusvahemik ajaloolise 25% õigeaegse kiiruse korral | Täpsusvahemik ajaloolise 50% õigeaegse kiiruse korral | Täpsusvahemik ajaloolise 80% õigeaegse kiiruse korral | Täpsusvahemik ajaloolise 95% õigeaegse kiiruse korral |
|---|---|---|---|---|
| A | 92,5 <–99,3% | 90 – 98% | 93 – <99% | 98,1 <–99,8% |
| P | 81,3 <–92,5% | 75 <–90% | 84 <–93% | 95,3 <–98,1% |
| C | 66,3 <–81,3% | 55 <–75% | 71 <–84% | 91,5 <–95,3% |
| D | <66,3% ehk ≥99,3% | <55% või ≥98% | <71% või ≥99% | <91,5% ehk ≥99,8% |
Mitme tulemi ajalooliste andmete näide
Igale hindele vastavad täpsusmäärad võivad erineda ka siis, kui ennustate rohkem kui 2 tulemust. Oletame, et teie mudel ennustab kohaletoimetamiseks rohkem kui kahte võimalust: varajane, õigeaegne või hiline.
Iga hinde täpsusvahemikud muutuvad, kui teie ajaloolised õigeaegsed määrad muutuvad.
| Grade | Varajane (33,3%) | Varajane (20%) | Varajane (10%) |
|---|---|---|---|
| Õigel ajal (33,3%) | Õigel ajal (40%) | Õigel ajal (80%) | |
| Hilinemine (33,4%) | Hilinemine (40%) | Hiline (10%) | |
| A | 86,7 <–98,7% | 87,2 <–98,7% | 93,2 <–99,3% |
| P | 66,7 <–86,7% | 68,0 <–87,2% | 83,0 <–93,2% |
| C | 40,0 <–66,7% | 42,4 <–68,0% | 69,4 <–83,0% |
| D | 33,3 <–40,0% | 36,0 <–42,4% | 66,0 <–69,4% |
Numbriline prognoos näide
Numbriliste prognoos AI Builder puhul kasutatakse mudelite täpsusastme arvutamiseks statistilist mõõtu R-ruudus. Järgmises tabelis on toodud igale klassile vastavad hinded:
| Grade | R-ruudus |
|---|---|
| A | 85% - <99% |
| P | 60% - <85% |
| C | 10– <60% |
| D | ≥99% või <10% |
Toimivuse üksikasjad
Treeningu üksikasjade vaatamiseks valige Kuva üksikasjad mudeli hindekastis. Vahekaardil Jõudlus on saadaval järgmine teave.
Märkus.
Lisateavet selle piirkonna jaoks kavandatud lisafunktsioonide kohta leiate teemast Väljalaskeplaanid.
- Täpsusskoor
- R-ruudus
Täpsusskoor
AI Builder Arvutab teie mudeli täpsusskoori prognoos põhineb testiandmestiku tulemusel. Enne treeningut AI Builder eraldab andmestik eraldi treeningandmeteks ja testimisandmestikeks. Ja pärast treeningut AI Builder rakendab teie tehisintellekti mudeli testimise andmekogumile ja arvutab seejärel teie täpsusskoori. Näiteks: kui teie testiandmestikus on 200 rida ja AI Builder see ennustab neist õigesti 192, AI Builder näitab täpsusskoor 96 protsenti.
Lisateavet vaadake jaotisest Mudeli hindamine.
R -ruudus
Numbriliste prognoos AI Builder puhul arvutab pärast iga treeningut r-ruudu skoori. See skoor mõõdab teie mudeli sobivuse headust ja seda kasutatakse teie mudeli toimivusklassi määramiseks.
Oletame, et prognoosite päevade arvu, mille jooksul tellimus täita, saata ja kohale toimetada. Mudel ennustab numbrite kogumit. R-ruudu väärtus põhineb treeninguandmetes prognoositud väärtuste ja tegelike väärtuste vahelistel kaugustel. Seda väljendatakse arvuna vahemikus 0–100%, kusjuures suuremad väärtused näitavad, et prognoositud väärtus on tegelikule väärtusele lähemal. Tavaliselt tähendab kõrgem skoor, et mudel toimib paremini. Pidage siiski meeles, et täiuslikud või peaaegu täiuslikud skoorid (ülesobivad mudelid) viitavad tavaliselt teie treeningandmetega seotud probleemile.
Vahekaardil Kokkuvõte on saadaval järgmine toimivusteave.
- Koolituse kuupäev
- Andmeallikas
- Ajalooline tulemus
- Tabeliloend, mida kasutatakse prognoos tegemiseks.
Parandage oma prognoos mudeli toimivust
Kui olete oma mudelit koolitanud ja hinnanud, on aeg mudelit selle toimivuse parandamiseks kohandada. Siin on mõned asjad, mida saate proovida oma mudeli ennustamisvõime parandamiseks.
Tõrgete ja probleemide ülevaatamine
- Kui pärast treeningu lõpetamist esineb vigu, parandage need ja treenige mudel ümber.
- Kui vigu pole, kontrollige treeningu üksikasju. Proovige lahendada võimalikult palju probleeme ja seejärel õppige mudel ümber.
Vaadake üle peamised mõjutajad
Pärast iga koolitust ilmub mudeli üksikasjade lehele parimate mõjutajate loend. Igal koolitusel kasutataval veerul on skoor, mis kajastab selle mõju koolitusele. Need skoorid on 100 protsenti võrdsed.
See aitab näidata, kas teie mudel on treenitud ootuspäraselt. Näiteks kui soovite ennustada veebiostlejate kavatsust ja ootate, et vanus, toode oleks kõige mõjukam veerg, peaksite seda nägema mudeli üksikasjade lehe kõige mõjukamas veeruloendis. Kui ei, siis võib see viidata sellele, et treeningu tulemus ei ole ootuspärane. Sellisel juhul saate tühistada ebaoluliste või eksitavate veergude valiku ja mudeli ümber õpetada või vaadata lisateabe saamiseks oma koolitusprobleeme.
Täiendavate andmete lisamine
Treeningandmete miinimumnõue on 50 rida, kuid see ei tähenda, et 50 andmerida treeniks väga ennustavat mudelit. Proovige pakkuda 1,000 või enamat andmerida, mis on õigesti märgistatud ja millel on realistlik jaotus valikute vahel.
Andmete jaotuse kontrollimine
Näiteks kui kasutate kahte valikusilti Jah või Ei ja enamikul andmeridadest on selles veerus ainult Jah , on teie mudelil raske nendest andmetest õppida. Proovige, et teie andmetes oleks valikute jaotus, mis peegeldab ligikaudselt nende valikute jaotust, mida võite oodata. Näiteks kui vaatate cat_owner ja dog_owner andmeveergusid, kasutage andmete jaotust, mis on umbes 50 protsenti. Kui vaatate petturlikke tehinguid, kasutage tasakaalustatumat jaotust – võib-olla 95–5 protsenti. Vaadake seda tüüpi teabe jaoks valdkonna standardeid, kui te ei tea, mida oodata.
Lisa veel veerg
Näiteks soovite ennustada, millised kliendid teie tooteid tõenäolisemalt tagastavad ja ostavad. Saate lisada veel veerge, et muuta treeninguandmed rikkamaks. Näiteks:
- Kuidas nad toodet hindavad?
- Kui palju nad toodet kasutavad?
- Kas nad on olemasolev klient?
Valitud veergude kitsendamine asjakohase teabega
Teil võib juba olla palju õigesti märgistatud treeninguandmeid koos paljude andmeveergudega. Miks ei võiks mudel siis ikkagi hästi toimida? Võib juhtuda, et valite veerud, mis põhjustavad soovimatut kallutatust. Veenduge, et kõik valitud veerud oleksid asjakohased, et mõjutada seda, mida soovite ennustada. Tühistage ebaoluliste või eksitavate veergude valik.
Andmete valideerimine
- Veenduge, et andmeveergudes poleks puuduvate väärtuste määr kõrge (üle 99 protsendi). Sisestage puuduvad väärtused vaikeandmetega või eemaldage andmeveerg mudelitreeningust.
- Kui andmeveerul on prognoos tulemusega suur korrelatsioon, eemaldage andmeveerg mudelikoolitusest.
Järgmine etapp
Tagasiside
Varsti tulekul: 2024. aasta jooksul tühistame GitHubi probleemide funktsiooni sisutagasiside mehhanismina ja asendame selle uue tagasisidesüsteemiga. Lisateabe saamiseks vt https://aka.ms/ContentUserFeedback.
Esita ja vaata tagasisidet