Prognozė modelio našumas

Po kiekvieno mokymo AI Builder naudoja bandymų duomenų rinkinį, kad įvertintų naujo modelio kokybę ir tinkamumą. Jūsų modelio suvestinės puslapyje rodomas modelio mokymo rezultatas. Šie rezultatai išreiškiami A, B, C arba D veiksmingumo laipsniu.

Našumo matavimas

Efektyvumo įvertinimas

Po kiekvieno mokymo rodomas pažymys, AI Builder padedantis įvertinti modelio tikslumą. Sprendimą, ar jūsų modelis yra paruoštas publikuoti, turite priimti atsižvelgdami į savo unikalius poreikius ir aplinkybes. AI Builder pateikia šiuos našumo pažymius, kurie padės jums priimti sprendimą.

Kaip interpretuoti kiekvieną klasę

Kategorija Gairės
A Gali būti, kad vis dar galima patobulinti modelį, tačiau tai geriausia, ką galite gauti.
B Daugeliu atvejų modelis yra teisingas. Ar jį galima patobulinti? Tai priklauso nuo jūsų unikalių aplinkybių, duomenų ir reikalavimų.
C Modeliui sekasi šiek tiek geriau nei atsitiktinis spėjimas. Tai gali būti priimtina kai kurioms programoms, tačiau daugeliu atvejų tai yra modelis, kurį ir toliau tobulintumėte ir tobulintumėte.
D Kažkas negerai. Jūsų modelis veikia prasčiau, nei tikėtumėmės atsitiktinio spėjimo ("underfit" modelis). Arba jis veikia taip gerai (100% arba beveik 100%), kad tikriausiai turite duomenų stulpelį, kuris yra tiesiogiai susijęs su rezultatu ("overfit" modelis) .

Tikslumo diapazonas priklauso nuo jūsų duomenų

Jei prognozuojate 2 ar daugiau rezultatų, faktiniai tikslumo rodikliai, atitinkantys pirmiau nurodytus pažymius, gali skirtis priklausomai nuo istorinių duomenų pasiskirstymo. Šis skirtumas susijęs su tuo, kad pagerėjimas, palyginti su baziniu rodikliu, pasikeičia, kai perkeliate tą bazinį scenarijų.

Tarkime, kad jūsų modelis numato, ar siunta bus pristatyta laiku. Jei jūsų istorinis laiko rodiklis yra 80 procentų, našumo balas 92 atitiktų B pažymį. Bet jei jūsų istorinis laiko rodiklis yra tik 50 procentų, 92 atitiktų A klasę. Taip yra todėl, kad 92 yra daug geresnis patobulinimas, palyginti su 50 procentų, nei daugiau nei 80 procentų, ir jūs tikitės, kad atsitiktinis spėjimas bus artimas tiems procentams.

Dvejetainių istorinių duomenų pavyzdys

Šiame pavyzdyje pateikiami kiekvieno laipsnio tikslumo intervalai, kai istoriniuose duomenyse yra skirtingi dvejetainio prognozė laiko rodikliai.

Kategorija Istorinio 25 % laiko normos tikslumo diapazonas Tikslumo diapazonas istoriniam 50% laiko rodikliui Tikslumo diapazonas istoriniam 80% laiko rodikliui Istorinio 95 % laiko rodiklio tikslumo diapazonas
A 92,5 – <99,3 proc. 90 – 98% 93 <–99 proc. 98,1 – <99,8%
B 81,3 – <92,5 proc. 75 <–90 proc. 84 <–93 proc. 95,3 – <98,1%
C 66,3 – <81,3 proc. 55–75 <% 71 – <84 proc. 91,5 – <95,3 proc.
D <66,3 proc. arba ≥99,3 proc. <55% arba ≥98% <71 proc. arba ≥99 proc. <91,5 % arba ≥99,8 %

Kelių rezultatų retrospektyvinių duomenų pavyzdys

Tikslumo rodikliai, atitinkantys kiekvieną pažymį, taip pat gali skirtis, kai prognozuojate daugiau nei 2 rezultatus. Tarkime, kad jūsų modelis numato daugiau nei dvi pristatymo galimybes: anksti, laiku arba vėlai.

Kiekvienos klasės tikslumo diapazonai keičiasi, kai pasikeičia istoriniai laiko rodikliai.

Kategorija Ankstyvas (33,3 %) Ankstyvas (20%) Ankstyvas (10%)
Laiku (33,3%) Laiku (40%) Laiku (80 %)
Vėlai (33,4 %) Vėlai (40 %) Vėlyvas (10%)
A 86,7 – <98,7 proc. 87,2 – <98,7 proc. 93,2 – <99,3%
B 66,7–86,7 < proc. 68,0 – <87,2 proc. 83,0 – <93,2%
C 40,0 – <66,7% 42,4 – <68,0% 69,4 – <83,0 proc.
D 33,3 – <40,0% 36,0 – <42,4 proc. 66,0 – <69,4 proc.

Skaitmeninis prognozė pavyzdys

Skaitiniams prognozė naudoja R kvadrato statistinį matą, AI Builder kad apskaičiuotų jūsų modelių tikslumo laipsnį. Šioje lentelėje pateikiami pažymiai, atitinkantys kiekvieną klasę:

Kategorija R-kvadratas
A 85% - <99%
B 60– <85 proc.
C 10% - <60%
D ≥99% arba <10%

Išsami informacija apie našumą

Norėdami gauti išsamios mokymo informacijos, modelio pažymių laukelyje pasirinkite Peržiūrėti išsamią informaciją . Skirtuke Našumas pasiekiama ši informacija:

Pastaba.

Informacijos apie šioje srityje planuojamas papildomas funkcijas ieškokite leidimo planuose.

  • Tikslumo įvertinimas
  • R-kvadratas

Tikslumo įvertinimas

AI Builder Apskaičiuoja jūsų modelio tikslumo balą pagal prognozė bandymo duomenų rinkinio rezultatą. Prieš treniruotę AI Builder jūsų duomenų rinkinys atskiriamas į atskirus treniruočių duomenis ir testavimo duomenų rinkinius. O po treniruotės AI Builder pritaiko savo AI modelį testavimo duomenų rinkiniui ir tada apskaičiuoja jūsų tikslumo balą. Pavyzdžiui: jei jūsų testo duomenų rinkinyje yra 200 eilučių ir AI Builder teisingai numatote 192 iš jų, AI Builder rodomas 96 procentų tikslumo balas.

Daugiau informacijos rasite Modelio įvertinimas.

R -kvadratu

Skaitiniams prognozė AI Builder po kiekvienos treniruotės apskaičiuoja r kvadrato balą. Šis balas matuoja jūsų modelio "tinkamumo gerumą" ir yra naudojamas jūsų modelio našumo lygiui nustatyti.

Tarkime, kad prognozuojate dienų skaičių užsakymui įvykdyti, išsiųsti ir pristatyti. Modelis prognozuoja skaičių rinkinį. R kvadrato reikšmė pagrįsta atstumais tarp numatomų ir faktinių treniruočių duomenų verčių. Jis išreiškiamas skaičiumi nuo 0 iki 100%, o didesnės vertės rodo, kad prognozuojama vertė yra artimesnė tikrajai vertei. Paprastai didesnis balas reiškia, kad modelis veikia geriau. Tačiau atminkite, kad tobuli arba beveik tobuli balai (netinkami modeliai) paprastai rodo jūsų treniruočių duomenų problemą.

Skirtuke Suvestinė pasiekiama ši našumo informacija:

  • Mokymų data
  • Duomenų šaltinis
  • Istorinis rezultatas
  • Lentelių sąrašas, naudojamas prognozė.

Pagerinkite prognozė modelio našumą

Apmokius ir įvertinus savo modelį, laikas pakoreguoti modelį, kad pagerintumėte jo našumą. Štai keletas dalykų, kuriuos galite išbandyti, kad pagerintumėte savo modelio nuspėjamąją galią.

Klaidų ir problemų peržiūra

  • Jei baigus treniruotę yra kokių nors klaidų, ištaisykite jas ir iš naujo įkvalifikuokite modelį.
  • Jei klaidų nėra, patikrinkite išsamią mokymo informaciją. Pabandykite išspręsti kuo daugiau klausimų ir tada iš naujo treniruoti modelį.

Peržiūrėkite geriausius influencerius

Po kiekvienų mokymų modelio informacijos puslapyje pasirodo geriausių influencerių sąrašas. Kiekvienas mokymuose naudojamas stulpelis turi balą, atspindintį jo įtaką mokymui. Šie balai kartu yra lygūs 100 procentų.

Tai padeda parodyti, ar jūsų modelis yra apmokytas taip, kaip tikitės. Pavyzdžiui, jei norite nuspėti pirkėjų internetu ketinimus ir tikitės, kad "Age, Product" bus įtakingiausias stulpelis, turėtumėte tai matyti įtakingiausių stulpelių sąraše modelio išsamios informacijos puslapyje. Jei ne, tai gali reikšti, kad treniruotės rezultatas nėra toks, kokio tikėtasi. Tokiu atveju galite panaikinti nesusijusių ar klaidinančių stulpelių pasirinkimą ir perkvalifikuoti modelį arba patikrinti savo mokymo problemas, kad pamatytumėte daugiau informacijos.

Pridėkite daugiau duomenų

Minimalus mokymo duomenų reikalavimas yra 50 eilučių, tačiau tai nereiškia, kad 50 duomenų eilučių mokys labai nuspėjamą modelį. Pabandykite pateikti 1 000 ar daugiau duomenų eilučių, teisingai pažymėtų, realistiškai paskirstydami parinktis.

Patikrinkite duomenų paskirstymą

Pavyzdžiui, jei naudojate dvi parinkčių etiketes Taip arba Ne, o daugumos duomenų eilučių šiame stulpelyje yra tik Taip , modeliui sunku mokytis iš šių duomenų. Stenkitės, kad jūsų duomenyse būtų parinkčių paskirstymas, kuris apytiksliai atspindėtų parinkčių, kurias galite tikėtis pamatyti, pasiskirstymą. Pavyzdžiui, jei peržiūrite cat_owner ir dog_owner duomenų stulpelius, naudokite maždaug 50 procentų duomenų paskirstymą. Jei žiūrite į apgaulingas operacijas, naudokite labiau nesubalansuotą paskirstymą – galbūt nuo 95 iki 5 procentų. Ieškokite pramonės standartų, kad gautumėte tokio tipo informaciją, jei nežinote, ko tikėtis.

Pridėti daugiau stulpelio

Pavyzdžiui, norite numatyti, kurie klientai yra labiau linkę grįžti ir pirkti jūsų produktus. Galite pridėti daugiau stulpelių, kad mokymo duomenys būtų turtingesni. Pavyzdys.

  • Kaip jie vertina produktą?
  • Kiek jie naudoja produktą?
  • Ar jie yra esami klientai?

Susiaurinti pažymėtus stulpelius iki atitinkamos informacijos

Galbūt jau turite daug teisingai pažymėtų mokymo duomenų su daugybe duomenų stulpelių. Tada kodėl modelis vis dar gali neveikti gerai? Gali būti, kad pasirenkate stulpelius, kurie sukelia nepageidaujamą šališkumą. Įsitikinkite, kad visi pasirinkti stulpeliai yra susiję, kad paveiktų tai, ką norite numatyti. Panaikinkite nesusijusių ar klaidinančių stulpelių žymėjimą.

Duomenų tikrinimas

  • Įsitikinkite, kad duomenų stulpeliuose nėra daug trūkstamų reikšmių (daugiau nei 99 procentai). Užpildykite trūkstamas reikšmes numatytaisiais duomenimis arba pašalinkite duomenų stulpelį iš modelio mokymo.
  • Jei duomenų stulpelis turi didelę koreliaciją su prognozė rezultatu, pašalinkite duomenų stulpelį iš modelio mokymo.

Tolesnis veiksmas

Naudokite savo prognozė modelį Power Apps