Modell értékelése
Fontos
A (klasszikus) Machine Learning Studio támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy addig térjen át az Azure Machine Learning használatára.
2021. december 1-től kezdve nem fog tudni létrehozni új (klasszikus) Machine Learning Studio-erőforrásokat. 2024. augusztus 31-ig továbbra is használhatja a meglévő (klasszikus) Machine Learning Studio-erőforrásokat.
- A gépi tanulási projektek ML Studióból (klasszikus) Azure Machine Learning való áthelyezéséről olvashat.
- További információ a Azure Machine Learning.
A (klasszikus) ML Studio dokumentációjának kivezetése folyamatban van, és a jövőben nem várható a frissítése.
Egy besorolási vagy regressziós modell eredményeit értékeli standard metrikákkal
Kategória: Machine Learning / Értékelés
Megjegyzés
Csak a következőre vonatkozik: Machine Learning Studio (klasszikus)
Hasonló húzási modulok érhetők el Azure Machine Learning tervezőben.
A modul áttekintése
Ez a cikk bemutatja, hogyan használható a Modell kiértékelése modul a Machine Learning Studióban (klasszikus) egy betanított modell pontosságának mérésére. Megadhat egy adatkészletet, amely egy modellből generált pontszámokat tartalmaz, és a Modell kiértékelése modul iparági szabvány szerinti kiértékelési metrikák készletét számítja ki.
A Modell kiértékelése által visszaadott metrikák az kiértékelni kívánt modell típusától függenek:
Javaslati modellekhez használja az Ajánló értékelése modult.
Tipp
Ha még csak most ismerkedik a modellértékeléssel, javasoljuk ezeket a mintákat az Azure AI-galériában, amely létrehoz egy modellt, majd ismerteti a kapcsolódó metrikák használatát:
- Regressziós modellek összehasonlítása
- Bináris osztályozók összehasonlítása
- Többosztályos osztályozók összehasonlítása
Az EdX gépi tanulási kurzusának részeként dr. Stephen Elston videósorozatát is ajánljuk.
A Modell kiértékelése funkció használata
A Modell kiértékelése modul háromféleképpen használható:
- Pontszámok létrehozása a betanítási adatok alapján, és a modell kiértékelése ezek alapján
- Pontszámok létrehozása a modellen, de összehasonlítja ezeket a pontszámokat egy fenntartott tesztelési csoportban lévő pontszámokkal
- Két különböző, de kapcsolódó modell pontszámainak összehasonlítása ugyanazon adatkészlet használatával
A betanítási adatok használata
A modell kiértékeléséhez össze kell kapcsolnia egy adatkészletet, amely bemeneti oszlopok és pontszámok készletét tartalmazza. Ha nem áll rendelkezésre más adat, használhatja az eredeti adatkészletet.
- Csatlakozás a Score Modelscored datset kimenetét az Evaluate Model bemenetére.
- Kattintson a Modell kiértékelése modulra, és válassza a Kiválasztott futtatás lehetőséget a kiértékelési pontszámok létrehozásához.
Tesztelési adatok használata
A gépi tanulás egyik gyakori forgatókönyve, hogy az eredeti adatkészletet betanítási és tesztelési adatkészletekre bontja a Split modul vagy a Partíció és minta modul használatával.
- Csatlakozás a Score Modelpontozott adathalmaz kimenetét az Evaluate Model bemenetére.
- Csatlakozás a tesztelési adatokat tartalmazó Split Data modul kimenetét a Modell kiértékelése jobb oldali bemenetére.
- Kattintson a Modell kiértékelése modulra, és válassza a Kiválasztott futtatás lehetőséget a kiértékelési pontszámok létrehozásához.
Két modell pontszámainak összehasonlítása
Egy második pontszámkészletet is csatlakoztathat a modell kiértékeléséhez. A pontszámok lehetnek olyan megosztott kiértékelési csoportok, amelyek ismert eredményekkel, vagy ugyanazon adatok egy másik modelljének eredményei.
Ez a funkció azért hasznos, mert ugyanazon adatok két különböző modelljének eredményeit egyszerűen összehasonlíthatja. Vagy összehasonlíthatja két különböző futtatás pontszámait ugyanazon adatokon, különböző paraméterekkel.
- Csatlakozás a Score Modelscored datset kimenetét az Evaluate Model bemenetére.
- Csatlakozás a második modell Modell pontozása moduljának kimenetét a Modell kiértékelése modul jobb oldali bemenetére.
- Kattintson a jobb gombbal a Modell kiértékelése elemre, és válassza a Kiválasztott futtatás lehetőséget a kiértékelési pontszámok létrehozásához.
Results (Eredmények)
A Modell kiértékelése parancs futtatása után kattintson a jobb gombbal a modulra, és válassza a Kiértékelési eredmények lehetőséget az eredmények megtekintéséhez. A következőket teheti:
- Az eredmények mentése adathalmazként, más eszközökkel végzett könnyebb elemzés érdekében
- Vizualizáció létrehozása a Studio (klasszikus) felületén
Ha az adathalmazokat a Kiértékelési modell mindkét bemenetéhez csatlakoztatja, az eredmények mindkét adatkészlethez vagy mindkét modellhez tartalmaznak metrikákat. A bal oldali porthoz csatolt modell vagy adatok először a jelentésben jelennek meg, majd a jobb porton csatolt adatkészlet vagy modell metrikái.
Az alábbi képen például két, ugyanazon adatokra épülő, de különböző paraméterekkel rendelkező fürtözési modell eredményeinek összehasonlítása látható.
Mivel ez egy fürtözési modell, a kiértékelési eredmények eltérnek attól, mint ha két regressziós modell pontszámait hasonlította össze, vagy két besorolási modellt hasonlított össze. Az általános bemutató azonban megegyezik.
Mérőszámok
Ez a szakasz a Modell kiértékelése funkcióval támogatott modellek adott típusaihoz visszaadott metrikákat ismerteti:
Osztályozási modellek metrikái
A besorolási modellek kiértékelésekor a következő metrikák jelennek meg. Ha összehasonlítja a modelleket, azok a kiértékeléshez kiválasztott metrika szerint vannak rangsorolva.
A pontosság a besorolási modell jóságát méri a valós eredmények arányaként az összes esethez.
A pontosság az összes pozitív eredményhez viszonyított valós eredmények aránya.
A visszahívás a modell által visszaadott összes helyes eredmény törtrésze.
Az F-pontszám kiszámítása a pontosság súlyozott átlagaként történik, és a visszahívás 0 és 1 között történik, ahol az ideális F-pontszám értéke 1.
Az AUC az y tengelyen valós pozitív értékekkel ábrázolt görbe alatti területet, az x tengelyen pedig hamis pozitív értékeket mér. Ez a metrika azért hasznos, mert egyetlen számot biztosít, amely lehetővé teszi a különböző típusú modellek összehasonlítását.
Az átlagos naplóvesztés egyetlen pontszám, amely a helytelen eredmények büntetésének kifejezésére szolgál. Ez a két valószínűségi eloszlás különbségeként számítható ki : a valódi és a modellben lévő eloszlás különbségeként.
A betanítási naplók elvesztése egyetlen pontszám, amely az osztályozó előnyét jelenti egy véletlenszerű előrejelzéssel szemben. A naplóvesztés a modell bizonytalanságát méri a címkékben szereplő ismert értékekkel (alapértékekkel) összehasonlítva. Minimálisra szeretné csökkenteni a teljes modell naplóvesztését.
Regressziós modellek metrikái
A regressziós modellekhez visszaadott metrikák általában a hiba mennyiségének becslésére szolgálnak. A modell jól illeszkedik az adatokhoz, ha a megfigyelt és az előrejelzett értékek közötti különbség kicsi. A reziduálisok mintázatának (bármely előrejelzett pont és a hozzá tartozó tényleges érték közötti különbség) megvizsgálása azonban sokat elárulhat a modell lehetséges torzításairól.
A regressziós modellek kiértékeléséhez a következő metrikákat jelenti a rendszer. A modellek összehasonlításakor a kiértékeléshez kiválasztott metrika alapján rangsorolja őket.
A negatív naplók valószínűsége a veszteségfüggvényt méri, az alacsonyabb pontszám jobb. Vegye figyelembe, hogy ez a metrika csak a Bayes-féle lineáris regresszióhoz és a döntési erdő regressziójához van kiszámítva; más algoritmusok esetében az érték semmit
Infinity
sem jelent.Az átlagos abszolút hiba (MAE) azt méri, hogy az előrejelzések mennyire közel állnak a tényleges eredményekhez; így az alacsonyabb pontszám jobb.
A gyökér középértéke négyzetes hiba (RMSE) egyetlen értéket hoz létre, amely összegzi a modellben szereplő hibát. A különbség guggolásával a metrika figyelmen kívül hagyja a túl- és az alul-előrejelzés közötti különbséget.
A relatív abszolút hiba (RAE) a várt és a tényleges értékek közötti relatív abszolút különbség; relatív, mert a középkülönbség el van osztva az aritmetikai középértékel.
A relatív négyzetes hiba (RSE) hasonlóképpen normalizálja az előrejelzett értékek teljes négyzetes hibáját úgy, hogy elosztja a tényleges értékek teljes négyzetes hibájával.
Az Egy átlagos nulla hiba (MZOE) azt jelzi, hogy az előrejelzés helyes volt-e vagy sem. Más szóval:
ZeroOneLoss(x,y) = 1
hax!=y
; egyébként0
.Az R2-nek is nevezett meghatározási együttható a modell prediktív erejét jelöli 0 és 1 közötti értékként. A nulla azt jelenti, hogy a modell véletlenszerű (nem magyaráz semmit); 1 azt jelenti, van egy tökéletes illeszkedés. Az R2 értékek értelmezésekor azonban körültekintően kell eljárni, mivel az alacsony értékek teljesen normálisak lehetnek, és a magas értékek gyanúsak lehetnek.
Metrikák fürtözési modellekhez
Mivel a fürtözési modellek sok szempontból jelentősen eltérnek a besorolási és regressziós modellektől, a Modell kiértékelése a fürtözési modellek más statisztikáit is visszaadja.
A fürtözési modellhez visszaadott statisztikák azt írják le, hogy hány adatpont lett hozzárendelve az egyes fürtökhöz, a fürtök közötti elkülönítés mértékét, valamint azt, hogy az adatpontok milyen szorosan vannak csoportosítva az egyes fürtökön belül.
A fürtözési modell statisztikáinak átlagolása a teljes adathalmazra vetítve, a fürtönkénti statisztikákat tartalmazó további sorokkal együtt.
Az alábbi eredmények például egy mintakísérlet eredményeinek egy részét mutatják, amely az adatokat a (klasszikus) Machine Learning Studióban elérhető PIMA Indian Diabetes Binary Classification adatkészletben csoportosítja.
Eredmény leírása | Fürtközpont átlagos távolsága | Az egyéb középponttól való átlagos távolság | Pontok száma | Maximális távolság a fürtközponttól |
---|---|---|---|---|
Kombinált kiértékelés | 55.915068 | 169.897505 | 538 | 303.545166 |
A.0-s fürt kiértékelése | 0 | 1 | 570 | 0 |
Az 1. fürt kiértékelése | 0 | 1 | 178 | 0 |
A 2. fürt kiértékelése | 0 | 1 | 178 | 0 |
Ezekből az eredményekből a következő információkat kapja:
A Takarítási fürtszolgáltatás modul több fürtözési modellt hoz létre, a pontosság sorrendjében felsorolva. Az egyszerűség kedvéért itt csak a legjobban rangsorolt modellt mutattuk be. A modellek mérése az összes lehetséges metrikával történik, de a modellek rangsorolása a megadott metrika használatával történik. Ha módosította a metrikát, előfordulhat, hogy egy másik modell magasabb rangsorban van.
Az eredmények egyes szakaszainak tetején található kombinált kiértékelési pontszám az adott modellben létrehozott fürtök átlagolt pontszámait sorolja fel.
Ez a rangsorolt modell három fürtöt hoz létre; más modellek két vagy négy fürtöt hozhatnak létre. Ezért ez a kombinált értékelési pontszám segít a különböző számú fürthöz tartozó modellek összehasonlításában.
A Fürtközponttól való átlagos távolság oszlopban lévő pontszámok a fürt összes pontjának a fürt centroidja felé való közelségét jelölik.
Az " Átlagos távolság az egyéb központtól" oszlop pontszámai azt jelzik, hogy a fürt egyes pontjai átlagosan milyen közel vannak az összes többi fürt centroidjaihoz.
A távolság méréséhez négy metrika bármelyikét kiválaszthatja, de minden mérésnek ugyanazt a metrikát kell használnia.
A Pontok száma oszlop azt mutatja, hogy hány adatpont lett hozzárendelve az egyes fürtökhöz, valamint az összes fürtben lévő adatpontok teljes száma.
Ha a fürtökhöz rendelt adatpontok száma kisebb, mint a rendelkezésre álló adatpontok teljes száma, az azt jelenti, hogy az adatpontok nem rendelhetők hozzá egy fürthöz.
A Fürtközponttól való maximális távolság oszlopban lévő pontszámok az egyes pontok és az adott pont fürtjének centroidja közötti távolságok összegét jelölik.
Ha ez a szám magas, az azt jelentheti, hogy a fürt széles körben el van szórva. A fürt eloszlásának meghatározásához tekintse át ezt a statisztikát a Fürtközponttól való átlagos távolságtal együtt.
Példák
A kiértékelési metrikák létrehozására, megjelenítésére és értelmezésére vonatkozó példákért tekintse meg ezeket a mintakísérleteket az Azure AI-galériában. Ezek a kísérletek bemutatják, hogyan hozhat létre több modellt, és hogyan határozhatja meg, hogy melyik modell a legjobb.
Bináris osztályozók összehasonlítása: Ismerteti, hogyan hasonlítható össze az azonos adatokkal létrehozott különböző osztályozók teljesítménye.
Többosztályos osztályozók összehasonlítása: Bemutatja, hogyan hasonlítható össze a betűfelismerő adatkészletre épülő különböző besorolási modellek pontossága.
Regresszorok összehasonlítása: Végigvezeti a különböző regressziós modellek kiértékelésének folyamatán.
Igénybecslés: Megtudhatja, hogyan kombinálhatja több modell kiértékelési metrikáit.
Ügyfélkapcsolat-előrejelzés: Több kapcsolódó modell kiértékelését mutatja be.
Várt bemenetek
Név | Típus | Description |
---|---|---|
Pontozott adatkészlet | Adattábla | Pontozott adatkészlet |
Összehasonlítandó pontozott adatkészlet | Adattábla | Összehasonlítandó pontozott adatkészlet (nem kötelező) |
Kimenetek
Név | Típus | Description |
---|---|---|
A kiértékelés eredménye | Adattábla | Adatértékelés eredménye |
Kivételek
Kivétel | Description |
---|---|
0003-os hiba | Kivétel akkor fordul elő, ha egy vagy több bemenet null értékű vagy üres. |
0013-ás hiba | Kivétel akkor fordul elő, ha a modultanulónak átadott típus érvénytelen. |
0020-ás hiba | Kivétel akkor fordul elő, ha a modulnak átadott adathalmazok némelyikében túl kicsi az oszlopok száma. |
0021-s hiba | Kivétel akkor fordul elő, ha a modulnak átadott adathalmazok egy részének sorainak száma túl kicsi. |
0024-s hiba | Kivétel akkor fordul elő, ha az adathalmaz nem tartalmaz címkeoszlopot. |
0025-ös hiba | Kivétel akkor fordul elő, ha az adathalmaz nem tartalmaz pontszámoszlopot. |
Lásd még
Modell keresztellenőrzése
Ajánló értékelése
Értékelés
Relevanciamodell