Modell teljesítményének kiértékelése a Machine Learning Studióban (klasszikus)

ÉRVÉNYES:Machine Learning Studio (klasszikus) Azure Machine Learning

Fontos

A (klasszikus) Machine Learning Studio támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy addig térjen át az Azure Machine Learning használatára.

2021. december 1-től kezdve nem fog tudni létrehozni új (klasszikus) Machine Learning Studio-erőforrásokat. 2024. augusztus 31-ig továbbra is használhatja a meglévő (klasszikus) Machine Learning Studio-erőforrásokat.

• A gépi tanulási projektek ML Studióból (klasszikus) Azure Machine Learningbe való áthelyezéséről szóló információk.
• További információ az Azure Machine Learningről

A (klasszikus) ML Studio dokumentációjának kivezetése folyamatban van, és a jövőben nem várható a frissítése.

Ebben a cikkben megismerheti a modell teljesítményének monitorozására használható metrikákat a Machine Learning Studióban (klasszikus). A modell teljesítményének kiértékelése az adatelemzési folyamat egyik alapvető szakasza. Azt jelzi, hogy egy adathalmaz pontozása (előrejelzései) mennyire sikeresek egy betanított modell által. A Machine Learning Studio (klasszikus) két fő gépi tanulási moduljával támogatja a modellek kiértékelését:

• Modell kiértékelése
• Modell keresztellenőrzése

Ezek a modulok lehetővé teszik a modell teljesítményének megtekintését a gépi tanulásban és a statisztikákban gyakran használt metrikák tekintetében.

A modellek kiértékelését a következőkkel együtt kell figyelembe venni:

• Paraméterek optimalizálása algoritmusokhoz
• Modellértelmezhetőség

Három gyakori felügyelt tanulási forgatókönyvet mutatunk be:

• regresszió
• bináris besorolás
• többosztályos besorolás

Értékelés és keresztérvényesítés

A kiértékelés és a keresztérvényesítés szabványos módszer a modell teljesítményének mérésére. Mindkettő olyan kiértékelési metrikákat hoz létre, amelyeket megvizsgálhat vagy összehasonlíthat más modellekékkel.

A Kiértékelési modell egy pontozott adatkészletet vár bemenetként (vagy kettő, ha két különböző modell teljesítményét szeretné összehasonlítani). Ezért az eredmények kiértékelése előtt be kell tanítania a modellt a Modell betanítása modullal, és előrejelzéseket kell készítenie néhány adathalmazról a Score Model modul használatával. A kiértékelés a pontozott címkéken/valószínűségeken és a valódi címkéken alapul, amelyek mindegyike a Score Model modul kimenete.

Másik lehetőségként keresztérvényesítéssel automatikusan végrehajthat több vonatpont-kiértékelési műveletet (10 hajtást) a bemeneti adatok különböző részhalmazán. A bemeneti adatok 10 részre vannak felosztva, ahol az egyik tesztelésre van fenntartva, a másik 9 pedig betanításra. Ez a folyamat 10-szer ismétlődik, és a kiértékelési metrikákat átlagoltuk. Ez segít annak meghatározásában, hogy egy modell milyen jól általánosítaná az új adathalmazokat. A Modell keresztellenőrzése modul feldolgoz egy nem betanított modellt és egy címkézett adatkészletet, majd kiadja az értékelési eredményeket mind a 10 részes minta alapján, valamint az átlagolt eredményeket is.

A következő szakaszokban egyszerű regressziós és besorolási modelleket hozunk létre, és kiértékeljük a teljesítményüket a modell kiértékelése és a modell keresztérvényesítési moduljaival.

Regressziós modell kiértékelése

Tegyük fel, hogy egy autó árát olyan funkciókkal szeretnénk előrejelezni, mint a méretek, a lóerő, a motor specifikációi stb. Ez egy tipikus regressziós probléma, ahol a célváltozó (ár) egy folyamatos numerikus érték. Elfér egy lineáris regressziós modell, amely egy adott autó jellemzőértékei alapján előrejelezheti az adott autó árát. A regressziós modell pontozásra használható ugyanazon az adathalmazon, amelyen betanítottuk. Az előrejelzett autóárak után a modell teljesítményét úgy értékelhetjük ki, hogy megnézzük, hogy az előrejelzések mennyiben térnek el átlagosan a tényleges áraktól. Ennek szemléltetésére a Machine Learning Studio Mentett adathalmazok szakaszában (klasszikus) elérhető Automobile price data data (Raw) adatkészletet használjuk.

A kísérlet létrehozása

Adja hozzá a következő modulokat a munkaterülethez a Machine Learning Studióban (klasszikus):

• Autóár-adatok (nyers)
• Lineáris regresszió
• Modell betanítása
• Pontozó modell
• Modell kiértékelése

Csatlakoztassa a portokat az alábbiakban, az 1. ábrán látható módon, és állítsa a Train Model modul Címke oszlopát az ár-ra.

1. ábra Regressziós modell kiértékelése.

A kiértékelési eredmények vizsgálata

A kísérlet futtatása után kattintson a Modell kiértékelése modul kimeneti portjára, és válassza a Vizualizáció lehetőséget a kiértékelési eredmények megtekintéséhez. A regressziós modellekhez elérhető értékelési metrikák a következők: Átlagos abszolút hiba, Gyökér átlagos abszolút hiba, Relatív abszolút hiba, Relatív négyzetes hiba és a meghatározási együttható.

A "hiba" kifejezés itt az előrejelzett érték és a valódi érték közötti különbséget jelöli. Ennek a különbségnek az abszolút értékét vagy négyzetét általában úgy számítjuk ki, hogy az összes példány teljes hibamennyiségét rögzítse, mivel az előrejelzett és a valódi érték közötti különbség egyes esetekben negatív lehet. A hibametrikák a regressziós modell prediktív teljesítményét mérik az előrejelzéseinek a valódi értékektől való átlagos eltérése alapján. Az alacsonyabb hibaértékek azt jelentik, hogy a modell pontosabb az előrejelzések készítésében. A nulla általános hibametrika azt jelenti, hogy a modell tökéletesen illeszkedik az adatokhoz.

Az R négyzetesnek is nevezett meghatározási együttható szintén szabványos módszer annak mérésére, hogy a modell mennyire illeszkedik az adatokhoz. Ez a modell által magyarázott variációk arányaként értelmezhető. Ebben az esetben a nagyobb arány jobb, ahol az 1 tökéletes illeszkedést jelez.

2. ábra Lineáris regresszióértékelési metrikák.

Keresztérvényesítés használata

Ahogy korábban említettük, a Keresztvalidálás moduljával automatikusan végezhet ismétlődő betanításokat, pontozásokat és értékeléseket. Ebben az esetben mindössze egy adatkészletre, egy nem betanított modellre és egy keresztérvényesítési modell modulra van szüksége (lásd az alábbi ábrát). A címkeoszlopot árra kell állítania a Modell keresztellenőrzése modul tulajdonságai között.

3. ábra Regressziós modell kereszt-érvényesítése.

A kísérlet futtatása után a modell keresztellenőrzése modul jobb kimeneti portjára kattintva ellenőrizheti a kiértékelési eredményeket. Ez részletes áttekintést nyújt az egyes iterációk metrikáiról (fold), valamint az egyes metrikák átlagolt eredményeiről (4. ábra).

4. ábra Regressziós modell keresztérvényesítési eredményei.

Bináris besorolási modell kiértékelése

Bináris besorolási forgatókönyv esetén a célváltozónak csak két lehetséges eredménye lehet, például: {0, 1} vagy {false, true}, {negatív, pozitív}. Tegyük fel, hogy egy olyan adathalmazt kap a felnőtt alkalmazottakról, akik demográfiai és foglalkoztatási változókkal rendelkezik, és hogy a rendszer arra kéri, hogy előre jelezze a jövedelemszintet, egy bináris változót {"=50 K"<, ">50 K"} értékekkel. Más szóval a negatív osztály azokat az alkalmazottakat jelöli, akik 50 K-nál kevesebbet vagy egyenlőt tesznek évente, a pozitív osztály pedig az összes többi alkalmazottat. A regressziós forgatókönyvhez hasonlóan betanítunk egy modellt, pontszámot adunk néhány adathoz, és kiértékeljük az eredményeket. A fő különbség itt a metrika Machine Learning Studio (klasszikus) számításainak és kimeneteinek kiválasztása. A jövedelemszint előrejelzési forgatókönyvének szemléltetéséhez a Felnőtt adatkészlettel létrehozunk egy Studio-(klasszikus) kísérletet, és kiértékeljük egy kétosztályos logisztikai regressziós modell, egy gyakran használt bináris osztályozó teljesítményét.

A kísérlet létrehozása

Adja hozzá a következő modulokat a munkaterülethez a Machine Learning Studióban (klasszikus):

• Felnőtt Census Income Binary Classification adatkészlet
• Kétosztályos logisztikai regresszió
• Modell betanítása
• Pontozási modell
• Modell kiértékelése

Csatlakoztassa a portokat az 5. ábrán látható módon, és állítsa a Modell betanítása modul Címke oszlopát az bevétel-re.

5. ábra Bináris besorolási modell kiértékelése.

A kiértékelési eredmények vizsgálata

A kísérlet futtatása után kattintson a Modell kiértékelése modul kimeneti portjára, és válassza a Vizualizáció lehetőséget a kiértékelési eredmények megtekintéséhez (7. ábra). A bináris besorolási modellekhez elérhető értékelési metrikák a következők: Pontosság, Pontosság, Visszahívás, F1 Pontszám és AUC. Ezenkívül a modul egy keveredési mátrixot ad ki, amely megjeleníti a valódi pozitívok, a hamis negatívok, a hamis pozitívok és a valódi negatívok számát, valamint a ROC, a Pontosság/Visszahívás és a Lift görbék számát.

A pontosság egyszerűen a megfelelően besorolt példányok aránya. Általában ez az első metrika, amelyet egy osztályozó kiértékelésekor tekint meg. Ha azonban a tesztadatok kiegyensúlyozatlanok (ahol a példányok többsége az egyik osztályhoz tartozik), vagy jobban érdekli az egyik osztály teljesítménye, a pontosság nem igazán rögzíti az osztályozó hatékonyságát. A jövedelemszint-besorolási forgatókönyvben tegyük fel, hogy olyan adatokon tesztel, amelyekben a példányok 99%-a olyan személyeket jelöl, akik 50 ezernél kevesebbet keresnek évente. Egy 0,99-es pontosság érhető el, ha minden példány esetében az "<=50K" osztályt jósoljuk meg. Ebben az esetben úgy tűnik, hogy az osztályozó összességében jó munkát végez, de a valóságban nem sorolja be megfelelően a magas jövedelmű személyeket (az 1%-ot).

Ezért hasznos további metrikákat kiszámolni, amelyek a kiértékelés konkrétabb aspektusait rögzítik. Az ilyen metrikák részleteinek megismerése előtt fontos megérteni a bináris besorolás kiértékelésének keveredési mátrixát. A betanítási készlet osztálycímkéi csak két lehetséges értéket tartalmazhatnak, amelyeket általában pozitívnak vagy negatívnak nevezünk. Az osztályozó által helyesen előrejelzett pozitív és negatív példányokat valódi pozitívnak (TP) és valódi negatívnak (TN) nevezzük. Hasonlóképpen a helytelenül besorolt példányokat hamis pozitívnak (FP) és hamis negatívnak (FN) nevezzük. A keveredési mátrix egyszerűen egy táblázat, amely a négy kategória mindegyikébe tartozó példányok számát mutatja. A Machine Learning Studio (klasszikus) automatikusan eldönti, hogy az adathalmaz két osztálya közül melyik a pozitív osztály. Ha az osztálycímkék logikai vagy egész számok, akkor az "igaz" vagy az "1" címkével ellátott példányok vannak hozzárendelve a pozitív osztályhoz. Ha a címkék sztringek, például a jövedelem adatkészlet esetében, a címkék ábécérendbe vannak rendezve, az első osztály a negatív osztály, míg a második osztály a pozitív osztály.

6. ábra Bináris besorolási keveredési mátrix.

Visszatérve a jövedelembesorolási problémára, több értékelési kérdést szeretnénk feltenni, amelyek segítenek megérteni a használt osztályozó teljesítményét. Egy természetes kérdés a következő: „Azon egyének közül, akiket a modell előrejelezte, hogy >50 K-t keresnek (TP+FP), hányat soroltak be helyesen (TP)?” Erre a kérdésre a modell pontosságát tekintve lehet válaszolni, amely a helyesen besorolt pozitívok aránya: TP/(TP+FP). Egy másik gyakori kérdés: "Az összes magas keresetű, 50 000 jövedelmű >alkalmazott közül (TP+FN), hányat sorolt be helyesen az osztályozó (TP)". Ez valójában a visszahívási arány, vagyis a valódi pozitív arány: TP/(TP+FN) az osztályozónál. Észreveheti, hogy a pontosság és a visszahívás között nyilvánvaló kompromisszum áll fenn. Egy viszonylag kiegyensúlyozott adatkészletet tekintve például egy olyan osztályozó, amely többnyire pozitív példányokat jelez előre, nagy visszahívást eredményezne, de meglehetősen alacsony pontosságot, mivel a negatív példányok közül sok helytelen besorolást eredményezne, ami nagy számú hamis pozitív értéket eredményezne. Ha látni szeretné, hogy a két mérőszám hogyan változik, kattintson a PRECISION/RECALL görbére a kiértékelési eredmény kimeneti oldalán (a 7. ábra bal felső részén).

7. ábra Bináris besorolás kiértékelési eredményei.

Egy másik gyakran használt kapcsolódó metrika az F1 Pontszám, amely a pontosságot és a visszahívást is figyelembe veszi. Ez a két metrika harmonikus középértékét jelenti, és a következőképpen számítja ki: F1 = 2 (pontosság x visszahívás) / (pontosság + visszahívás). Az F1 pontszám jó módszer az értékelés egyetlen számban való összegzésére, de mindig jó gyakorlat a pontosság és a visszahívás együttes vizsgálata, hogy jobban megértse az osztályozó viselkedését.

Emellett megvizsgálható a valódi pozitív ráta és a hamis pozitív ráta a Vevő működési jellemző (ROC) görbéjében és a megfelelő terület a görbe alatt (AUC) értékben. Minél közelebb van ez a görbe a bal felső sarokhoz, annál jobb az osztályozó teljesítménye (ez maximalizálja a valódi pozitív arányt, miközben minimalizálja a hamis pozitív arányt). A diagram átlójához közeli görbék olyan osztályozókból származnak, amelyek általában véletlenszerű becsléshez közeli előrejelzéseket adnak.

Keresztérvényesítés használata

A regressziós példához hasonlóan keresztellenőrzést is végezhetünk az adatok különböző részhalmazainak automatikus betanításához, pontszámához és kiértékeléséhez. Hasonlóképpen használhatjuk a Modell keresztellenőrzése modult, egy nem betanított logisztikai regressziós modellt és egy adatkészletet. A címkeoszlopot a Cross-Validate Model modul tulajdonságai között bevétel-re kell állítani. A kísérlet futtatása után, a Modell keresztellenőrzése modul jobb kimeneti portjára kattintva, láthatjuk a bináris osztályozási metrikák értékeit minden keresztellenőrzési részhez, az egyes részek átlaga és szórása mellett.

8. ábra Bináris besorolási modell kereszt-érvényesítése.

9. ábra Bináris osztályozó keresztérvényesítési eredményei.

Többosztályos besorolási modell kiértékelése

Ebben a kísérletben a népszerű Iris adatkészletet fogjuk használni, amely az írisz növény három különböző típusának (osztályának) példányait tartalmazza. Minden példányhoz négy jellemzőérték tartozik (a szekális hossz/szélesség és a szirom hossza/szélessége). Az előző kísérletekben ugyanazokat az adatkészleteket használva képeztük be és teszteltük a modelleket. Itt az Adatok felosztása modult használjuk az adatok két részhalmazának létrehozásához, az első betanításához, valamint a második pontozáshoz és kiértékeléséhez. Az Iris-adatkészlet nyilvánosan elérhető az UCI Machine Learning-adattárban, és egy Adatimportálás modullal tölthető le.

A kísérlet létrehozása

Adja hozzá a következő modulokat a munkaterülethez a Machine Learning Studióban (klasszikus):

• Adatok importálása
• Többosztályos döntési erdő
• Adatok felosztása
• Modell betanítása
• Pontszám Modell
• Modell kiértékelése

Csatlakoztassa a portokat a 10. ábrán látható módon.

Állítsa be a Modell betanítása modul Címke oszlopának indexét 5-re. Az adatkészlet nem tartalmaz fejlécsort, de tudjuk, hogy az osztályfeliratok az ötödik oszlopban találhatók.

Kattintson az http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data

Állítsa be a Split Data modulban a betanításhoz használandó példányok arányát (például 0,7).

10. ábra Többosztályos osztályozó kiértékelése

A kiértékelési eredmények vizsgálata

Futtassa a kísérletet, és kattintson a Modell kiértékelése kimeneti portjára. A kiértékelési eredmények egy keveredési mátrix formájában jelennek meg, ebben az esetben. A mátrix mindhárom osztály tényleges és előrejelzett példányait jeleníti meg.

11. ábra Többosztályos besorolás kiértékelési eredményei.

Keresztérvényesítés használata

Ahogy korábban említettük, a Keresztvalidáló Modul segítségével automatikusan végezheti az ismétlődő betanításokat, pontozásokat és értékeléseket. Szüksége lenne egy adatkészletre, egy nem betanított modellre és egy keresztérvényesítési modell modulra (lásd az alábbi ábrát). Ismét be kell állítania a Keresztellenőrzési modell modul címkeoszlopát (ebben az esetben az 5. oszlopindexet). A kísérlet futtatása után, a Cross-Validate Model megfelelő kimeneti portjára kattintva megvizsgálhatja az egyes faktorok metrikaértékeit, valamint a középértéket és a szórást. Az itt megjelenített metrikák hasonlóak a bináris besorolási esetben tárgyalt metrikákhoz. A többosztályos besorolásban azonban a valódi pozitívok/negatívok és a hamis pozitívok/negatívok kiszámításához osztályonkénti alapon kell számolni, mivel nincs általánosan pozitív vagy negatív osztály. Például, amikor az "Iris-setosa" osztály pontosságát vagy felidézését számítjuk ki, feltételezzük, hogy ez a pozitív osztály, a többi pedig negatív.

12. ábra. Többosztályos besorolási modell kereszt-érvényesítése.

13. ábra. Többosztályos besorolási modell keresztérvényesítési eredményei.