Modelleredmények értelmezése a Machine Learning Studióban (klasszikus)

ÉRVÉNYES: Machine Learning Studio (klasszikus) Azure Machine Learning

Fontos

A (klasszikus) Machine Learning Studio támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy addig térjen át az Azure Machine Learning használatára.

2021. december 1-től kezdve nem fog tudni létrehozni új (klasszikus) Machine Learning Studio-erőforrásokat. 2024. augusztus 31-ig továbbra is használhatja a meglévő (klasszikus) Machine Learning Studio-erőforrásokat.

• A gépi tanulási projektek ml studióból (klasszikus) Azure Machine Learningbe való áthelyezéséről szóló információk.
• További információ az Azure Machine Learningről

A (klasszikus) ML Studio dokumentációjának kivezetése folyamatban van, és a jövőben nem várható a frissítése.

Ez a témakör azt ismerteti, hogyan jeleníthet meg és értelmezhet előrejelzési eredményeket a Machine Learning Studióban (klasszikus). Miután betanított egy modellt, és előrejelzéseket készített rajta ("pontozott a modell"), meg kell értenie és értelmeznie kell az előrejelzés eredményét.

A Machine Learning Studióban (klasszikus) négy fő gépi tanulási modell létezik:

• Osztályozás
• Fürtözés
• Regresszió
• Ajánlórendszerek

Az előrejelzéshez használt modulok a következő modelleken alapulnak:

• Modell pontozása modul besoroláshoz és regresszióhoz
• Hozzárendelés fürtökhöz modul fürtszolgáltatáshoz
• Matchbox Recommender pontozása javaslati rendszerekhez

Megtudhatja, hogyan választhat paramétereket az algoritmusok optimalizálásához az ML Studióban (klasszikus).

A modellek kiértékelésének módjáról a modell teljesítményének kiértékelése című témakörben olvashat.

Ha most ismerkedik az ML Studio (klasszikus) alkalmazással, megtudhatja, hogyan hozhat létre egy egyszerű kísérletet.

Osztályozás

A besorolási problémáknak két alkategóriája van:

• Csak két osztály (kétosztályos vagy bináris besorolás) problémái
• Két osztálynál több osztály (többosztályos besorolás) problémái

A Machine Learning Studio (klasszikus) különböző modulokkal rendelkezik az ilyen típusú besorolások kezeléséhez, de az előrejelzési eredmények értelmezésének módszerei hasonlóak.

Kétosztályos besorolás

Példakísérlet

Egy kétosztályos besorolási problémára példa az íriszvirágok besorolása. A feladat az írisz virágainak besorolása a jellemzőik alapján. A Machine Learning Studióban (klasszikus) biztosított Írisz-adatkészlet a népszerű írisz adatkészlet egy része, amely csak két virágfaj példányait tartalmazza (0. és 1. osztály). Minden virághoz négy jellemző tartozik (a sepal hossza, a sepal szélessége, a szirom hossza és a sziromszélesség).

1. ábra Írisz kétosztályos besorolási problémakísérlet

Kísérlet történt a probléma megoldására az 1. ábrán látható módon. A kétosztályos kiemelt döntési fa modell betanítása és pontozása megtörtént. Most már vizualizálhatja a Modell pontozása modul előrejelzési eredményeit a Modell pontozása modul kimeneti portjára kattintva, majd a Vizualizáció elemre kattintva.

Ez a 2. ábrán látható módon jeleníti meg a pontozási eredményeket.

2. ábra Pontszámmodell eredményeinek vizualizációja kétosztályos besorolással

Eredmény értelmezése

Az eredménytáblában hat oszlop található. A bal oldali négy oszlop a négy jellemző. A jobb oldali két oszlop, a Pontozott címkék és a Pontozott valószínűségek az előrejelzési eredmények. A Pontozott valószínűségek oszlopban látható annak a valószínűsége, hogy egy virág a pozitív osztályhoz tartozik (1. osztály). Az oszlop első száma (0,028571) például azt jelenti, hogy 0,028571 a valószínűsége annak, hogy az első virág az 1. osztályba tartozik. A Pontozott címkék oszlop az egyes virágokhoz tartozó előrejelzett osztályt jeleníti meg. Ez a Pontozott valószínűségek oszlopon alapul. Ha egy virág pontozott valószínűsége nagyobb, mint 0,5, akkor az 1. osztályként lesz előre jelezve. Ellenkező esetben a 0. osztály lesz előrejelzve.

Webszolgáltatás kiadványa

Az előrejelzési eredmények megértését és a megfelelő megítélést követően a kísérlet közzétehető webszolgáltatásként, így különböző alkalmazásokban is üzembe helyezheti, és meghívhatja, hogy osztály-előrejelzéseket szerezzen minden új íriszvirágon. Ha meg szeretné tudni, hogyan módosíthatja a betanítási kísérleteket pontozási kísérletté, és hogyan teheti közzé webszolgáltatásként, tekintse meg a 3. oktatóanyagot: Hitelkockázati modell üzembe helyezése. Ez az eljárás egy pontozási kísérletet biztosít a 3. ábrán látható módon.

3. ábra Az írisz kétosztályos besorolási problémakísérletének pontozása

Most be kell állítania a webszolgáltatás bemenetét és kimenetét. A bemenet a Score Model megfelelő bemeneti portja, amely az Írisz virágfunkciók bemenete. A kimenet kiválasztása attól függ, hogy érdekli-e az előrejelzett osztály (pontozott címke), a pontozott valószínűség vagy mindkettő. Ebben a példában feltételezzük, hogy mindkettő érdekli. A kívánt kimeneti oszlopok kiválasztásához használja az Adatkészlet oszlopainak kijelölése modult . Kattintson az Adathalmaz oszlopainak kijelölése, majd az Oszlopkijelölő indítása elemre, majd a Pontozott címkék és a Pontozott valószínűségek elemre. Miután beállította az Adatkészlet oszlopainak kijelölése kimeneti portját, és újra futtatta, készen kell állnia a pontozási kísérlet webszolgáltatásként való közzétételére a PUBLISH WEB SERVICE (WEBSZOLGÁLTATÁS KÖZZÉTÉTELE) gombra kattintva. Az utolsó kísérlet a 4. ábrához hasonlít.

4. ábra Írisz kétosztályos besorolási probléma utolsó pontozási kísérlete

Miután futtatta a webszolgáltatást, és megadta egy tesztpéldány néhány funkcióértékét, az eredmény két számot ad vissza. Az első szám a pontozott címke, a második pedig a pontozott valószínűség. Ezt a virágot 0,9655-ös valószínűséggel az 1. osztályként jelzik előre.

5. ábra Az írisz kétosztályos besorolásának webszolgáltatás-eredménye

Többosztályos besorolás

Példakísérlet

Ebben a kísérletben egy levélfelismerő feladatot hajt végre a többosztályos besorolás példájaként. Az osztályozó megkísérli előrejelezni a(z) %28class%29 betűt a kézzel írt képekből kinyert kézzel írt attribútumértékek alapján.

A betanítási adatokban 16 funkció található, amelyek kézzel írt levélképekből származnak. A 26 betű alkotja a 26 osztályt. A 6. ábrán egy kísérlet látható, amely egy többosztályos besorolási modellt tanít be a betűfelismeréshez, és előrejelzi a tesztadatkészlet ugyanazon funkciókészletét.

6. ábra Betűfelismerési többosztályos besorolási problémakísérlet

A Modell pontozása modul eredményeinek vizualizációja a Modell pontozása modul kimeneti portjára kattintva, majd a Vizualizáció elemre kattintva a 7. ábrán látható tartalomnak kell megjelennie.

7. ábra Pontszámmodell eredményeinek vizualizációja többosztályos besorolásban

Eredmény értelmezése

A bal oldali 16 oszlop a tesztkészlet funkcióértékét jelöli. A "XX" osztály pontozott valószínűségeihez hasonló nevű oszlopok a kétosztályos eset Pontozott valószínűség oszlopához hasonlóak. Annak valószínűségét mutatják, hogy a megfelelő bejegyzés egy adott osztályba esik. Az első bejegyzésnél például 0,003571 annak a valószínűsége, hogy "A", 0,000451 valószínűsége annak, hogy "B" és így tovább. Az utolsó oszlop (pontozott címkék) megegyezik a kétosztályos eset pontozott címkéinek oszlopával. Kiválasztja azt az osztályt, amelynek legnagyobb pontozott valószínűsége van a megfelelő bejegyzés előrejelzett osztályaként. Az első bejegyzés esetében például a pontozott címke "F", mivel a legnagyobb valószínűséggel "F" (0,916995) lesz.

Webszolgáltatás kiadványa

Az egyes bejegyzések pontozott címkéjét és a pontozott címke valószínűségét is lekérheti. Az alaplogika az, hogy az összes pontozott valószínűség közül a legnagyobb valószínűséget kell megtalálni. Ehhez az R-szkript végrehajtása modult kell használnia. Az R-kód a 8. ábrán látható, a kísérlet eredménye pedig a 9. ábrán látható.

8. ábra R-kód a pontozott címkék kinyeréséhez és a címkék kapcsolódó valószínűségeihez

9. ábra. A levélfelismerő többosztályos besorolási probléma végső pontozási kísérlete

Miután közzétette és futtatta a webszolgáltatást, és megadott néhány bemeneti funkcióértéket, a visszaadott eredmény a 10. ábrához hasonló lesz. Ez a kézzel írt levél, amelynek kinyert 16 jellemzője, az előrejelzések szerint a "T" 0,9715 valószínűsége.

10. ábra. Többosztályos besorolás webszolgáltatás-eredménye

Regresszió

A regressziós problémák eltérnek a besorolási problémáktól. Besorolási probléma esetén diszkrét osztályokat próbál megjósolni, például azt, hogy melyik osztályhoz tartozik egy íriszvirág. Ahogy azonban a regressziós probléma alábbi példájában látható, egy folyamatos változót próbál előrejelezni, például egy autó árát.

Példakísérlet

Használja az autóárak előrejelzését példaként a regresszióhoz. Ön megpróbálja előrejelezni az autó árát a jellemzői alapján, beleértve a make, az üzemanyag típusát, a test típusát és a meghajtó kerekét. A kísérlet a 11. ábrán látható.

11. ábra. Autóárak regressziós problémáinak kísérlete

A Modell pontozása modult ábrázolva az eredmény a 12. ábrához hasonlóan néz ki.

12. ábra. Az autóárak előrejelzési problémájának pontozási eredménye

Eredmény értelmezése

A pontozott címkék az eredményoszlop ebben a pontozási eredményben. A számok az egyes autók előrejelzett ára.

Webszolgáltatás kiadványa

A regressziós kísérletet közzéteheti egy webszolgáltatásban, és a kétosztályos besorolási használati esethez hasonlóan hívhatja meg autóárak előrejelzésére.

13. ábra. Autóárak regressziós problémájának pontozási kísérlete

A webszolgáltatás futtatása esetén a visszaadott eredmény a 14. ábrán látható. Az autó előrejelzett ára 15 085,52 dollár.

14. ábra. Autóárak regressziós problémájának webszolgáltatással kapcsolatos eredménye

Fürtözés

Példakísérlet

Használjuk újra az Írisz-adatkészletet egy fürtözési kísérlet létrehozásához. Itt kiszűrheti az adatkészlet osztályfeliratait, így csak funkciókkal rendelkezik, és fürtözésre használható. Ebben az írisz-használati esetben adja meg a betanítási folyamat során két fürtnek kell lennie, ami azt jelenti, hogy a virágokat két osztályba csoportosítaná. A kísérlet a 15. ábrán látható.

15. ábra. Írisz-fürtözési problémakísérlet

A fürtözés abban különbözik a besorolástól, hogy a betanítási adatkészlet önmagában nem rendelkezik alapszintű igazságcímkékkel. A fürtözés a betanítási adatkészlet példányait különböző fürtökbe csoportosítja. A betanítási folyamat során a modell a jellemzők közötti különbségek megismerésével címkézi meg a bejegyzéseket. Ezt követően a betanított modell használható a jövőbeli bejegyzések további besorolására. Az eredménynek két része érdekli a fürtözési problémán belül. Az első rész a betanítási adatkészlet címkézése, a második pedig egy új adathalmaz besorolása a betanított modellel.

Az eredmény első része úgy jeleníthető meg, hogy a fürtözési modell betanítása bal oldali kimeneti portjára kattint, majd a Vizualizáció elemre kattint. A vizualizáció a 16. ábrán látható.

16. ábra. A betanítási adatkészlet fürtözési eredményeinek megjelenítése

A második rész eredménye, az új bejegyzések betanított fürtözési modellel való csoportosítása a 17. ábrán látható.

17. ábra. Fürtözési eredmény megjelenítése új adatkészleten

Eredmény értelmezése

Bár a két rész eredményei különböző kísérletszakaszokból származnak, ugyanúgy néznek ki, és ugyanúgy értelmezik őket. Az első négy oszlop a funkciók. Az utolsó oszlop, a Hozzárendelések az előrejelzés eredménye. Az azonos számmal hozzárendelt bejegyzések az előrejelzés szerint ugyanabban a fürtben vannak, vagyis valamilyen módon osztoznak a hasonlóságokon (ez a kísérlet az alapértelmezett euklideszi távolságmetrikát használja). Mivel a fürtök számát 2-nek adta meg, a Hozzárendelések bejegyzései 0 vagy 1 címkével vannak ellátva.

Webszolgáltatás kiadványa

A fürtözési kísérletet közzéteheti egy webszolgáltatásban, és ugyanúgy meghívhatja fürtözési előrejelzésekhez, mint a kétosztályos besorolási használati esetben.

18. ábra. Írisz-fürtözési probléma pontozási kísérlete

A webszolgáltatás futtatása után a visszaadott eredmény a 19. ábrához hasonlóan néz ki. Ez a virág az előrejelzés szerint a 0. fürtben lesz.

19. ábra. Az írisz kétosztályos besorolásának webszolgáltatás-eredménye

Ajánlórendszer

Példakísérlet

Az ajánló rendszerek esetében példaként használhatja az éttermi ajánlási problémát: a minősítési előzmények alapján javasolhat éttermeket az ügyfeleknek. A bemeneti adatok három részből állnak:

• Éttermi értékelések az ügyfelektől
• Ügyfélfunkciók adatai
• Éttermi funkciók adatai

A Machine Learning Studióban (klasszikus) a Matchbox Recommender betanítása modullal számos műveletet végezhetünk:

• Egy adott felhasználó és elem minősítéseinek előrejelzése
• Elemek ajánlása egy adott felhasználónak
• Adott felhasználóhoz kapcsolódó felhasználók keresése
• Adott elemhez kapcsolódó elemek keresése

A kívánt műveletet az Ajánló előrejelzési típus menüjében található négy lehetőség közül választva választhatja ki. Itt végigvezetheti mind a négy forgatókönyvet.

Egy ajánlórendszer tipikus Machine Learning Studio-kísérlete (klasszikus) a 20. ábrához hasonlóan néz ki. Az ajánlórendszermodulok használatáról további információt a Matchbox-ajánló betanítása és a matchbox-ajánló pontozása című témakörben talál.

20. ábra. Ajánlórendszer-kísérlet

Eredmény értelmezése

Egy adott felhasználó és elem minősítéseinek előrejelzése

Ha az Ajánló előrejelzés típusa területen kiválasztja a Rating Prediction (Értékelés előrejelzése) lehetőséget, arra kéri az ajánlórendszert, hogy előrejelezhesse az adott felhasználó és elem értékelését. A Score Matchbox Recommender kimenet vizualizációja a 21. ábrához hasonlóan néz ki.

21. ábra. Az ajánló rendszer pontszámeredményének vizualizációja – értékelés előrejelzése

Az első két oszlop a bemeneti adatok által biztosított felhasználói-elem párok. A harmadik oszlop egy adott elem felhasználójának előrejelzett minősítése. Az első sorban például az U1048-as ügyfél az étterem 135026 2-nek számít.

Elemek ajánlása egy adott felhasználónak

Ha az Ajánló előrejelzés típusa területen az Elemjavaslat lehetőséget választja, arra kéri az ajánlórendszert, hogy javasoljon elemeket egy adott felhasználónak. Ebben a forgatókönyvben az utolsó kiválasztandó paraméter az Ajánlott elem kiválasztása. A Besorolási elemekből lehetőség (modellértékeléshez) elsősorban a modell kiértékeléséhez használható a betanítási folyamat során. Ebben az előrejelzési szakaszban az Összes elem közül választunk. A Score Matchbox Recommender kimenet vizualizációja a 22. ábrán látható.

22. ábra. Az ajánló rendszer pontszámának vizualizációja – elemjavaslat

A hat oszlop közül az első azokat a felhasználói azonosítókat jelöli, amelyekhez elemet ajánlanak a bemeneti adatoknak megfelelően. A másik öt oszlop a felhasználónak ajánlott elemeket jeleníti meg csökkenő relevancia szerint. Az első sorban például az U1048 ügyfél számára ajánlott étterem 134986, amelyet 135018, 134975, 135021 és 132862 követ.

Adott felhasználóhoz kapcsolódó felhasználók keresése

Ha a Kapcsolódó felhasználók lehetőséget választja az Ajánló előrejelzés típusa területen, arra kéri az ajánlórendszert, hogy keressen kapcsolódó felhasználókat egy adott felhasználóhoz. A kapcsolódó felhasználók azok a felhasználók, akik hasonló preferenciákkal rendelkeznek. Ebben a forgatókönyvben az utolsó kiválasztandó paraméter a Kapcsolódó felhasználó kiválasztása. A felhasználók által minősített elemek (a modell kiértékeléséhez) lehetőség elsősorban a modell kiértékeléséhez használható a betanítási folyamat során. Válassza a Minden felhasználó lehetőséget ehhez az előrejelzési szakaszhoz. A Score Matchbox Recommender kimenet vizualizációja a 23. ábrához hasonlít.

23. ábra. Az ajánló rendszerhez kapcsolódó felhasználók pontszámeredményeinek vizualizációja

A hat oszlop közül az első a kapcsolódó felhasználók megkereséséhez szükséges felhasználói azonosítókat jeleníti meg a bemeneti adatoknak megfelelően. A másik öt oszlop a felhasználó előrejelzett kapcsolódó felhasználóit csökkenő relevancia szerint tárolja. Az első sorban például az U1048 ügyfél számára a leginkább releváns ügyfél az U1051, majd az U1066, az U1044, az U1017 és az U1072.

Adott elemhez kapcsolódó elemek keresése

Ha a Kapcsolódó elemek lehetőséget választja az Ajánló előrejelzési típusa területen, arra kéri az ajánlórendszert, hogy keresse meg az adott elemhez kapcsolódó elemeket. A kapcsolódó elemek azok az elemek, amelyeket valószínűleg ugyanaz a felhasználó kedvel. Ebben a forgatókönyvben az utolsó kiválasztandó paraméter a Kapcsolódó elem kiválasztása. A Besorolási elemekből lehetőség (modellértékeléshez) elsősorban a modell kiértékeléséhez használható a betanítási folyamat során. Ehhez az előrejelzési szakaszhoz az Összes elem közül választunk. A Score Matchbox Recommender kimenet vizualizációja a 24. ábrához hasonlóan néz ki.

24. ábra. Az ajánló rendszerhez kapcsolódó elemek pontszámeredményeinek megjelenítése

A hat oszlop közül az első a kapcsolódó elemek megkereséséhez szükséges elemazonosítókat jelöli a bemeneti adatoknak megfelelően. A másik öt oszlop az elem előrejelzett kapcsolódó elemeit a relevancia szempontjából csökkenő sorrendben tárolja. Az első sorban például az elem 135026 legrelevánsabb eleme 135074, amelyet 135035, 132875, 135055 és 134992 követ.

Webszolgáltatás kiadványa

A kísérletek webszolgáltatásként való közzétételének folyamata az előrejelzések lekéréséhez hasonló a négy forgatókönyv mindegyikéhez. Ebben a példában a második forgatókönyvet vesszük példaként (elemeket ajánlunk egy adott felhasználónak). Ugyanezt az eljárást követheti a másik háromhoz is.

Ha a betanított ajánlórendszert betanított modellként menti, és a bemeneti adatokat igény szerint egyetlen felhasználói azonosító oszlopra szűri, a 25. ábrán látható módon csatlakoztathatja a kísérletet, és közzéteheti webszolgáltatásként.

25. ábra. Az étterem javaslati problémájának pontozási kísérlete

A webszolgáltatás futtatása esetén a visszaadott eredmény a 26. ábrához hasonlóan néz ki. Az U1048 felhasználói számára ajánlott öt étterem a 134986, 135018, 134975, 135021 és 132862.

26. ábra. A webszolgáltatás éttermi javaslattal kapcsolatos problémájának eredménye