Interpretace výsledků modelu v nástroji Machine Learning Studio (classic)

PLATÍ PRO: Machine Learning Studio (Classic) Azure Machine Learning

Důležité

Podpora studia Machine Learning (Classic) skončí 31. srpna 2024. Doporučujeme do tohoto data přejít na službu Azure Machine Learning.

Od 1. prosince 2021 nebude možné vytvářet nové prostředky studia Machine Learning (Classic). Do 31. srpna 2024 můžete pokračovat v používání stávajících prostředků studia Machine Learning (Classic).

• Přečtěte si informace o přesunu projektů strojového učení ze sady ML Studio (classic) do služby Azure Machine Learning.
• Další informace o službě Azure Machine Learning

Dokumentace ke studiu ML (Classic) se vyřazuje z provozu a v budoucnu se nemusí aktualizovat.

Toto téma vysvětluje, jak vizualizovat a interpretovat výsledky předpovědi v nástroji Machine Learning Studio (classic). Po vytrénování modelu a provedení předpovědí nad ním ("skóre modelu"), musíte pochopit a interpretovat výsledek předpovědi.

V nástroji Machine Learning Studio (classic) existují čtyři hlavní druhy modelů strojového učení:

• Klasifikace
• Clustering
• Regrese
• Doporučené systémy

Moduly používané pro predikci nad těmito modely jsou:

• Modul Určení skóre modelu pro klasifikaci a regresi
• Přiřazení k modulu Clusters pro clustering
• Doporučení matchboxu pro systémy doporučení

Zjistěte, jak zvolit parametry pro optimalizaci algoritmů v nástroji ML Studio (classic).

Pokud chcete zjistit, jak vyhodnotit modely, přečtěte si, jak vyhodnotit výkon modelu.

Pokud s ML Studio (classic) začínáte, přečtěte si, jak vytvořit jednoduchý experiment.

Klasifikace

Existují dvě podkategorie problémů klasifikace:

• Problémy pouze se dvěma třídami (dvoutřídní nebo binární klasifikace)
• Problémy s více než dvěma třídami (klasifikace s více třídami)

Machine Learning Studio (classic) má různé moduly pro každou z těchto typů klasifikace, ale metody interpretace výsledků predikce jsou podobné.

Dvoutřídní klasifikace

Příklad experimentu

Příkladem problému klasifikace se dvěma třídami je klasifikace květů duhovky. Úkolem je klasifikovat iris květiny na základě jejich vlastností. Datová sada Iris poskytovaná v nástroji Machine Learning Studio (classic) je podmnožinou oblíbené datové sady Iris obsahující instance pouze dvou druhů květin (třídy 0 a 1). Pro každou květinu jsou čtyři funkce (délka sepalu, šířka sepalu, délka okvětního lístku a okvětní šířka).

Obrázek č. 1. Experiment se dvěma třídami klasifikace Iris

K vyřešení tohoto problému došlo k experimentu, jak je znázorněno na obrázku 1. Model rozhodovacího stromu se dvěma třídami byl natrénován a vyhodnocen. Teď můžete vizualizovat výsledky předpovědi z modulu Určení skóre modelu kliknutím na výstupní port modulu Určení skóre modelu a následným kliknutím na Vizualizovat.

Tím se zobrazí výsledky vyhodnocování, jak je znázorněno na obrázku 2.

Obrázek č. 2. Vizualizace výsledku modelu skóre ve dvou třídách

Interpretace výsledků

V tabulce výsledků je šest sloupců. Levé čtyři sloupce jsou čtyři funkce. Správné dva sloupce: Scored Labels a Scored Probabilities, jsou výsledky předpovědi. Sloupec Scored Probabilities (Skóre pravděpodobností) zobrazuje pravděpodobnost, že květina patří do kladné třídy (třída 1). Například první číslo ve sloupci (0,028571) znamená, že existuje pravděpodobnost 0,028571, že první květina patří do třídy 1. Sloupec Scored Labels (Popisky skóre) zobrazuje predikovanou třídu pro každou květinu. To je založeno na sloupci Scored Probabilities (Pravděpodobnosti skóre). Pokud je vyhodnocená pravděpodobnost květiny větší než 0,5, předpovídá se jako třída 1. Jinak se predikuje jako třída 0.

Publikování webové služby

Po pochopení a posouzení výsledků predikce je možné experiment publikovat jako webovou službu, abyste ji mohli nasadit v různých aplikacích a volat ji k získání predikcí tříd na jakékoli nové kosatce iris. Informace o tom, jak změnit trénovací experiment na hodnoticí experiment a publikovat ho jako webovou službu, najdete v kurzu 3: Nasazení modelu úvěrového rizika. Tento postup poskytuje hodnoticí experiment, jak je znázorněno na obrázku 3.

Obrázek č. 3. Vyhodnocení experimentu s problémem klasifikace iris ve dvou třídách

Teď potřebujete nastavit vstup a výstup webové služby. Vstup je správný vstupní port modelu skóre, což je vstup Iris flower. Volba výstupu závisí na tom, jestli vás zajímá predikovaná třída (popisek skóre), pravděpodobnost skóre nebo obojí. V tomto příkladu se předpokládá, že vás zajímá obojí. K výběru požadovaných výstupních sloupců použijte modul Vybrat sloupce v sadě dat. Klepněte na tlačítko Vybrat sloupce v sadě dat, klepněte na tlačítko Spustit selektor sloupců a vyberte Scored Labels and Scored Probabilities. Po nastavení výstupního portu Vybrat sloupce v sadě dat a jeho opětovném spuštění byste měli být připraveni publikovat experiment vyhodnocování jako webovou službu kliknutím na publikovat webovou službu. Konečný experiment vypadá jako obrázek 4.

Obrázek č. 4. Konečný experiment s bodováním problému klasifikace iris se dvěma třídami

Po spuštění webové služby a zadání některých hodnot funkcí testovací instance vrátí výsledek dvě čísla. První číslo je popisek skóre a druhý je vyhodnocená pravděpodobnost. Tato květina je předpovězena jako třída 1 s pravděpodobností 0,9655.

Obrázek č. 5. Výsledek webové služby dvojtřídní klasifikace iris

Klasifikace s více třídami

Příklad experimentu

V tomto experimentu provedete úlohu rozpoznávání písmen jako příklad klasifikace s více třídami. Klasifikátor se pokusí předpovědět určité písmeno %28class%29 na základě některých ručně psaných hodnot atributů extrahovaných z ručně psaných obrázků.

V trénovacích datech je 16 funkcí extrahovaných z rukou psaných obrázků dopisů. 26 písmen tvoří naše 26 tříd. Obrázek 6 ukazuje experiment, který bude trénovat klasifikační model s více třídami pro rozpoznávání písmen a predikovat na stejné sadě funkcí v testovací sadě dat.

Obrázek č. 6. Experiment problému s klasifikací více tříd pro rozpoznávání dopisů

Vizualizace výsledků z modulu Určení skóre modelu kliknutím na výstupní port modulu Určení skóre modelu a následným kliknutím na Vizualizovat by se měl zobrazit obsah, jak je znázorněno na obrázku 7.

Obrázek 7. Vizualizace výsledků modelu skóre v klasifikaci s více třídami

Interpretace výsledků

Levé 16 sloupců představuje hodnoty funkcí testovací sady. Sloupce s názvy, jako jsou Scored Probabilities pro třídu XX, jsou stejné jako sloupec Scored Probabilities v dvou třídách. Ukazují pravděpodobnost, že odpovídající položka spadá do určité třídy. Například pro první položku existuje pravděpodobnost 0,003571, že se jedná o pravděpodobnost "A", 0,000451, že je to "B", a tak dále. Poslední sloupec (Scored Labels) je stejný jako Scored Labels v dvoutřídním případě. Vybere třídu s největší pravděpodobností skóre jako předpovězenou třídu odpovídající položky. Například pro první položku je popisek skóre "F", protože má největší pravděpodobnost, že se jedná o "F" (0,916995).

Publikování webové služby

Můžete také získat popisek skóre pro každou položku a pravděpodobnost skóre popisku. Základní logika spočívá v nalezení největší pravděpodobnosti ze všech vyhodnocených pravděpodobností. K tomu je potřeba použít modul Spustit skript jazyka R. Kód R se zobrazuje na obrázku 8 a výsledek experimentu je znázorněn na obrázku 9.

Obrázek 8. Kód R pro extrakci popisků skóre a přidružených pravděpodobností popisků

Obrázek 9. Konečný experiment s bodováním problému s více třídami klasifikace typu letter-recognition

Po publikování a spuštění webové služby a zadání některých vstupních hodnot funkcí bude vrácený výsledek vypadat jako obrázek 10. Tento rukou psaný dopis s extrahovanými 16 funkcemi je předpovězen jako "T" s pravděpodobností 0,9715.

Obrázek 10. Výsledek vícetřídové klasifikace webové služby

Regrese

Regresní problémy se liší od problémů klasifikace. Při klasifikačním problému se pokoušíte předpovědět diskrétní třídy, například do které třídy patří kosatá květina. Jak ale vidíte v následujícím příkladu problému s regresí, snažíte se předpovědět souvislou proměnnou, například cenu auta.

Příklad experimentu

Jako příklad pro regresi použijte predikci cen automobilů. Snažíte se předpovědět cenu auta na základě jeho funkcí, včetně make, typu paliva, typu těla a hnacího kola. Experiment se zobrazí na obrázku 11.

Obrázek 11. Experiment s regresí cen automobilů

Vizualizace modulu Určení skóre modelu vypadá jako na obrázku 12.

Obrázek 12 Výsledek bodování pro problém predikce cen automobilů

Interpretace výsledků

Popisky skóre jsou výsledným sloupcem v tomto výsledku bodování. Čísla představují predikovanou cenu pro každé auto.

Publikování webové služby

Regresní experiment můžete publikovat do webové služby a volat ho pro predikci cen automobilů stejným způsobem jako v případě použití klasifikace ve dvou třídách.

Obrázek 13 Vyhodnocení experimentu s regresí cen automobilů

Spuštění webové služby vypadá vrácený výsledek jako obrázek 14. Predikovaná cena tohoto auta je 15 085,52 Kč.

Obrázek 14 Výsledek webové služby problému s regresí cen automobilů

Clustering

Příklad experimentu

Pojďme znovu použít sadu dat Iris k vytvoření experimentu clusteringu. Tady můžete vyfiltrovat popisky tříd v sadě dat, aby měly jenom funkce a bylo možné je použít pro clustering. V tomto případě použití duhovky zadejte počet clusterů, které mají být během trénovacího procesu dva, což znamená, že byste květiny seskupily do dvou tříd. Experiment se zobrazí na obrázku 15.

Obrázek 15 Experiment s clusteringem Iris

Clustering se liší od klasifikace v tom, že trénovací datová sada sama o sobě neobsahuje popisky základní pravdy. Clustering seskupí instance trénovacích datových sad do různých clusterů. Během procesu trénování model označí položky tím, že se naučí rozdíly mezi jejich funkcemi. Potom lze natrénovaný model použít k další klasifikaci budoucích položek. V rámci problému s clusteringem máme zájem o dvě části výsledku. První část označuje trénovací datovou sadu a druhá klasifikuje novou datovou sadu pomocí natrénovaného modelu.

První část výsledku lze vizualizovat kliknutím na levý výstupní port trénování modelu clusteringu a následným kliknutím na Vizualizovat. Vizualizace je znázorněna na obrázku 16.

Obrázek 16 Vizualizace výsledku clusteringu pro trénovací sadu dat

Výsledek druhé části, seskupování nových položek s natrénovaným modelem clusteringu, je znázorněno na obrázku 17.

Obrázek 17 Vizualizace výsledku clusteringu v nové sadě dat

Interpretace výsledků

I když výsledky těchto dvou částí pocházejí z různých fází experimentu, vypadají stejně a interpretují se stejným způsobem. První čtyři sloupce jsou funkce. Posledním sloupcem Přiřazení je výsledek předpovědi. Položky přiřazené stejnému číslu se predikují tak, že jsou ve stejném clusteru, to znamená, že sdílejí podobnosti nějakým způsobem (tento experiment používá výchozí metriku vzdálenosti Euklidovské vzdálenosti). Vzhledem k tomu, že jste zadali počet clusterů, které mají být 2, jsou položky v přiřazení označeny buď 0, nebo 1.

Publikování webové služby

Experiment clusteringu můžete publikovat do webové služby a volat ho pro predikce clusteringu stejným způsobem jako v případě použití klasifikace ve dvou třídách.

Obrázek 18 Vyhodnocení experimentu s problémem clusteringu duhovky

Po spuštění webové služby bude vrácený výsledek vypadat jako obrázek 19. Tato květina je předpovězena, že je v clusteru 0.

Obrázek 19 Výsledek webové služby dvojtřídní klasifikace iris

Doporučovací systém

Příklad experimentu

V případě doporučených systémů můžete jako příklad použít problém s doporučením restaurace: můžete zákazníkům doporučit restaurace na základě historie jejich hodnocení. Vstupní data se skládají ze tří částí:

• Hodnocení restaurací od zákazníků
• Data o funkcích zákazníků
• Funkční data restaurace

S modulem Train Matchbox Recommender v nástroji Machine Learning Studio (classic) můžeme udělat několik věcí:

• Predikce hodnocení pro daného uživatele a položku
• Doporučte položky danému uživateli.
• Vyhledání uživatelů souvisejících s daným uživatelem
• Vyhledání položek souvisejících s danou položkou

Můžete si vybrat, co chcete udělat, výběrem ze čtyř možností v nabídce typu predikce Doporučovat. Tady si můžete projít všechny čtyři scénáře.

Typický experiment nástroje Machine Learning Studio (klasický) pro doporučovací systém vypadá jako obrázek 20. Informace o tom, jak tyto moduly doporučovacího systému používat, najdete v tématu Train matchbox recommender and Score matchbox recommender.

Obrázek 20 Experiment doporučeného systému

Interpretace výsledků

Predikce hodnocení pro daného uživatele a položku

Výběrem možnosti Predikce hodnocení v části Druh predikce doporučovacího nástroje žádáte doporučovací systém, aby předpověděl hodnocení pro daného uživatele a položku. Vizualizace výstupu doporučení Score Matchbox vypadá jako obrázek 21.

Obrázek 21 Vizualizace výsledku skóre doporučeného systému – předpověď hodnocení

První dva sloupce jsou páry položek uživatele poskytnuté vstupními daty. Třetí sloupec je predikované hodnocení uživatele pro určitou položku. Například v prvním řádku se u zákazníka U1048 predikuje hodnocení restaurace 135026 jako 2.

Doporučte položky danému uživateli.

Výběrem doporučení položky v části Druh predikce doporučujícího uživatele žádáte doporučovací systém, aby doporučoval položky danému uživateli. Posledním parametrem, který chcete zvolit v tomto scénáři, je doporučený výběr položky. Možnost Z hodnocených položek (pro vyhodnocení modelu) je primárně určená pro vyhodnocení modelu během procesu trénování. Pro tuto fázi předpovědi zvolíme Ze všech položek. Vizualizace výstupu doporučovacího modulu Score Matchbox vypadá jako obrázek 22.

Obrázek 22 Vizualizace výsledku skóre doporučeného systému – doporučení

První ze šesti sloupců představuje daná ID uživatelů, která doporučí položky, jak jsou poskytována vstupními daty. Ostatních pět sloupců představuje položky doporučené uživateli v sestupném pořadí relevance. Například v prvním řádku je doporučená restaurace pro zákazníka U1048 134986 následovaná 135018, 134975, 135021 a 132862.

Vyhledání uživatelů souvisejících s daným uživatelem

Výběrem možnosti Související uživatelé v části Druh predikce Doporučeného uživatele žádáte doporučovací systém, aby našel související uživatele s daným uživatelem. Související uživatelé jsou uživatelé, kteří mají podobné preference. Posledním parametrem, který chcete zvolit v tomto scénáři, je Výběr souvisejícího uživatele. Možnost Od uživatelů s hodnocením (pro vyhodnocení modelu) je primárně určená pro vyhodnocení modelu během procesu trénování. Pro tuto fázi predikce zvolte možnost Ze všech uživatelů . Vizualizace výstupu doporučovacího modulu Score Matchbox vypadá jako obrázek 23.

Obrázek 23 Vizualizace výsledků skóre doporučovat uživatele související se systémem

První ze šesti sloupců zobrazuje daná ID uživatelů potřebná k vyhledání souvisejících uživatelů, jak jsou poskytována vstupními daty. Ostatní pět sloupců ukládají predikované související uživatele uživatele v sestupném pořadí podle relevance. Například v prvním řádku je nejrelevavantnější zákazník pro zákazníka U1048 U1051, následovaný U1066, U1044, U1017 a U1072.

Vyhledání položek souvisejících s danou položkou

Výběrem možnosti Související položky v části Druh predikce doporučujícího se žádáte, aby systém doporučovačů našel související položky s danou položkou. Související položky jsou položky, které se s největší pravděpodobností líbí stejnému uživateli. Posledním parametrem, který chcete zvolit v tomto scénáři, je výběr související položky. Možnost Z hodnocených položek (pro vyhodnocení modelu) je primárně určená pro vyhodnocení modelu během procesu trénování. Pro tuto fázi predikce zvolíme Možnost Ze všech položek . Vizualizace výstupu doporučovacího modulu Score Matchbox vypadá jako obrázek 24.

Obrázek 24 Vizualizace výsledků skóre doporučených položek souvisejících se systémem

První ze šesti sloupců představuje daná ID položek potřebná k vyhledání souvisejících položek, jak jsou poskytována vstupními daty. Ostatních pět sloupců ukládá predikované související položky položky v sestupném pořadí z hlediska relevance. Například v prvním řádku je nejrelevavantnější položka pro položku 135026 135074, za kterou následuje 135035, 132875, 135055 a 134992.

Publikování webové služby

Proces publikování těchto experimentů jako webových služeb pro získání předpovědí je podobný pro každý ze čtyř scénářů. Tady jako příklad vezmeme druhý scénář (doporučíme položky danému uživateli). Můžete postupovat stejným postupem s ostatními třemi.

Uložení natrénovaného doporučovacího systému jako vytrénovaného modelu a filtrování vstupních dat do jednoho sloupce ID uživatele podle potřeby můžete experiment připojit jako na obrázku 25 a publikovat ho jako webovou službu.

Obrázek 25 Vyhodnocení experimentu s doporučením restaurace

Spuštění webové služby vypadá vrácený výsledek jako obrázek 26. Pět doporučených restaurací pro uživatele U1048 je 134986, 135018, 134975, 135021 a 132862.

Obrázek 26 Výsledek webové služby problému s doporučením restaurace