Úvod
Metriky s jednou hodnotou, jako jsou střední kvadratická chyba nebo ztráta protokolů, představují rychlé způsoby porovnání modelů z hlediska výkonu. Nejsou ale vždy intuitivní a nemůžou vždy poskytnout úplný přehled o tom, jak model skutečně funguje. Například pokud se snažíme detekovat rakovinu, ale pouze 1 v 100 000 vzorků tkání skutečně obsahují rakovinu, model, který vždy říká "bez rakoviny" bude mít vynikající ztrátu protokolů (náklady), ale bude zcela nepoužitá na kliniku. Volba inteligentnějších způsobů posouzení modelů je důležitá, abyste mohli správně porozumět tomu, jak bude model fungovat v reálném světě.
Scénář: Horská záchrana s využitím strojového učení
V tomto modulu použijeme následující ukázkový scénář k vysvětlení a praxi při práci s různými metrikami a nerovnováhami dat.
Vzhledem k tomu, že zimní rolování se zase zvyšuje, protože turisté ignorují upozornění na rizika laviny a vypouští se i v případě, že je hora uzavřená. Nejen, že toto riziko způsobuje více lavin, ale protože turisté se před odvětvováním zřídka kontrolují, neexistuje způsob, jak zjistit, jestli někdo byl na hoře, když se uskutečnil lavina. Velkorysý dárci poskytl lavinový záchranný tým s praporem miniaturních dronů, které jsou schopny automaticky prohledání hor na objekty. Vzhledem k extrémnímu terénu a vyprázdnění baterie v chladu zůstává jejich šířka pásma pro přenos videa příliš nízká. Místo toho mohou senzory extrahovat základní informace, jako je tvar objektu, velikost a pohyb a přenést je do domovské základny. Můžete vytvořit model, který dokáže určit, kdy se dron dostal na člověka, abyste měli přehled o tom, kdo je na hoře?
Požadavky
- Základní znalost klasifikačních modelů
Cíle výuky
V tomto modulu:
- Posouzení výkonu klasifikačních modelů
- Zkontrolujte metriky a vylepšete klasifikační modely.
- Zmírnění problémů s výkonem z nerovnováhy dat