Úvod
Klasifikační modely můžeme vyhodnotit z hlediska druhů chyb, které dělají, například falešně negativních a falešně pozitivních výsledků. To může poskytnout přehled o typech chyb, které model dělá, ale nemusí nutně poskytovat podrobné informace o tom, jak by model mohl provádět, pokud byly provedeny drobné úpravy svých rozhodovacích kritérií. Zde probereme křivky charakteristik operátoru přijímače (ROC), které vycházejí z myšlenky konfuzní matice, ale poskytují nám podrobnější informace, které nám umožní vylepšit naše modely do vyšší míry.
Scénář:
V tomto modulu použijeme následující ukázkový scénář k vysvětlení a cvičení práce s křivkami ROC.
Vaše lavina-záchranná charitativní organizace úspěšně vytvořila model strojového učení, který dokáže odhadnout, jestli je objekt rozpoznaný lehkými senzory pěší turistika nebo přírodní objekt, například strom nebo kámen. Díky tomu budete mít přehled o tom, kolik lidí je na horách, takže víte, jestli je potřeba záchranný tým, když dojde k útoku na lavinu. Model je poměrně dobře, i když se zajímáte, jestli je prostor pro zlepšení. Model interně musí učinit binární rozhodnutí o tom, jestli je objekt pěší turistikou, nebo ne, ale je založen na pravděpodobnostech. Je možné tento rozhodovací proces upravit, aby se zlepšil jeho výkon?
Požadavky
- Znalost modelů strojového učení
Cíle výuky
V tomto modulu:
- Zjistěte, jak vytvořit křivky ROC.
- Prozkoumejte, jak vyhodnotit a porovnat modely pomocí těchto křivek.
- Procvičte si vyladění modelu pomocí charakteristik vykreslených na křivkách ROC.