Cvičení – určení skóre modelu strojového učení, který předpovídá úspěšný start rakety
Jednoduché porovnání procentuálních hodnot dat, které vedly ke startu Y, je užitečné z hlediska kontroly, jestli je model víceméně přesný. Je ale ještě užitečnější, abyste model mohli vlastně ohodnotit.
Určení skóre modelu
Stejně jako u zkoušky se učení dá změřit pomocí skóre. Existuje jednořádková funkce, kterou můžete volat, abyste zjistili, jak správně model předpověděl, jestli by k startu došlo.
# Calculate accuracy
tree_model.score(X_test,y_test)
Pomocí funkce score() předáte vstupní data X_test a výstupní data y_test. Tím model „oznámkujete“. Čím vyšší je skóre, tím lépe náš model předpovídá výsledek startu rakety na základě dat o počasí.
Porozumění skóre
Model v tomto příkladu je správný 98,3 %, což je dobré. Vzhledem k tomu, jak malé množství dat jsme čistili a pracovali s nimi, a se známými problémy těchto dat se ve skutečnosti zdá být přesnost trochu příliš dobrá.
Možná máme nejlepší data a správně natrénovali model, aby byl tak přesný. Možná ale tato míra přesnosti znamená, že jsme při odhadu těchto částečně vyrobených dat dobrý. Takže toto skóre by ve skutečném světě nebylo spolehlivé. Pro kontext je běžná přesnost 70 % klasifikátoru rozhodovacího stromu (při prvním spuštění).
Jak můžete zajistit, aby samotné skóre bylo přesné znázornění toho, jak je model správný?
Jedním ze způsobů by bylo požádat odborníka, aby vyplnil data Y a N pro kalendářní data, kdy se nekoná start, místo pouze odhadování hodnoty N. Například pravděpodobnost toho, že den hned před nebo hned po startu také bude dobrý den pro start je pravděpodobně vyšší, než jsme znázornili v těchto datech.