Odvozování a vyhodnocení modelů prognózování (Preview)

Důležité

Tato funkce je v současné době ve verzi Public Preview. Tato verze Preview se poskytuje bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti.

Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Tento článek představuje koncepty související s odvozováním a vyhodnocováním modelů v úlohách prognózování. Pokyny a příklady pro trénování modelů prognóz v AutoML najdete v našem článku o nastavení autoML pro prognózování časových řad .

Jakmile použijete AutoML k trénování a výběru nejlepšího modelu, dalším krokem je vygenerovat prognózy a pak (pokud je to možné) vyhodnotit jejich přesnost na testovací sadě uchovávané z trénovacích dat. Pokud se chcete podívat, jak nastavit a spustit vyhodnocení modelu prognóz v automatizovaném strojovém učení, přečtěte si našeho průvodce komponentami pro odvozování a vyhodnocení.

Scénáře odvození

Ve strojovém učení je odvozování proces generování předpovědí modelu pro nová data, která se nepoužívají při trénování. Existuje několik způsobů, jak generovat předpovědi při prognózování kvůli časové závislosti dat. Nejjednodušším scénářem je situace, kdy období odvozování bezprostředně následuje za trénovacím obdobím a my vygenerujeme předpovědi do horizontu prognózy. Tento scénář je znázorněn v následujícím diagramu:

Diagram znázorňuje dva důležité parametry odvození:

• Délka kontextu nebo množství historie, kterou model potřebuje k vytvoření prognózy,
• Horizont prognózy, což je, jak dlouho dopředu je prognóza natrénovaná k predikci.

Modely prognózování obvykle používají některé historické informace, kontext, k vytváření předpovědí předem až do horizontu prognózy. Pokud je kontext součástí trénovacích dat, autoML ukládá, co potřebuje k vytváření předpovědí, takže není nutné je explicitně zadávat.

Existují dva další scénáře odvození, které jsou složitější:

• Generování předpovědí dále do budoucnosti, než je horizont prognózy,
• Získání předpovědí v případech, kdy je mezi obdobím trénování a odvozování mezera

Tyto případy si projdeme v následujících dílčích částech.

Předpověď za horizont prognózy: rekurzivní prognózování

Pokud potřebujete prognózy za horizontem, autoML použije model rekurzivně po dobu odvozování. To znamená, že předpovědi z modelu se vrací jako vstup , aby se vygenerovaly předpovědi pro následná okna prognózování. Následující diagram znázorňuje jednoduchý příklad:

Tady vygenerujeme prognózy pro období třikrát větší, než je délka horizontu, a to pomocí předpovědí z jednoho okna jako kontextu pro další okno.

Upozornění

Rekurzivní prognózování sloučí chyby modelování, takže předpovědi jsou méně přesné, čím dál jsou od původního horizontu prognózy. Přesnější model můžete najít tak, že v tomto případě přetrénujete s delším horizontem.

Predikce s mezerou mezi obdobími trénování a odvozování

Předpokládejme, že jste model v minulosti vytrénovali a chcete ho použít k vytváření předpovědí z nových pozorování, která ještě nebyla během trénování dostupná. V tomto případě existuje časový interval mezi trénováním a obdobím odvozování:

AutoML podporuje tento scénář odvození, ale v období mezery je potřeba zadat kontextová data, jak je znázorněno na diagramu. Predikční data předaná komponentě odvozování vyžadují hodnoty pro funkce a pozorované cílové hodnoty v mezerách a chybějící hodnoty nebo hodnoty "NaN" pro cíl v období odvozování. Následující tabulka ukazuje příklad tohoto vzoru:

Tady jsou k dispozici známé hodnoty cíle a funkcí od 1. 5. 2023 do 3. 5. 2023. Chybějící cílové hodnoty od 4. 5. 2023 značí, že období odvozování začíná tímto datem.

AutoML používá nová kontextová data k aktualizaci prodlevy a dalších funkcí zpětného vyhledávání a také k aktualizaci modelů, jako je ARIMA, které udržují interní stav. Tato operace neaktualizuje ani nepřevléčí parametry modelu.

Vyhodnocení modelu

Vyhodnocení je proces generování předpovědí u testovací sady, která se nachází na základě trénovacích dat, a výpočetních metrik z těchto předpovědí, které řídí rozhodování o nasazení modelu. V souladu s tím existuje režim odvozování, který je speciálně vhodný pro vyhodnocení modelu – průběžná prognóza. Projdeme si ji v následující dílčí části.

Průběžná prognóza

Osvědčeným postupem pro vyhodnocení modelu prognózy je posunout vytrénovaný prognostér v průběhu testovací sady dopředu a zprůměrovat metriky chyb v několika oknech predikce. Tento postup se někdy v závislosti na kontextu označuje jako backtest. V ideálním případě je testovací sada pro vyhodnocení dlouhá vzhledem k horizontu prognózy modelu. Odhady chyb prognózování mohou být jinak statisticky hlučné, a proto méně spolehlivé.

Následující diagram znázorňuje jednoduchý příklad se třemi okny prognózování:

Diagram znázorňuje tři parametry postupného vyhodnocení:

• Délka kontextu nebo množství historie, kterou model potřebuje k vytvoření prognózy,
• Horizont prognózy, což je, do jakého předstihu je prognostik trénován k predikci,
• Velikost kroku, což je, do jakého předstihu se posune postupné okno při každé iteraci testovací sady.

Důležité je, že kontext postupuje společně s oknem prognózy. To znamená, že skutečné hodnoty z testovací sady se používají k vytváření předpovědí, když spadají do aktuálního kontextového okna. Poslední datum skutečných hodnot použitých pro dané okno prognózy se nazývá čas počátku okna. Následující tabulka ukazuje příklad výstupu prognózy se třemi okny s horizontem tří dnů a velikostí kroku jeden den:

S tabulkou, jako je tato, můžeme vizualizovat prognózy vs. skutečné hodnoty a výpočetní metriky požadovaného vyhodnocení. Kanály AutoML můžou generovat průběžné prognózy pro testovací sadu s komponentou odvozování.

Poznámka

Pokud je testovací období stejné délky jako horizont prognózy, poskytuje průběžná prognóza jedno okno prognóz až k horizontu.

Metriky vyhodnocení

Výběr souhrnu hodnocení nebo metriky je obvykle řízen konkrétním obchodním scénářem. Mezi běžné volby patří:

• Grafy pozorovaných cílových hodnot vs. předpovídajících hodnot ke kontrole, že model zachycuje určitou dynamiku dat,
• MAPE (střední absolutní procentuální chyba) mezi skutečnými a předpokládanými hodnotami,
• RMSE (kořenová střední kvadratická chyba), pravděpodobně s normalizací, mezi skutečnými a předpokládanými hodnotami,
• MAE (střední absolutní chyba), pravděpodobně s normalizací, mezi skutečnými a předpokládanými hodnotami.

V závislosti na obchodním scénáři existuje mnoho dalších možností. Možná budete muset vytvořit vlastní nástroje pro následné zpracování pro výpočet metrik vyhodnocení z výsledků odvozování nebo průběžných prognóz. Další informace o metrikách najdete v našem článku o regresi a prognózování metrik .

Další kroky

• Přečtěte si další informace o tom, jak nastavit AutoML pro trénování modelu prognózování časových řad.
• Přečtěte si o tom, jak AutoML používá strojové učení k vytváření modelů prognóz.
• Přečtěte si odpovědi na nejčastější dotazy k prognózování v AutoML.