Testování a ověřování (dolování dat)

Platí pro: SQL Server 2019 a starší služby Analysis Services Azure Analysis Services Fabric/ Power BI Premium

Důležité

Dolování dat bylo v SQL Serveru 2017 Analysis Services zastaralé a nyní ukončeno ve službě SQL Server 2022 Analysis Services. Dokumentace se neaktualizuje pro zastaralé a ukončené funkce. Další informace najdete v tématu Zpětná kompatibilita služby Analysis Services.

Ověření je proces vyhodnocení toho, jak dobře vaše modely dolování fungují proti reálným datům. Než je nasadíte do produkčního prostředí, je důležité ověřit modely dolování pochopením jejich kvality a charakteristik.

Tato část představuje několik základních konceptů souvisejících s kvalitou modelu a popisuje strategie ověření modelu, které jsou k dispozici ve službě Microsoft SQL Server Analysis Services. Přehled toho, jak ověřování modelu zapadá do rozsáhlejšího procesu dolování dat, najdete v tématu Řešení pro dolování dat.

Metody pro testování a ověření modelů dolování dat

Existuje mnoho přístupů k posouzení kvality a charakteristik modelu dolování dat.

• Pomocí různých měr statistické platnosti určete, jestli jsou v datech nebo v modelu problémy.

• Data oddělte do trénovacích a testovacích sad a otestujte přesnost predikcí.

• Požádejte obchodní odborníky, aby zkontrolovali výsledky modelu dolování dat a zjistili, jestli zjištěné vzory mají význam v cílovém obchodním scénáři.

Všechny tyto metody jsou užitečné v metodologii dolování dat a používají se iterativním způsobem při vytváření, testování a upřesňování modelů k zodpovězení konkrétního problému. Žádné komplexní pravidlo vám nedokáže říct, kdy je model dostatečně dobrý nebo když máte dostatek dat.

Definice kritérií pro ověřování modelů dolování dat

Míry dolování dat obecně spadají do kategorií přesnosti, spolehlivosti a užitečnosti.

Přesnost je míra, jak dobře model koreluje výsledek s atributy v zadaných datech. Existují různé míry přesnosti, ale všechny míry přesnosti jsou závislé na použitých datech. Ve skutečnosti můžou chybět nebo přibližné hodnoty nebo data můžou být změněna několika procesy. Zejména ve fázi průzkumu a vývoje se můžete rozhodnout přijmout určité množství chyb v datech, zejména pokud jsou data poměrně jednotná ve svých vlastnostech. Model, který například predikuje prodej konkrétního obchodu na základě minulých prodejů, může být silně korelován a velmi přesný, i když tento obchod konzistentně používal nesprávnou metodu účetnictví. Měření přesnosti proto musí být vyvážená posouzením spolehlivosti.

Spolehlivost posuzuje způsob, jakým model dolování dat provádí různé datové sady. Model dolování dat je spolehlivý, pokud generuje stejný typ předpovědí nebo najde stejné obecné druhy vzorů bez ohledu na zadaná testovací data. Například model, který vytvoříte pro obchod, který použil nesprávnou metodu účetnictví, nebude dobře přenositelný na jiná obchody, a proto by nebyl spolehlivý.

Užitečnost zahrnuje různé metriky, které vám řeknou, jestli model poskytuje užitečné informace. Například model dolování dat, který koreluje umístění obchodu s prodejem, může být přesný i spolehlivý, ale nemusí být užitečný, protože tento výsledek nelze generalizovat přidáním dalších obchodů na stejném místě. Kromě toho neodpoví na základní obchodní otázku, proč některé lokality mají více prodeje. Můžete také zjistit, že model, který se ve skutečnosti jeví jako úspěšný, je bezvýznamný, protože je založený na křížových korelacích v datech.

Nástroje pro testování a ověřování modelů dolování

SQL Server Analysis Services podporuje více přístupů k ověřování řešení pro dolování dat a podporuje všechny fáze metodologie testů dolování dat.

• Rozdělení dat do testovacích a trénovacích sad

• Filtrování modelů pro trénování a testování různých kombinací stejných zdrojových dat

• Měření liftu a zisku. Lift chart je metoda vizualizace zlepšení, které získáte použitím modelu dolování dat ve srovnání s náhodným odhadem.

• Provádění křížového ověření datových sad

• Generování matic klasifikace Tyto grafy seřadí dobré a špatné odhady do tabulky, abyste mohli rychle a snadno posoudit, jak přesně model predikuje cílovou hodnotu.

• Vytváření bodových grafů pro vyhodnocení shody regresního vzorce

• Vytváření ziskových grafů , které přidružují finanční zisk nebo náklady k použití modelu dolování, abyste mohli posoudit hodnotu doporučení.

Tyto metriky nemají za cíl odpovědět na otázku, zda model dolování dat odpovídá na vaši obchodní otázku; Tyto metriky poskytují objektivní měření, která můžete použít k posouzení spolehlivosti dat pro prediktivní analýzu a k řízení rozhodování o tom, zda použít konkrétní iteraci procesu vývoje.

Témata v této části poskytují přehled jednotlivých metod a provedou vás procesem měření přesnosti modelů, které vytváříte pomocí dolování dat SQL Serveru.

Související témata

Témata	Links
Zjistěte, jak nastavit testovací sadu dat pomocí průvodce nebo příkazů DMX.	Trénování a testování datových sad
Zjistěte, jak otestovat rozdělení a reprezentativnost dat ve struktuře dolování.	Křížová validace (Analysis Services – Dolování dat)
Seznamte se s typy grafů přesnosti, které jsou k dispozici.	Lift Chart (Analysis Services – Dolování dat) Profit Chart (Analysis Services – Dolování dat) Bodový graf (Služby analýzy – dolování dat)
Zjistěte, jak vytvořit klasifikační matici, někdy označovanou jako konfuzní matice, pro vyhodnocení počtu pravdivých a falešně pozitivních a negativních výsledků.	Klasifikační matice (Analysis Services – Dolování dat)

Viz také

Nástroje pro dolování dat
Řešení pro dolování dat
Úlohy testování a ověřování a postupy (dolování dat)