Koncepty dolování dat

Platí pro: SQL Server 2019 a starší služby Analysis Services Azure Analysis Services Fabric/ Power BI Premium

Důležité

Dolování dat bylo v SQL Serveru 2017 Analysis Services zastaralé a nyní ukončeno ve službě SQL Server 2022 Analysis Services. Dokumentace se neaktualizuje pro zastaralé a ukončené funkce. Další informace najdete v tématu Zpětná kompatibilita služby Analysis Services.

Dolování dat je proces zjišťování použitelných informací z velkých sad dat. Dolování dat používá matematickou analýzu k odvození vzorů a trendů, které existují v datech. Tyto vzory obvykle nelze zjistit pomocí tradičního zkoumání dat, protože relace jsou příliš složité nebo protože existuje příliš mnoho dat.

Tyto vzory a trendy lze shromažďovat a definovat jako model dolování dat. Modely dolování lze použít pro konkrétní scénáře, například:

• Prognózování: Odhad prodeje, předpověď zatížení serveru nebo výpadku serveru

• Riziko a pravděpodobnost: Výběr nejlepších zákazníků pro cílené zásilky, určení pravděpodobného bodu zvratu pro rizikové scénáře, přiřazení pravděpodobností k diagnózám nebo jiným výsledkům

• Doporučení: Určení, které produkty se budou pravděpodobně prodat společně, a generování doporučení

• Hledání sekvencí: Analýza výběrů zákazníků v nákupním košíku, předpověď dalších pravděpodobných událostí

• Seskupení: Oddělení zákazníků nebo událostí do clusteru souvisejících položek, analýza a predikce spřažení

Vytvoření modelu dolování je součástí většího procesu, který zahrnuje vše od kladení otázek na data a vytvoření modelu pro zodpovězení těchto otázek, nasazení modelu do pracovního prostředí. Tento proces lze definovat pomocí následujících šesti základních kroků:

1. Definování problému

2. Příprava dat

3. Zkoumání dat

4. Vytváření modelů

5. Zkoumání a ověřování modelů

6. Nasazení a aktualizace modelů

Následující diagram popisuje vztahy mezi jednotlivými kroky procesu a technologiemi microsoft SQL Serveru, které můžete použít k dokončení jednotlivých kroků.

Proces znázorněný v diagramu je cyklický, což znamená, že vytvoření modelu dolování dat je dynamický a iterativní proces. Po prozkoumání dat můžete zjistit, že data nejsou dostatečná k vytvoření vhodných modelů dolování, a proto musíte vyhledat další data. Případně můžete vytvořit několik modelů a pak si uvědomit, že modely neodpovídají odpovídajícím způsobem na problém, který jste definovali, a proto musíte problém předefinovat. Po nasazení modelů možná budete muset aktualizovat, protože jsou k dispozici další data. Každý krok v procesu může být potřeba opakovat mnohokrát, aby bylo možné vytvořit dobrý model.

Microsoft SQL Server Data Mining poskytuje integrované prostředí pro vytváření a práci s modely dolování dat. Toto prostředí zahrnuje SQL Server Development Studio, které obsahuje algoritmy pro dolování dat a nástroje pro dotazy, které usnadňují vytváření komplexního řešení pro různé projekty a SQL Server Management Studio, které obsahuje nástroje pro procházení modelů a správu objektů dolování dat. Další informace najdete v tématu Vytváření multidimenzionálních modelů pomocí nástrojů SQL Server Data Tools (SSDT).

Příklad použití nástrojů SQL Serveru pro obchodní scénář najdete v kurzu Základní dolování dat.

Definování problému

Prvním krokem v procesu dolování dat, jak je zvýrazněno v následujícím diagramu, je jasně definovat problém a zvážit způsoby, jak lze data využít k poskytnutí odpovědi na problém.

Tento krok zahrnuje analýzu obchodních požadavků, definování rozsahu problému, definování metrik, podle kterých se model vyhodnotí, a definování konkrétních cílů pro projekt dolování dat. Tyto úlohy se překládají na otázky, jako jsou následující:

• Co hledáte? Jaké typy relací se pokoušíte najít?

• Odráží problém, který se pokoušíte vyřešit, zásady nebo procesy firmy?

• Chcete vytvořit předpovědi z modelu dolování dat, nebo jen hledat zajímavé vzory a asociace?

• Jaký výsledek nebo atribut chcete zkusit předpovědět?

• Jaký druh dat máte a jaký druh informací jsou v každém sloupci? Pokud existuje více tabulek, jak souvisí tabulky? Potřebujete provést nějaké čištění, agregaci nebo zpracování, aby byla data použitelná?

• Jak se data distribuují? Jsou data sezónní? Představují data přesně procesy firmy?

Abyste mohli na tyto otázky odpovědět, možná budete muset provést studii dostupnosti dat, abyste prozkoumali potřeby podnikových uživatelů s ohledem na dostupná data. Pokud data nepodporují potřeby uživatelů, budete možná muset projekt předefinovat.

Musíte také zvážit způsoby, kterými lze výsledky modelu začlenit do klíčových ukazatelů výkonu (KPI), které se používají k měření obchodního pokroku.

Příprava dat

Druhým krokem v procesu dolování dat, jak je zvýrazněno v následujícím diagramu, je konsolidovat a vyčistit data, která byla identifikována v kroku Definování problému .

Data můžou být rozptýlená v rámci společnosti a uložená v různých formátech nebo můžou obsahovat nekonzistence, jako jsou nesprávné nebo chybějící položky. Data můžou například ukázat, že zákazník koupil produkt před tím, než byl produkt nabízen na trhu, nebo že zákazník pravidelně nakupuje v obchodě, který se nachází 2 000 mil od svého domova.

Čištění dat není jen o odebrání chybných dat nebo interpolaci chybějících hodnot, ale o hledání skrytých korelací v datech, identifikaci zdrojů dat, které jsou nejpřesnější, a určení sloupců, které jsou nejvhodnější pro použití v analýze. Měli byste například použít datum expedice nebo datum objednávky? Je nejlepším prodejním faktorem množství, celkové ceny nebo snížená cena? Neúplná data, nesprávná data a vstupy, které se zobrazují odděleně, ale ve skutečnosti jsou silně korelovány, můžou ovlivnit výsledky modelu způsobem, který neočekáváte.

Proto než začnete vytvářet modely dolování, měli byste tyto problémy identifikovat a určit, jak je budete opravovat. Pro dolování dat obvykle pracujete s velmi velkou datovou sadou a nemůžete prozkoumat každou transakci pro kvalitu dat; Proto možná budete muset použít nějakou formu profilace dat a automatizovaných nástrojů pro čištění a filtrování dat, jako jsou nástroje pro čištění a filtrování dat poskytované v integračních službách, Microsoft SQL Server 2012 Master Data Services nebo SQL Server Data Quality Services k prozkoumání dat a vyhledání nekonzistence. Další informace najdete v těchto zdrojích:

• Integrační služby v nástroji Business Intelligence Development Studio

• Přehled služby Master Data Services (MDS)

• Služby pro kvalitu dat

Je důležité si uvědomit, že data, která používáte pro dolování dat, nemusí být uložená v datové krychli OLAP (Online Analytical Processing) ani v relační databázi, i když je můžete použít jako zdroje dat. Dolování dat můžete provést pomocí libovolného zdroje dat, která byla definována jako zdroj dat služby SQL Server Analysis Services. Můžou obsahovat textové soubory, excelové sešity nebo data od jiných externích poskytovatelů. Další informace najdete v tématu Podporované zdroje dat (SSAS – Multidimenzionální).

Zkoumání dat

Třetím krokem v procesu dolování dat, jak je zvýrazněno v následujícím diagramu, je prozkoumat připravená data.

Abyste mohli při vytváření modelů dolování provádět příslušná rozhodnutí, musíte porozumět datům. Techniky průzkumu zahrnují výpočet minimálních a maximálních hodnot, výpočet střední a směrodatné odchylky a zkoumání rozdělení dat. Můžete například určit kontrolou maximální, minimální a střední hodnoty, že data nejsou reprezentativní pro vaše zákazníky nebo obchodní procesy, a proto musíte získat vyváženější data nebo zkontrolovat předpoklady, které jsou základem vašich očekávání. Směrodatné odchylky a další distribuční hodnoty mohou poskytovat užitečné informace o stabilitě a přesnosti výsledků. Velká směrodatná odchylka může znamenat, že přidání dalších dat vám může pomoct vylepšit model. Data, která se silně odchylují od standardní distribuce, můžou být nerovnoměrná nebo představují přesný obrázek problému v reálném životě, ale ztěžují přizpůsobení modelu datům.

Když prozkoumáte data s ohledem na vlastní pochopení obchodního problému, můžete se rozhodnout, jestli datová sada obsahuje chybná data, a pak můžete navrhnout strategii pro řešení problémů nebo získat hlubší přehled o chování, která jsou typická pro vaši firmu.

Nástroje, jako je Master Data Services, můžete použít ke zkoumání dostupných zdrojů dat a určení jejich využitelnosti pro dolování dat. Pomocí nástrojů, jako je SQL Server Data Quality Services nebo Data Profiler v integračních službách, můžete analyzovat distribuci dat a opravit problémy, jako jsou nesprávná nebo chybějící data.

Po definování zdrojů je zkombinujete v zobrazení zdroje dat pomocí Návrháře zobrazení zdroje dat v nástrojích SQL Server Data Tools. Další informace najdete v tématu Zobrazení zdrojů dat v multidimenzionálních modelech. Tento návrhář obsahuje také několik nástrojů, které můžete použít k prozkoumání dat a ověření, že bude fungovat při vytváření modelu. Další informace najdete v tématu Prozkoumání dat v zobrazení zdroje dat (Analysis Services).

Všimněte si, že při vytváření modelu služba SQL Server Analysis Services automaticky vytvoří statistické souhrny dat obsažených v modelu, které můžete dotazovat na použití v sestavách nebo další analýze. Další informace naleznete v tématu Dotazy dolování dat.

Vytváření modelů

Čtvrtým krokem v procesu dolování dat, jak je zvýrazněno v následujícím diagramu, je sestavení modelu nebo modelů dolování. K definování a vytváření modelů použijete znalosti, které jste získali v kroku Zkoumání dat .

Definujete sloupce dat, které chcete použít, vytvořením dolovací struktury. Struktura dolování je propojena se zdrojem dat, ale ve skutečnosti neobsahuje žádná data, dokud je nezpracujete. Při zpracování struktury dolování sql Server Analysis Services generuje agregace a další statistické informace, které lze použít k analýze. Tyto informace mohou používat jakýkoli model dolování, který je založen na struktuře. Další informace o tom, jak struktury pro dolování dat souvisí s modely dolování, naleznete v tématu Logická architektura (Analysis Services - Data Mining).

Před zpracováním struktury a modelu je také model dolování dat pouze kontejner, který určuje sloupce používané pro vstup, atribut, který předpovídáte, a parametry, které algoritmus říkají, jak zpracovávat data. Zpracování modelu se často nazývá trénování. Trénování odkazuje na proces použití konkrétního matematického algoritmu na data ve struktuře za účelem extrakce vzorů. Vzory, které v procesu trénování najdete, závisí na výběru trénovacích dat, algoritmu, který jste zvolili, a na tom, jak jste algoritmus nakonfigurovali. SQL Server 2017 obsahuje mnoho různých algoritmů, z nichž každý je vhodný pro jiný typ úlohy a každý vytváří jiný typ modelu. Seznam algoritmů poskytovaných v SQL Serveru 2017 najdete v tématu Algoritmy dolování dat (Analysis Services – Dolování dat).

Můžete také použít parametry k úpravě jednotlivých algoritmů a použít filtry na trénovací data tak, aby používaly jenom podmnožinu dat a vytvořily různé výsledky. Po předání dat modelem obsahuje objekt modelu dolování souhrny a vzory, které lze dotazovat nebo použít k predikci.

Nový model můžete definovat pomocí Průvodce dolováním dat v SQL Server Data Tools nebo pomocí jazyka DMX (Data Mining Extensions). Další informace o použití Průvodce dolováním dat naleznete v tématu Průvodce dolováním dat (Analysis Services - Data Mining). Další informace o tom, jak používat DMX, naleznete v tématu Data Mining Extensions (DMX) Referenční informace.

Je důležité si uvědomit, že kdykoli se data změní, musíte aktualizovat jak důlní strukturu, tak i model dolování. Když aktualizujete strukturu dolování opětovným zpracováním, služba SQL Server Analysis Services načte data ze zdroje, včetně všech nových dat, pokud je zdroj dynamicky aktualizován, a znovu naplní strukturu dolování. Pokud máte modely založené na struktuře, můžete zvolit aktualizaci modelů založených na struktuře, což znamená, že se znovu natrénují na nových datech, nebo můžete modely ponechat tak, jak jsou. Další informace najdete v tématu Požadavky na zpracování a důležité informace (dolování dat).

Zkoumání a ověřování modelů

Pátým krokem v procesu dolování dat, jak je zvýrazněno v následujícím diagramu, je prozkoumat modely dolování, které jste vytvořili a otestovali jejich efektivitu.

Před nasazením modelu do produkčního prostředí budete chtít otestovat, jak dobře model funguje. Při sestavování modelu také obvykle vytváříte více modelů s různými konfiguracemi a testujete všechny modely, abyste zjistili, které výsledky jsou pro váš problém a vaše data nejlepší.

SQL Server Analysis Services poskytuje nástroje, které vám pomůžou oddělit data do trénovacích a testovacích datových sad, abyste mohli přesně posoudit výkon všech modelů na stejných datech. Trénovací datovou sadu použijete k sestavení modelu a testovací datové sady k otestování přesnosti modelu vytvořením prediktivních dotazů. Toto dělení lze provést automaticky při vytváření modelu dolování. Další informace naleznete v tématu Testování a ověřování (dolování dat).

Trendy a vzory, které algoritmy objevují, můžete prozkoumat pomocí prohlížečů v Návrháři dolování dat v nástrojích SQL Server Data Tools. Další informace naleznete v tématu Prohlížeče modelů dolování dat. Můžete také otestovat, jak dobře modely vytvářejí předpovědi pomocí nástrojů v návrháři, jako je například matice výtahu a klasifikace. Pokud chcete ověřit, jestli je model specifický pro vaše data, nebo se může použít k odvozování v obecné populaci, můžete pomocí statistické techniky označované jako křížové ověřování automaticky vytvořit podmnožinu dat a otestovat model proti každé podmnožině. Další informace naleznete v tématu Testování a ověřování (dolování dat).

Pokud žádný z modelů, které jste vytvořili v kroku Budování modelů, nefunguje dobře, možná se budete muset vrátit k předchozímu kroku procesu a předefinovat problém nebo znovu prozkoumat data v původní datové sadě.

Nasazení a aktualizace modelů

Posledním krokem v procesu dolování dat, jak je zvýrazněno v následujícím diagramu, je nasazení modelů, které prováděly to nejlepší v produkčním prostředí.

Jakmile modely dolování existují v produkčním prostředí, můžete v závislosti na vašich potřebách provádět mnoho úloh. Tady jsou některé úlohy, které můžete provést:

• Pomocí modelů můžete vytvářet předpovědi, které pak můžete použít k obchodním rozhodnutím. SQL Server poskytuje jazyk DMX, který můžete použít k vytváření prediktivních dotazů a Tvůrce prediktivních dotazů, které vám pomůžou sestavovat dotazy. Další informace naleznete v tématu Data Mining Extensions (DMX) Reference.

• Vytvářejte dotazy na obsah pro načtení statistik, pravidel nebo vzorců z modelu. Další informace naleznete v tématu Dotazy dolování dat.

• Vložení funkcí dolování dat přímo do aplikace Můžete zahrnout objekty AMO (Analysis Management Objects), které obsahují sadu objektů, které vaše aplikace může použít k vytváření, změnám, zpracování a odstraňování dolování struktur a modelů dolování. Případně můžete odesílat zprávy XML pro analýzu (XMLA) přímo do instance služby SQL Server Analysis Services. Další informace naleznete v tématu Vývoj (Analysis Services - Data Mining).

• Pomocí integračních služeb vytvořte balíček, ve kterém se model dolování používá k inteligentnímu oddělení příchozích dat do více tabulek. Pokud se například databáze průběžně aktualizuje s potenciálními zákazníky, můžete použít model dolování společně s integračními službami k rozdělení příchozích dat na zákazníky, kteří si pravděpodobně koupí produkt a zákazníky, kteří si produkt pravděpodobně nenakoupí. Další informace najdete v tématu Typické použití integračních služeb.

• Vytvořte sestavu, která uživatelům umožňuje přímé dotazování na existující model dolování. Další informace naleznete v tématu Reporting Services v SQL Server Data Tools (SSDT).

• Po kontrole a analýze aktualizujte modely. Každá aktualizace vyžaduje, abyste modely znovu zpracováli. Další informace naleznete v tématu Zpracování objektů dolování dat.

• Dynamicky aktualizujte modely, jakmile do organizace přicházejí další data, a provádějte neustálé změny, čímž zlepšíte efektivitu řešení; toto by mělo být součástí strategie nasazení. Další informace naleznete v tématu Správa řešení pro dolování dat a objektů

Viz také

Řešení pro dolování dat
Nástroje pro dolování dat