Materializace datových sad v AI/BI dashboardech

Important

Tato funkce je v beta verzi. Chcete-li tuto funkci používat, musí správce pracovního prostoru na stránce Náhledy zapnout možnost AI/BI Dashboard Materialization. Viz Manage Azure Databricks preview.

AI/BI dashboardy vycházejí z datových sad omezených na úroveň dashboardu. Ve výchozím nastavení je každý datový soubor vyhodnocován živě, takže pokaždé, když se načte dashboard nebo s ním uživatel interaguje, základní dotazy, spoje a skenování zdrojového kódu se znovu spustí ve vašem SQL skladu. U dashboardů založených na drahých zdrojových dotazech nebo mnoha spojích je opakované spouštění těchto dotazů při každé interakci pomalé a nákladné.

Materializace datových sad předem vypočítá a uloží výsledky, na nichž je datová sada založena, takže náročné zpracování proběhne jednou podle plánu, namísto aby se provádělo při každém načtení řídicího panelu nebo interakci s ním. Interakce se pak vykreslují z uložených výsledků, což zrychluje publikované dashboardy.

Materializace využívá technologii materializace metrických zobrazení Unity Catalog. Viz Materializace zobrazení metrik.

Co se zhmotní

Materializace předpočítává a ukládá data datové sady. To, co se ukládá, se liší mezi těmito dvěma typy datových sad:

• U SQL datových sad je celý výsledek dotazu předem vypočítán a uložen.
• Pro lokální metrické pohledy je uložen datový model na úrovni řádků (zdrojová data, spoje a filtrační pole), zatímco měření se stále vypočítávají v době dotazu proti předem vypočítané základně.

Benefits

Materializace datových sad přináší následující výhody:

• Rychlejší řídicí panely bez nutnosti přepracování modelu. Náročná spojení a prohledávání zdrojů se podle plánu spouštějí pouze jednou, nikoli při každém načtení, takže uživatelé nemusí čekat, když řídicí panel znovu odesílá dotazy na velké tabulky.
• Nižší náklady na datový sklad pro operace čtení. Předpočítání základního datového modelu zabraňuje opakování stejného těžkého dotazu pro každého návštěvníka a každé načítání stránky, což snižuje nadbytečné využití skladu.
• Žádné provozní náklady. Azure Databricks pro vás vytváří, ukládá a obnovuje materializovaná data. Není třeba spravovat žádné datové kanály, schéma ani úložiště.

Costs

Materializace datových sad nese náklady na ukládání a výpočetní výkony:

• Skladování. Platíte za uložení materializovaných dat. Poplatky závisí na použitém úložišti. Přehled úložiště v Unity Catalog naleznete v článku Připojit se ke cloudovému objektovému úložišti pomocí Unity Catalog.
• Vypočítat Počáteční vytvoření a aktualizace probíhají na bezserverových kanálech Lakeflow a jsou při nich účtovány poplatky za výpočetní prostředky. Viz ceny potrubí Lakeflow.

Zvažte tyto náklady oproti úsporám způsobenými vyhýbáním se opakovaným skenováním a spojováním zdrojů. Vyberte plán obnovování, který vyvažuje čerstvost dat s výpočetními náklady.

Kdy použít materializaci

Materializace není vždy správným nástrojem pro výkon. Výhodou je nahrazení opakovaného, úplného přepočítání datové sady (skenování a spojování) čteními proti předem vypočítané tabulce. Materializujte datovou sadu, pokud platí jedna nebo více z následujících podmínek:

• Silně interaktivní dashboardy. Řídicí panel má mnoho filtrů, podporuje křížové filtrování a přechody do detailu. Bez materializace každá interakce znovu spustí dotaz datové sady, takže předvýpočet těchto datových sad se opakovaně vyplácí během jedné relace.
• Drahé datové sady. Datová sada je založena na spojeních více tabulek, komplexních pohledech nebo společných tabulkových výrazech (CTE), okenních funkcích nebo sjednoceních napříč mnoha tabulkami.
• Selektivní filtry na velkých tabulkách. Datová sada vybírá malou podmnožinu, například jednu oblast nebo posledních 7 dní z miliard řádků. Materializace uchovává pouze malou podmnožinu.
• Tolerance k plánované čerstvosti. Data musí být pouze tak čerstvá, jak je obnovovací plán dashboardu, například hodinově nebo denně, nikoli v reálném čase.

U malých datových sad nebo dashboardů, které se načítají jen zřídka, je živý dotaz často dostatečně rychlý a materializace nemusí stát za tu cenu. Protože materializace je dobrovolná pro každé publikování a na datovou sadu, můžete ji aplikovat jen tam, kde se to vyplatí.

Požadavky

• Přístup k řídicímu panelu AI/BI
• Dashboard je publikován s možností Sdílet oprávnění dat . Materializace není podporována u dashboardů publikovaných s individuálními oprávněními k datům. Podívejte se na Co jsou sdílená oprávnění k datům?.
• Ve pracovním prostoru jsou povolené serverless výpočetní prostředky. Počáteční vytvoření a aktualizace probíhají v bezserverových kanálech Lakeflow. Viz Nastavení bezserverových skladů SQL.
• MŮŽETE POUŽÍT oprávnění na SQL skladu běžícím na Databricks Runtime 17.3 a vyšším.

Povolení materializace datové sady

Datové sady jsou ve výchozím nastavení vybírány pro materializaci, ale materializace je na dashboardu vypnutá, dokud při publikování nezapnete možnost Materializovat datové sady .

Vyberte, které datové sady zmaterializovat

Na záložce Data klikněte na ikonu materializace vedle datové sady, abyste ji zahrnuli nebo vyloučili.

Když vyloučíte datovou sadu z materializace, dotazy na tuto sadu vrátí živé výsledky, zatímco dotazy na materializované soubory odrážejí poslední běh materializace. Když všechny datové sady používají stejný harmonogram materializace, widgety mají konzistentní svěžest dat.

Publikujte s materializací

1. Klikněte na Publikovat v návrhu dashboardu.
2. Vyberte Sdílení oprávnění k datům v dialogu publikace.
3. Zapněte možnost Materializovat datové sady , abyste materializovali vybrané datové sady na záložce Data .
4. Klikněte na Publikovat.

Zapněte možnost Materialize datasets při každém publikování.

Nastavte plán obnovy

Materializovaná data se aktualizují podle plánu aktualizace řídicího panelu. Použijte harmonogram na dashboardu k úpravě frekvence obnovování.

Pokud řídicí panel nemá žádný plán, publikování se zapnutou materializací přidá denní plán aktualizace. Stávající jízdní řády jsou zachovány. Bez aktivního harmonogramu se materializovaná data automaticky neobnovují po vytvoření.

Zobrazit stav materializace

V publikovaném dashboardu otevřete . menu a vyberte Info. Postranní panel zobrazuje stav a obnovovací informace každé materializované datové sady.

Opětovné použití a úklid

Azure Databricks spravuje životní cyklus vašich materializovaných dat:

• Opětovné použití mezi revizemi. Pokud je dashboard znovu publikován stejným uživatelem a datová sada zůstává nezměněna, stávající materializace bude znovu použita, čímž se předejde plýtvání výpočetním nákladem.
• Automatické čištění. Azure Databricks vyřazuje materializace, na které již publikovaný dashboard neodkazuje, například po změně definice nebo po odpublikování.

Opětovné zveřejnění nemusí nutně obnovit materializovaná data.

Omezení

Materializace datových sad má následující omezení:

• Pouze zveřejněné dashboardy. Materializace se vztahuje na publikované dashboardy. Návrhy nadále dotazují živá data.
• Žádné parametrizované datové sady. Datové sady definující parametry nelze materializovat. Pokud zvolíte materializaci parametrizované datové sady, Azure Databricks ji místo materializace označí jako neúspěšnou.
• Refresh se řídí pouze harmonogramem na dashboardu. Neexistuje samostatný plán obnovy pro každou datovou sadu. Materializace se obnovuje podle plánovaného intervalu obnovování vašeho řídicího panelu.
• Je vyžadováno bezserverové řešení. Počáteční vytvoření a aktualizace probíhají v bezserverových kanálech Lakeflow, proto musí mít pracovní prostor povolené bezserverové výpočty.
• Chráněná data nejsou poskytována materializací. Materializace nemůže být vytvořena pro zdrojová data chráněná bezpečností na úrovni řádku, maskami sloupců nebo politikami řízení přístupu založeným na atributech (ABAC). Pokud je po vytvoření materializace do zdrojové tabulky přidána bezpečnost na úrovni řádku, následné dotazy proti metrickému pohledu materializaci obcházejí a běží proti zdrojovým datům.
• Vyžaduje se povolení ke sdílení dat. Materializaci můžete povolit pouze při publikování s oprávněními sdílených dat. Nemůžete to povolit, když publikujete s individuálními oprávněními k datům.

Nejčastější dotazy

Následující otázky se týkají chování materializace datových sad, obnovování a oprávnění.

Mění materializace mé metriky nebo výsledky?

Materializace zachovává logiku dotazů datové sady, ale data odrážejí nejnovější úspěšnou obnovu. U místních zobrazení metrik se metriky počítají během dotazu na základě materializovaných dat. Uvidíme , co se zhmotní.

Co se stane, když materializace není připravena nebo není dostupná?

Pokud materializace není připravena nebo není dostupná v době dotazu, dotaz vrací chybu místo dotazu na živá data. Počkejte, až materializace skončí, a pak dotaz znovu spusťte.

Kde jsou uložena materializovaná data?

Azure Databricks ukládá materializovaná data do spravovaného, interního úložiště přizpůsobeného vašemu publikovanému dashboardu. Není nic, co byste mohli publikovat do Unity Catalog, a žádné schéma ani úložiště k řízení. Přístup se i nadále řídí oprávněními k vašemu dashboardu a k podkladovým datům.

Jak často se materializovaná data obnovují?

Materializovaná data se aktualizují podle plánu aktualizace řídicího panelu. Viz Nastavit plán obnovy.

Jaké výpočetní prostředky materializace využívá?

Počáteční vytvoření i aktualizace probíhají v bezserverových kanálech Lakeflow spravovaných službou Azure Databricks. Proto musí být v pracovním prostoru povoleno bezserverové výpočetní prostředí.

Ovlivňuje materializace oprávnění?

No. Materializace neposkytuje další přístup k datům. Access stále sleduje konfiguraci sdílení na dashboardu a oprávnění použitá k jeho publikování.

Co se stane, když znovu publikuji?

Existující materializace lze znovu použít, když tentýž uživatel znovu zveřejní nezměněnou datovou sadu. Viz Opětovné použití a úklid. Zapněte možnost Materialize datasets při každém publikování.

Dodatečné zdroje

• Materializace pro zobrazení metrik
• Optimalizace datových sad a cachování
• Modelování dat na řídicích panelech AI/BI