Použití inkrementálního obnovení s datovými toky

S toky dat můžete přenést velké objemy dat do Power BI nebo do poskytovaného úložiště vaší organizace. V některých případech ale není praktické aktualizovat úplnou kopii zdrojových dat v každé aktualizaci. Dobrou alternativou je přírůstková aktualizace, která poskytuje následující výhody pro toky dat:

• Aktualizace probíhá rychleji: Je potřeba aktualizovat pouze data, která se změnila. Například aktualizujte pouze posledních pět dnů toku dat 10 let.
• Aktualizace je spolehlivější: Například není nutné udržovat dlouhotrvající připojení k nestálým zdrojovým systémům.
• Snižuje se spotřeba prostředků: Méně dat pro aktualizaci snižuje celkovou spotřebu paměti a dalších prostředků.

Přírůstková aktualizace je dostupná v tocích dat vytvořených v Power BI a tocích dat vytvořených v Power Apps. Tento článek ukazuje obrazovky z Power BI, ale tyto pokyny platí pro toky dat vytvořené v Power BI nebo v Power Apps.

Poznámka:

Když se schéma tabulky v analytickém toku dat změní, provede se úplná aktualizace, aby se zajistilo, že všechna výsledná data odpovídají novému schématu. V důsledku toho se všechna data uložená přírůstkově aktualizují a v některých případech se ztratí, pokud zdrojový systém neuchovává historická data.

Použití přírůstkové aktualizace v tocích dat vytvořených v Power BI vyžaduje, aby se tok dat nachází v pracovním prostoru v kapacitě Premium. Přírůstková aktualizace v Power Apps vyžaduje plány Power Apps pro každou aplikaci nebo uživatele a je dostupná pouze pro toky dat s Azure Data Lake Storage jako destinací.

V Power BI nebo Power Apps vyžaduje použití přírůstkové aktualizace, aby zdrojová data přijatá do toku dat měla pole DateTime, na kterém může přírůstková aktualizace filtrovat.

Konfigurace přírůstkové aktualizace pro toky dat

Tok dat může obsahovat mnoho tabulek. Přírůstková aktualizace je nastavená na úrovni tabulky, což umožňuje jednomu toku dat uchovávat plně aktualizované tabulky i přírůstkové aktualizace tabulek.

Pokud chcete nastavit přírůstkovou aktualizaci tabulky, začněte tím, že tabulku nakonfigurujete stejně jako jakoukoli jinou tabulku.

Po vytvoření a uložení toku dat vyberte v zobrazení tabulky přírůstkovou aktualizaci , jak je znázorněno na následujícím obrázku.

Vyberete-li ikonu, zobrazí se okno Nastavení přírůstkové aktualizace. Zapněte přírůstkovou aktualizaci.

Následující seznam vysvětluje nastavení v okně Nastavení přírůstkové aktualizace .

• Přepínač zapnutí/vypnutí přírůstkové aktualizace: Zapne nebo vypne zásadu přírůstkové aktualizace pro tabulku.

• Rozevírací seznam pole filtru: Vyberte pole dotazu, podle něhož by měla být tabulka filtrována pro přírůstky. Toto pole obsahuje pouze pole DateTime. Přírůstkovou aktualizaci nemůžete použít, pokud tabulka neobsahuje pole DateTime.

  Důležité

  Zvolte neměnné pole data pro filtr přírůstkové aktualizace. Pokud se hodnota pole změní (například s polem změněným datem ), může tato změna vést k selhání aktualizace kvůli duplicitním hodnotám v datech.

• Uložit nebo aktualizovat řádky z minulosti: Příklad na předchozím obrázku znázorňuje následující několik dalších nastavení.

  V tomto příkladu definujeme zásadu aktualizace, která ukládá pět let dat celkem a přírůstkově aktualizuje data po dobu 10 dnů. Za předpokladu, že se tabulka aktualizuje každý den, pro každou operaci aktualizace se provádějí následující akce:

  • Přidejte nový den dat.

  • Aktualizujte 10 dní až do aktuálního data.

  • Odeberte kalendářní roky starší než pět let před aktuálním datem. Pokud je například aktuální datum 1. ledna 2019, odebere se rok 2013.

  První aktualizace toku dat může chvíli trvat, než se importuje všech pět let, ale následné aktualizace se pravděpodobně dokončí mnohem rychleji.

• Detekce změn dat: Přírůstková aktualizace 10 dnů je mnohem efektivnější než úplná aktualizace pěti let, ale možná budete moct udělat ještě lépe. Když zaškrtnete políčko Zjistit změny dat , můžete vybrat sloupec datum a čas a identifikovat a aktualizovat pouze dny, ve kterých se data změnila. Předpokládá se, že takový sloupec existuje ve zdrojovém systému, což je obvykle pro účely auditování. Maximální hodnota tohoto sloupce se vyhodnotí pro každé období v přírůstkovém rozsahu. Pokud se tato data od poslední aktualizace nezměnila, není potřeba období aktualizovat. V tomto příkladu to může dále snížit počet dnů přírůstkových aktualizací z 10 na 2.

  Návod

  Aktuální návrh vyžaduje, aby sloupec použitý k detekci změn dat byl uložen a uložen v mezipaměti. Možná budete chtít zvážit jednu z následujících technik pro snížení kardinality a spotřeby paměti:

  • Zachovat pouze maximální hodnotu tohoto sloupce v době aktualizace, třeba pomocí funkce Power Query.
  • Snižte přesnost na úroveň, která je přijatelná vzhledem k vašim požadavkům na frekvenci aktualizace.

• Pouze úplná období aktualizace: Představte si, že je naplánované spuštění aktualizace každý den v 4:00. Pokud se data objeví ve zdrojovém systému během prvních čtyř hodin dne, možná je nebudete chtít zohlednit. Některé obchodní metriky, jako jsou barelů za den v ropném a plynárenském průmyslu, nejsou praktické ani rozumné zohlednit na základě částečných dnů.

  Dalším příkladem, kdy je vhodné aktualizovat pouze úplná období, je aktualizace dat z finančního systému. Představte si finanční systém, ve kterém jsou data za předchozí měsíc schválena 12. kalendářním dnem v měsíci. Přírůstkový rozsah můžete nastavit na jeden měsíc a naplánovat spuštění aktualizace na 12. den v měsíci. Pokud je tato možnost vybraná, systém aktualizuje lednová data (poslední dokončené měsíční období) 12. února.

Poznámka:

Přírůstková aktualizace toku dat určuje data podle následující logiky: pokud je naplánovaná aktualizace, přírůstková aktualizace toků dat používá časové pásmo definované v zásadách aktualizace. Pokud neexistuje žádný plán aktualizace, přírůstková aktualizace používá čas z počítače, na kterém je aktualizace spuštěna.

Po nakonfigurování přírůstkové aktualizace tok dat automaticky změní váš dotaz tak, aby zahrnoval filtrování podle data. Pokud byl tok dat vytvořený v Power BI, můžete automaticky vygenerovaný dotaz upravit také pomocí rozšířeného editoru v Power Query a doladit nebo přizpůsobit aktualizaci. Další informace o přírůstkové aktualizaci a o tom, jak funguje, najdete v následujících částech.

Poznámka:

Když tok dat upravíte, editor Power Query se připojí ke zdroji dat přímo a po zpracování zásad přírůstkové aktualizace nezobrazí data uložená v mezipaměti ani filtrovaná data v toku dat. Pokud chcete zkontrolovat data uložená v mezipaměti toku dat, připojte se z Power BI Desktopu k toku dat po konfiguraci zásad přírůstkové aktualizace a aktualizaci toku dat.

Přírůstková aktualizace a propojené tabulky vs. počítané tabulky

U propojených tabulek přírůstková aktualizace aktualizuje zdrojovou tabulku. Vzhledem k tomu, že propojené tabulky jsou jednoduše ukazatelem na původní tabulku, přírůstková aktualizace nemá na propojenou tabulku žádný vliv. Při aktualizaci zdrojové tabulky podle definovaných zásad aktualizace by každá propojená tabulka měla předpokládat, že se data ve zdroji aktualizují.

Počítané tabulky jsou založené na dotazech spuštěných v úložišti dat, což může být jiný tok dat. Počítané tabulky se chovají stejně jako propojené tabulky.

Vzhledem k tomu, že se počítané tabulky a propojené tabulky chovají podobně, požadavky a kroky konfigurace jsou pro oba stejné. Jedním z rozdílů je, že u počítaných tabulek v určitých konfiguracích nemůže přírůstková aktualizace fungovat optimalizovaným způsobem, kvůli způsobu, jakým jsou vytvářeny partice.

Změna mezi přírůstkovou a úplnou aktualizací

Toky dat podporují změnu zásad aktualizace mezi přírůstkovou a úplnou aktualizací. Pokud dojde ke změně v libovolném směru (z plného na přírůstkové nebo z přírůstkového na plné), změna ovlivní datový tok po příští aktualizaci.

Když přesunete tok dat z úplné aktualizace na přírůstkový, nová logika aktualizace aktualizuje tok dat tím, že se připojí k okně aktualizace a zvýší se podle definice v nastavení přírůstkové aktualizace.

Když přesunete tok dat z přírůstkové na úplnou aktualizaci, všechna data shromážděná v přírůstkové aktualizaci přepíší zásadu definovanou v úplné aktualizaci. Tuto akci musíte schválit.

Podpora časového pásma v přírůstkové aktualizaci

Přírůstková aktualizace toku dat závisí na čase, kdy se spustí. Filtrování dotazu závisí na dni, kdy se spustí.

Aby bylo možné tyto závislosti přizpůsobit a zajistit konzistenci dat, přírůstková aktualizace toků dat nyní implementuje následující heuristiku pro scénáře 'teď aktualizovat':

• V případě, že je v systému definovaná plánovaná aktualizace, používá přírůstková aktualizace nastavení časového pásma z oddílu plánované aktualizace. Tento proces zajišťuje, že jakékoli časové pásmo, ve které uživatel aktualizuje tok dat, je vždy konzistentní s definicí systému.

• Pokud není definovaná žádná plánovaná aktualizace, toky dat používají časové pásmo z počítače uživatele, který aktualizaci provádí.

Přírůstkovou aktualizaci je možné vyvolat také pomocí rozhraní API. V tomto případě může volání rozhraní API obsahovat nastavení časového pásma, které se používá v aktualizaci. Použití rozhraní API může být užitečné pro účely testování a ověřování.

Podrobnosti implementace přírůstkové aktualizace

Toky dat používají dělení pro přírůstkovou aktualizaci. Přírůstková aktualizace v tocích dat uchovává minimální počet oddílů, aby splňoval požadavky zásad aktualizace. Staré partice, které se dostanou mimo rozsah, se zahodí, což udržuje posuvné okno. Oddíly se oportunisticky sloučí a snižují celkový počet požadovaných oddílů. Tento minimální počet oddílů zlepšuje kompresi a v některých případech rovněž může zlepšit výkon při provádění dotazů.

Příklady v této části sdílejí následující zásady aktualizace:

• Uložení řádků za posledních 1 čtvrtletí
• Aktualizace řádků za posledních 10 dnů
• Detekce změn dat = Ne
• Pouze aktualizace dokončených dnů = Ano

Sloučení oddílů

V tomto příkladu se partice dnů automaticky sloučí na úrovni měsíce poté, co překročí přírůstkový rozsah. Oddíly v přírůstkovém rozsahu je potřeba udržovat v denní členitosti, aby bylo možné aktualizovat pouze tyto dny. Operace aktualizace s datem spuštění 12. 11. 2016 slučuje dny v listopadu, protože spadají mimo přírůstkový rozsah.

Odstraňte staré oddíly

Staré oddíly, které spadají mimo celkový rozsah, se odeberou. Operace aktualizace s datem spuštění 1. 2. 2017 zahodí oddíl pro 3. čtvrtletí 2016, protože spadá mimo celkový rozsah.

Obnovení z dlouhodobého selhání

Tento příklad simuluje, jak se systém elegantně obnoví z dlouhodobého selhání. Řekněme, že aktualizace se nespustí úspěšně, protože vypršela platnost přihlašovacích údajů ke zdroji dat a vyřešení problému trvá 13 dnů. Přírůstkový rozsah je pouze 10 dnů.

Další úspěšná operace aktualizace s datem spuštění 15. 1. 2017 musí doplnit chybějících 13 dnů a aktualizovat je. Je také potřeba aktualizovat předchozí devítí dní, protože nebyly aktualizovány podle běžného plánu. Jinými slovy, přírůstkový rozsah se zvyšuje z 10 na 22 dnů.

Další operace aktualizace s datem spuštění 16. 16. 2017 umožňuje sloučit dny v prosinci a měsíce ve 4. čtvrtletí 2016.

Přírůstková aktualizace toku dat a sady dat

Přírůstková aktualizace toku dat a přírůstková aktualizace sady dat jsou navržené tak, aby fungovaly společně. Je přijatelné a podporované mít přírůstkově aktualizovanou tabulku v toku dat, která je plně načtena do datové sady, nebo plně načtenou tabulku v toku dat, která je přírůstkově načtena do datové sady.

Oba přístupy fungují podle zadaných definic v nastavení aktualizace. Další informace: Přírůstková aktualizace v Power BI Premium

Související obsah

Tento článek popisuje inkrementální aktualizaci datových toků. Tady je několik dalších článků, které můžou být užitečné:

• Samoobslužné přípravy dat v Power BI
• Vytváření počítaných tabulek v tocích dat
• Připojení ke zdrojům dat pro toky dat
• Propojení tabulek mezi toky dat
• Vytváření a používání toků dat v Power BI
• Použití toků dat s místními zdroji dat
• Materiály pro vývojáře pro toky dat Power BI

Další informace o Power Query a plánované aktualizaci najdete v těchto článcích:

• Přehled dotazů v Power BI Desktop
• Konfigurace plánované aktualizace

Další informace o modelu Common Data Model najdete v článku s přehledem:

• Common Data Model – přehled