Použitie inkrementálneho obnovovania s dátovými tokami

Prepitné

Power BI Dataflow Gen1 je teraz v legacy stave a nedostane investície do nových funkcií. Ak konfigurujete inkrementálnu obnovu pre veľké datasety, zvážte Dataflow Gen2, ktorá podporuje zjednodušený proces inkrementálneho obnovovania s lepším výkonom a ďalšími dátovými destináciami. Ak sa chcete dozvedieť viac o aktualizácii existujúcich dátových tokov, pozrite si Upgrade z Dataflow Gen1 na Dataflow Gen2.

S dátovými tokovami môžete priniesť veľké množstvo dát do Power BI alebo do úložiska poskytovaného vašou organizáciou. V niektorých prípadoch však nie je praktické aktualizovať plnú kópiu zdrojových dát pri každom obnovení. Dobrou alternatívou je inkrementálna obnova, ktorá prináša nasledujúce výhody pre dátové toky:

• Obnova prebieha rýchlejšie: Obnoviť je potrebné len dáta, ktoré sa zmenili. Napríklad obnovujte len posledných päť dní 10-ročného dátového toku.
• Obnova je spoľahlivejšia: Napríklad nie je potrebné udržiavať dlhodobé pripojenia k nestabilným zdrojovým systémom.
• Znižuje sa spotreba zdrojov: Menej dát na obnovenie znižuje celkovú spotrebu pamäte a iných zdrojov.

Inkrementálna obnova je dostupná v dátových tokoch vytvorených v Power BI a v dátových tokoch vytvorených v Power Apps. Tento článok ukazuje obrazovky z Power BI, ale tieto inštrukcie sa vzťahujú aj na dátové toky vytvorené v Power BI alebo v Power Apps.

Poznámka

Keď sa schéma tabuľky v analytickom dátovom toku zmení, vykoná sa úplná obnova, aby sa zabezpečilo, že všetky výsledné dáta zodpovedajú novej schéme. V dôsledku toho sa akékoľvek dáta uložené inkrementálne obnovujú a v niektorých prípadoch, ak zdrojový systém neuchováva historické údaje, sa stratia.

Použitie inkrementálneho obnovovania dátových tokov vytvorených v Power BI vyžaduje, aby dátový tok prebiehal v pracovnom priestore v kapacite Premium. Inkrementálne obnovovanie v Power Apps vyžaduje plány Power Apps pre aplikáciu alebo používateľa a je dostupné len pre dátové toky s Azure Data Lake Storage ako cieľom.

V Power BI alebo Power Apps vyžaduje použitie inkrementálneho obnovovania, aby zdrojové dáta prijaté do dataflow mali pole DateTime, na ktorom môže inkrementálna obnova filtrovať.

Konfigurácia inkrementálneho obnovovania pre dátové toky

Dátový tok môže obsahovať mnoho tabuliek. Inkrementálna obnova sa nastavuje na úrovni tabuliek, čo umožňuje jednému dátovému toku uchovávať plne obnovené aj postupne obnovované tabuľky.

Ak chcete nastaviť postupne obnovovanú tabuľku, začnite tým, že ju nastavíte rovnako ako akúkoľvek inú tabuľku.

Po vytvorení a uložení dátového toku vyberte inkrementálne obnovenie v tabuľkovom zobrazení, ako je znázornené na nasledujúcom obrázku.

Keď vyberiete ikonu, zobrazí sa okno nastavení inkrementálneho obnovovania . Zapni inkrementálne obnovovanie.

Nasledujúci zoznam vysvetľuje nastavenia v okne nastavení inkrementálneho obnovovania .

• Prepínač postupného obnovovania/vypínania: Zapne alebo vypne politiku postupného obnovovania pre stôl.

• Rozbaľovacie menu filtračného poľa: Vyberá dotazovacie pole, podľa ktorého má byť tabuľka filtrovaná podľa prírastkov. Toto pole obsahuje iba polia Dátum a čas. Nemôžete použiť inkrementálne obnovovanie, ak vaša tabuľka neobsahuje pole DateTime.

  Dôležité

  Vyberte nemenné dátumové pole pre inkrementálny obnovovací filter. Ak sa hodnota poľa zmení (napríklad pri poli s dátumom úpravy ), táto zmena môže viesť k zlyhaniu obnovy kvôli duplicitným hodnotám v dátach.

• Ukladanie/obnovovanie riadkov z minulosti: Príklad na predchádzajúcom obrázku ilustruje tieto nasledujúce nastavenia.

  V tomto príklade definujeme obnovovaciu politiku, ktorá ukladá päť rokov dát celkovo a postupne obnovuje 10 dní dát. Za predpokladu, že tabuľka sa obnovuje denne, pri každej obnovovacej operácii sa vykonávajú nasledujúce akcie:

  • Pridajte nový deň dát.

  • Obnovte o 10 dní až do aktuálneho dátumu.

  • Odstráňte kalendárne roky, ktoré sú staršie ako päť rokov pred aktuálnym dátumom. Napríklad, ak je aktuálny dátum 1. januára 2019, rok 2013 sa odstráni.

  Prvá obnova dátového toku môže trvať dlhšie, kým sa importuje všetkých päť rokov, ale ďalšie obnovy budú pravdepodobne dokončené oveľa rýchlejšie.

• Detekcia zmien dát: Prírastková obnova o 10 dní je oveľa efektívnejšia než plná obnova po piatich rokoch, ale možno to zvládnete ešte lepšie. Keď vyberiete políčko Detekcia zmien dát, môžete vybrať stĺpec dátum/čas, ktorý identifikuje a obnoví len dni, keď sa údaje zmenili. To predpokladá, že takýto stĺpec existuje v zdrojovom systéme, čo je zvyčajne na účely auditu. Maximálna hodnota tohto stĺpca sa vyhodnotí pre každé obdobie v prírastkovom rozsahu. Ak sa tieto údaje od posledného obnovenia nezmenili, nie je potrebné obdobie obnovovať. V tomto príklade by to mohlo ďalej znížiť počet postupne obnovených dní z 10 na možno 2.

  Prepitné

  Súčasný dizajn vyžaduje, aby stĺpec používaný na detekciu zmien dát bol zachovaný a uložený do pamäte. Možno by ste mali zvážiť jednu z nasledujúcich techník na zníženie kardinalitity a spotreby pamäte:

  • Pri obnove zachovať len maximálnu hodnotu tohto stĺpca, napríklad pomocou funkcie Power Query.
  • Znížte presnosť na úroveň, ktorá je prijateľná vzhľadom na vaše požiadavky na frekvenciu obnovovania.

• Obnovujte len kompletné periody: Predstavte si, že váš refresh je naplánovaný na 4:00 ráno každý deň. Ak sa dáta objavia v zdrojovom systéme počas prvých štyroch hodín toho dňa, možno ich nebudete chcieť brať do úvahy. Niektoré obchodné metriky, ako napríklad barele za deň v ropnom a plynárenskom priemysle, nie sú praktické ani rozumné na základe čiastočných dní.

  Ďalším príkladom, kde je vhodné obnoviť len kompletné obdobia, je obnovenie údajov z finančného systému. Predstavte si finančný systém, kde sú údaje za predchádzajúci mesiac schválené 12. kalendárneho dňa v mesiaci. Môžete nastaviť inkrementálny rozsah na jeden mesiac a naplánovať obnovenie na 12. deň v mesiaci. S touto možnosťou systém obnoví januárové údaje (najnovšie kompletné mesačné obdobie) 12. februára.

Poznámka

Inkrementálna obnova dátového toku určuje dátumy podľa nasledujúcej logiky: ak je obnova naplánovaná, inkrementálna obnova pre dátové toky využíva časové pásmo definované v politike obnovy. Ak neexistuje plán obnovovania, inkrementálne obnovovanie využíva čas od počítača, ktorý obnovu vykonáva.

Po nastavení inkrementálneho obnovenia dataflow automaticky zmení váš dotaz tak, aby zahŕňal filtrovanie podľa dátumu. Ak bol dataflow vytvorený v Power BI, môžete automaticky generovaný dotaz upraviť aj pomocou pokročilého editora v Power Query na doladenie alebo prispôsobenie obnovy. Prečítajte si viac o postupnom obnovovaní a o tom, ako funguje, v nasledujúcich častiach.

Poznámka

Keď upravujete dataflow, Power Query editor sa priamo pripojí k zdroju dát a po spracovaní inkrementálnej obnovovacej politiky nezobrazuje cacheované ani filtrované dáta v dataflow. Ak chcete skontrolovať dáta uložené v dataflow, pripojte sa z Power BI Desktop do dataflow po konfigurácii inkrementálnej obnovovacej politiky a obnovení dataflow.

Inkrementálne obnovovanie a prepojené tabuľky vs. vypočítané tabuľky

Pre prepojené tabuľky sa inkrementálne obnovuje zdrojová tabuľka. Keďže prepojené tabuľky sú len ukazovateľom na pôvodnú tabuľku, inkrementálne obnovovanie nemá na prepojenú tabuľku žiadny vplyv. Keď sa zdrojová tabuľka obnoví podľa definovanej politiky obnovovania, každá prepojená tabuľka by mala predpokladať, že údaje v zdroji sú obnovené.

Vypočítané tabuľky sú založené na dotazoch bežiacich cez dátové úložisko, ktoré môže byť ďalším dátovým tokom. Vypočítané tabuľky sa teda správajú rovnako ako prepojené tabuľky.

Keďže vypočítané tabuľky a prepojené tabuľky sa správajú podobne, požiadavky a konfiguračné kroky sú pre obe rovnaké. Jedným z rozdielov je, že pri výpočtových tabuľkách v určitých konfiguráciách inkrementálna obnova nemôže bežať optimalizovane kvôli spôsobu, akým sú partície vytvorené.

Prepínanie medzi inkrementálnym a plným obnovením

Dátové toky podporujú zmenu obnovovacej politiky medzi inkrementálnym a plným obnovovaním. Keď nastane zmena v ktoromkoľvek smere (z plného na inkrementálne alebo inkrementálne na úplné), zmena ovplyvní dátový tok po ďalšom obnovení.

Keď presuniete dátový tok z plného obnovovacieho režimu na inkrementálny, nová obnovovacia logika aktualizuje dátový tok dodržiavaním obnovovacieho okna a inkrementu definovaného v nastaveniach inkrementálneho obnovovania.

Keď presuniete dátový tok z inkrementálneho na úplné obnovenie, všetky dáta nahromadené v inkrementálnom obnovení prepíšu politiku definovanú v plnej obnove. Musíte tento krok schváliť.

Podpora časových pásiem v inkrementálnom obnovovaní

Inkrementálne obnovovanie dátového toku závisí od času, počas ktorého beží. Filtrovanie dotazu závisí od dňa jeho spustenia.

Aby sa tieto závislosti zohľadnili a zabezpečila konzistentnosť dát, inkrementálna obnova pre dátové toky implementuje nasledujúcu heuristiku pre scenáre obnovy teraz :

• V prípade, keď je plánované obnovenie definované v systéme, inkrementálne obnovovanie využíva časové pásma z časti plánovaného obnovovania. Tento proces zabezpečuje, že bez ohľadu na časové pásmo, v ktorom sa osoba obnovujúca dátový tok nachádza, je to vždy v súlade s definíciou systému.

• Ak nie je definované plánované obnovenie, dátové toky využívajú časové pásmo z počítača používateľa, ktorý obnovu vykonáva.

Inkrementálne obnovovanie je možné vyvolať aj pomocou API. V tomto prípade môže volanie API obsahovať časové pásmo, ktoré sa použije pri obnove. Používanie API môže byť užitočné pri testovaní a validácii.

Detaily implementácie inkrementálnej obnovy

Dátové toky používajú rozdelenie na postupné obnovovanie. Inkrementálne obnovovanie dátových tokov udržiava minimálny počet partícií na splnenie požiadaviek obnovovacej politiky. Staré priečky, ktoré vychádzajú mimo dosah, sa vyhadzujú, čím sa udržiava posuvné okno. Partície sa oportunisticky spájajú, čím sa znižuje celkový počet potrebných partícií. Tento minimálny počet partícií zlepšuje kompresiu a v niektorých prípadoch môže zlepšiť výkon dotazov.

Príklady v tejto sekcii zdieľajú nasledujúcu obnovovaciu politiku:

• Rady v obchodoch za posledný 1. štvrťrok
• Obnovte riadky za posledných 10 dní
• Detekcia zmien dát = Nepravda
• Len obnoviť kompletné dni = Pravda

Zlúčenie partícií

V tomto príklade sa denné partície automaticky zlúčia na mesačnú úroveň po tom, čo prekročia inkrementálny rozsah. Partície v inkrementálnom rozsahu musia byť udržiavané na dennej granularite, aby sa obnovovali len tie dni. Obnovovacia operácia s dátumom spustenia 11.12.2016 spája dni v novembri, pretože spadajú mimo inkrementálneho rozsahu.

Zrušte staré partície

Staré priečky, ktoré nespadajú do celkového rozsahu, sú odstránené. Obnovovacia operácia s Run Date 1/2/2017 odstráni partíciu pre 3. štvrťrok 2016, pretože sa nachádza mimo celkového rozsahu.

Obnova po dlhodobom zlyhaní

Tento príklad simuluje, ako sa systém elegantne zotavuje po dlhodobom zlyhaní. Povedzme, že obnova neprebehne úspešne, pretože prihlasovacie údaje zo zdroja dát vypršali a problém sa vyrieši až po 13 dňoch. Inkrementálny rozsah je len 10 dní.

Ďalšia úspešná obnovovacia operácia, s dátumom spustenia 15.1.2017, musí doplniť chýbajúcich 13 dní a obnoviť ich. Tiež je potrebné obnoviť predchádzajúcich deväť dní, pretože neboli obnovené podľa bežného harmonogramu. Inými slovami, inkrementálny rozsah sa zvyšuje z 10 na 22 dní.

Ďalšia obnova, s dátumom spustenia 16.1.2017, využíva príležitosť na zlúčenie dní v decembri a mesiacoch v 4. štvrťroku 2016.

Inkrementálne obnovovanie dát a dátové sady

Inkrementálne obnovovanie dátového toku a inkrementálne obnovovanie dátovej sady sú navrhnuté tak, aby fungovali súčasne. Je prijateľné a podporované mať inkrementálne obnovujúcu tabuľku v dátovom toku, úplne načítanú do dátovej sady, alebo úplne načítanú tabuľku v dátovom toku inkrementálne načítavanú do dátovej množiny.

Oba prístupy fungujú podľa vašich definícií v nastaveniach obnovy. Viac informácií: Inkrementálna obnova v Power BI Premium

Súvisiaci obsah

Tento článok popisoval inkrementálne obnovovanie dátových tokov. Tu je niekoľko ďalších článkov, ktoré by mohli byť užitočné:

• Samoobslužná príprava údajov v službe Power BI
• vytváranie vypočítaných tabuliek v tokoch údajov
• pripojenie k zdrojom údajov pre toky údajov
• Prepojenie tabuliek medzi tokmi údajov
• Vytváranie a používanie tokov údajov v službe Power BI
• Použitie dátových tokov s lokálnymi zdrojmi dát
• Vývojárske zdroje pre Power BI dataflow

Ďalšie informácie o doplnku Power Query a plánovanom obnovení nájdete v týchto článkoch:

• Prehľad dotazov v aplikácii Power BI Desktop
• Konfigurácia plánovaného obnovenia

Pre viac informácií o Common Data Model si môžete prečítať jeho prehľadový článok:

• Prehľad modelu Common Data Model