Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Když se spustí aktualizace pipeline, aktualizuje materializovaná zobrazení a streamovací tabulky definované v pipeline, aby se v jejich výsledcích odrážel aktuální stav zdrojových dat. Způsob aktualizace datové sady závisí na typu a typu aktualizace. Informace o tom, jak spustit a spravovat aktualizace, najdete v článku Spuštění aktualizace pipeline.
Typy aktualizací
Ve výchozím nastavení se každé materializované zobrazení a streamovací tabulka v rámci kanálu obnoví při každé aktualizaci. Následující tabulka shrnuje chování jednotlivých typů aktualizace:
| Typ aktualizace | Materializované zobrazení | Tabulka pro streamování |
|---|---|---|
| Aktualizovat (výchozí) | Aktualizuje výsledky tak, aby odrážely aktuální výsledky definovaného dotazu. Azure Databricks zkontroluje náklady a provede přírůstkovou aktualizaci, pokud je efektivnější. | Zpracovává nové záznamy prostřednictvím logiky definované v tabulkách a tocích streamování. |
| Úplná aktualizace | Přepočítá výsledky tak, aby odrážely aktuální výsledky definovaného dotazu. | Vymaže data ze streamovaných tabulek, vymaže kontrolní body z toků a znovu zpracuje všechny záznamy ze zdroje dat. |
| Resetování kontrolních bodů toku streamování | Nevztahuje se na materializovaná zobrazení. | Vymaže kontrolní body z toků, ale nevymaže data ze streamovaných tabulek a pak znovu zpracuje všechny záznamy ze zdroje dat. |
Aktualizovat (výchozí)
Výchozí aktualizace aktualizuje datovou sadu tak, aby odrážela aktuální výsledky definovaného dotazu.
Streamované tabulky jsou ze své podstaty přírůstkové. Aktualizace streamované tabulky vyhodnocuje pouze záznamy, které přišly od poslední aktualizace, a připojí je pomocí aktuální definice tabulky. Starší záznamy se nezpracovávají znovu, takže se nepoužijí změny, které by ovlivnily již zapsaná data. Jinými slovy, výchozí aktualizace streamovací tabulky upřednostňuje nižší časové a prostředkové náklady na úkor správnosti dat. Pokud chcete znovu zpracovat starší data, spusťte úplnou aktualizaci nebo resetujte kontrolní body toku.
Materializovaná zobrazení se pokusí o přírůstkovou aktualizaci, ale v případě potřeby znovu zpracuje všechny záznamy, aby byla tabulka plně přesná. Materializované zobrazení se aktualizuje pomocí jedné ze dvou metod:
- Přírůstková aktualizace identifikuje změny od poslední aktualizace a slučuje pouze nová nebo upravená data.
- Úplná aktualizace spustí celý dotaz a nahradí stávající data, pokud přírůstková aktualizace není možná nebo není nákladově efektivní.
Ve výchozím nastavení Azure Databricks používá nákladový model k výběru cenově výhodnější metody. Pomocí zásady obnovení můžete tuto volbu změnit. Sémantika, požadavky a podporované SQL pro přírůstkovou aktualizaci naleznete v tématu Přírůstková aktualizace pro materializovaná zobrazení.
Úplná aktualizace
Úplná aktualizace znovu zpracuje všechny záznamy ze zdrojových dat prostřednictvím logiky, která definuje datovou sadu:
- V materializovaném zobrazení rekomputuje úplná aktualizace celý výsledek. Vzhledem k tomu, že materializovaná zobrazení vždy vrací stejný výsledek jako dávkový dotaz, vytvoří výchozí aktualizace a úplná aktualizace identická data.
- U streamovací tabulky úplné obnovení vyprázdní tabulku, vymaže kontrolní body streamování pro její toky a znovu zpracuje každý záznam ze zdroje.
Vzhledem k tomu, že úplná aktualizace znovu zpracovává všechna zdrojová data, časová i finanční náročnost rostou s velikostí těchto dat. Databricks doporučuje spustit úplnou aktualizaci pouze v případě potřeby, například když definice nebo změna schématu není kompatibilní s existujícími daty. Úplné obnovení streamované tabulky může způsobit ztrátu záznamů, pokud zdroj již neuchovává původní data, například u topicu Kafka po uplynutí doby uchovávání.
Informace o tom, kdy a jak spustit úplnou aktualizaci streamované tabulky, najdete v tématu Úplná aktualizace streamovaných tabulek.
Resetování kontrolních bodů
Resetování kontrolních bodů platí jenom pro streamované tabulky. Vymaže kontrolní body streamování pro vybrané toky bez vymazání dat, která jsou již zapsaná do tabulky streamování, a pak znovu zpracuje všechny záznamy ze zdroje prostřednictvím těchto toků. Na rozdíl od úplné aktualizace se stávající data tabulky zachovají.
Tuto možnost použijte, když chcete znovu zpracovat zdroj streamování pro vybrané toky, například po změně logiky toku bez zkrácení tabulky.
Resetování checkpointů se spouští prostřednictvím rozhraní Lakeflow Spark Declarative Pipelines REST API. Jednotlivé kroky najdete v článku Spuštění aktualizace pipeline pro vymazání kontrolních bodů toků selektivního streamování.