Uchovávanie dát v Fabric Data Warehouse (náhľad)

Vzťahuje sa na:✅ Warehouse v službe Microsoft Fabric

V Microsoft Fabric sklad automaticky uchováva a udržiava rôzne verzie dát na základe nastavenej doby uchovávania. Táto doba uchovávania určuje, ako ďaleko v čase môžete vykonávať dotazy na cestovanie v čase , vytvárať klony tabuliek, používať body obnovy a vytvárať snapshoty skladu.

Uchovávanie dát začína automaticky, keď vytvoríte sklad. Sklady si štandardne uchovávajú históriu dát po dobu 30 kalendárnych dní. Obdobie uchovávania môžete nastaviť na akúkoľvek hodnotu medzi 1 a 120 dňami. Systém automaticky vymaže expirované súbory po uplynutí doby uchovávania.

Sklad uchováva všetky vklady, aktualizácie a vymazania v rámci nastaveného obdobia uchovávania.

  • Predĺženie doby uchovávania poskytuje dlhšie okno pre dotazy na cestovanie v čase, klony tabuliek v minulosti, body obnovy a snapshoty skladu. Avšak dlhšie obdobie uchovávania zvyšuje spotrebu úložiska a súvisiace náklady.
  • Skrátenie doby uchovávania znižuje náklady na ukladanie, ale obmedzuje, ako ďaleko do minulosti môžete vyhľadávať alebo obnovovať historické dáta.

Ako funguje uchovávanie dát

Keď sa dáta upravia, sklad okamžite nevyhodí predchádzajúci stav verzie. Namiesto toho sa predchádzajúce verzie údajov uchovávajú ako súčasť transakčného logu Delta Lake. Tento verzovací mechanizmus umožňuje fungovanie cestovania v čase, klonovania stolov, obnovovacích bodov a skladových snapshotov.

Keď historické verzie dát prekročia nastavenú dobu uchovávania, proces zberu odpadu na pozadí automaticky odstráni expirované súbory z OneLake. Tento čistiaci proces prebieha asynchrónne a neovplyvňuje aktívne dopyty ani prebiehajúce transakcie.

Sklad meria vek uchovávaných dát v absolútnych kalendárnych dňoch od vytvorenia verzie dát, vrátane prípadov, keď je kapacita Microsoft Fabric pozastavená.

Rozsah doby zadržania

Ak explicitne nenastavíte retenciálnu dobu, existujúce sklady používajú predvolenú retenciu 30 kalendárnych dní. Môžete nastaviť dobu uchovávania dát od 1 do 120 dní.

Konfigurácia uchovávania údajov

Nastavte dobu uchovávania dát pre sklad pomocou ALTER DATABASE ... NASTAVIŤ PRÍKAZ T-SQL. Pre kroky a viac informácií pozri Ako konfigurovať uchovávanie dát v Fabric Data Warehouse.

Správanie pri zmene doby zadržania

Pochopenie správania pri zmene doby uchovávania vám pomôže plánovať zmeny tak, aby ste predišli neočakávanej strate dát alebo zvýšeniu veľkosti úložiska.

Predĺžte dobu uchovávania

Keď predĺžite dobu uchovávania, nové nastavenie nadobudne účinnosť okamžite. Avšak nemôžete obnoviť historické údaje, ktoré systém už počas predchádzajúceho kratšieho obdobia uchovávania vyčistil. Len verzie dát, ktoré v čase zmeny ešte existovali v OneLake, profitujú z predĺženého obdobia uchovávania.

Napríklad, ak má váš sklad momentálne 7-dňovú dobu uchovávania a vy ju predĺžite na 60 dní, zmena platí od tohto momentu. Verzie dát, ktoré systém už pred zmenou vyčistil (staršie ako 7 dní), sa nedajú obnoviť. Avšak všetky verzie dát, ktoré sú v čase zmeny stále v 7-dňovom okne, spolu s novovytvorenými verziami v budúcnosti, budú zachované až 60 dní.

Zníženie doby uchovávania

Keď skrátite dobu uchovávania, verzie dát, ktoré teraz nespadajú do novej kratšej doby uchovávania, sa stanú oprávnenými na vyčistenie. Proces čistenia beží asynchrónne na pozadí a neprebieha okamžite. Aktívne dotazy, ktoré už prebiehajú, nie sú ovplyvnené.

Napríklad, ak má váš sklad 30-dňovú dobu uchovávania a znížite ju na 7 dní, verzie dát staré medzi 8 a 30 dňami sa stávajú oprávnenými na čistenie pozadia.

Dôležité

Znižovanie doby uchovávania je z pohľadu prístupu k dátam nezvratné.

Aj keď krátko po tom opäť zvýšite dobu uchovávania, údaje, ktoré počas tohto obdobia prekročili kratšie obdobie, už nie sú prístupné. Pred skrátením doby uchovávania sa uistite, že nová doba uchovávania spĺňa požiadavky vašej organizácie na obnovu dát a súlad.

Dátum ukončenia udržania

Stĺpec time_travel_retention_cutoff_date v katalógu sys.databases zobrazuje skutočný najskorší dátum , od ktorého sú dostupné údaje o cestovaní v čase, nie aktuálne nastavenú dobu uchovávania. Najstaršie skutočné údaje sa môžu líšiť od nakonfigurovanej doby uchovávania.

Užívateľom nastavená doba uchovávania určuje, koľko dní histórie by mal systém uchovávať do budúcnosti. Skutočná obnoviteľná história však závisí od toho, aké dáta boli zachované pred akýmikoľvek zmenami uchovávania.

Dve situácie spôsobujú rozchýlku medzi konfigurovanou retention a skutočnou dostupnou históriou:

  • Uchovávanie bolo znížené – sklad okamžite označí historické údaje staršie ako nové obdobie uchovávania pre zber odpadu a trvalo ich odstráni.
  • Následne sa zvýšilo uchovávanie – sklad nemôže obnoviť vymazanú históriu. Musí počkať, kým sa nahromadí nová história, kým bude plne nakonfigurované okno dostupné.

Scenáre uchovávania dát

Pri rozhodovaní, ako nastaviť dobu udržania zamestnancov, zvážte nasledujúce scenáre:

Súlad a audit

Organizácie s regulačnými alebo súladovými požiadavkami môžu potrebovať uchovávať údaje dlhšie obdobia, aby splnili audítorské povinnosti. Nastavenie doby uchovávania 90 alebo 120 dní môže audítorom poskytnúť širšie historické okno na preskúmanie zmien dát v priebehu času.

Vývoj a testovanie

Pre vývojové alebo testovacie pracovné priestory, kde historické údaje nie sú tak dôležité, môže kratšia doba uchovávania 1 až 7 dní znížiť náklady na ukladanie. Toto zníženie je užitočné, keď sa pracovný priestor využíva na rýchle prototypovanie alebo iteratívny vývoj.

Optimalizácia nákladov

Ak váš sklad prechádza častými rozsiahlymi úpravami dát (napríklad dennými plnými nákladmi), objem uchovávaných historických dát môže výrazne vzrásť. V týchto situáciách skrátenie doby uchovávania pomáha kontrolovať náklady na skladovanie a zároveň zachovať rozumné obdobie obnovy.

Pripravenosť na obnovu dát

Pre produkčné sklady poskytuje udržiavanie dlhšej doby uchovávania väčšiu flexibilitu pri obnove dát prostredníctvom obnovovacích bodov, klonov tabuliek a dotazov na cestovanie v čase v prípade náhodného poškodenia dát.

Ako konfigurovateľná retencia ovplyvňuje závislé vlastnosti

Konfigurovaná doba uchovávania sa uplatňuje jednotne pre nasledujúce funkcie v Fabric Data Warehouse. Zmena doby uchovávania priamo ovplyvňuje dostupnosť a správanie týchto funkcií.

Cestovanie v čase

Cestovanie v čase vám umožňuje dotazovať údaje tak, ako existovali v minulom čase v rámci obdobia uchovávania. Nápoveda FOR TIMESTAMP AS OF dotazu dokáže získať dáta z akéhokoľvek bodu v rámci nastaveného obdobia uchovávania.

Napríklad, ak je doba uchovávania nastavená na 15 dní, môžete vyhľadávať údaje tak, ako existovali až do 15 kalendárnych dní v minulosti.

Tabuľka klonov

Stolové klony sa spoliehajú na obdobie uchovávania. Klon tabuľky v minulosti môžete vytvoriť len v rámci nastaveného obdobia uchovávania. Ak požiadate o klon po uplynutí obdobia uchovávania, nastane chyba.

Obnovovacie body

Využite body obnovy na obnovu skladu. Systém uchováva systémy generované aj používateľom definované body obnovy počas konfigurovaného obdobia uchovávania. Po uplynutí doby uchovávania systém automaticky vymaže body obnovy.

  • Sklad automaticky vytvára systémovo generované body obnovy každých osem hodín. Tieto obnovovacie body sú dostupné počas nastaveného obdobia uchovávania.
  • Používateľom definované body obnovy sú dostupné počas nastavenej doby uchovávania. Systém tieto obnovovacie body po ich vypršaní automaticky vymaže.

Fabric udržiava minimálny počet obnovovacích bodov, aby zabezpečil, že dostatočný počet obnovovacích bodov je vždy k dispozícii.

Snímky skladu

Skladové snímky môžu odkazovať na dáta v rámci konfigurovaného obdobia uchovávania. Časová pečiatka snapshotu môže byť nastavená na akýkoľvek bod v rámci nastaveného obdobia uchovávania alebo na čas vytvorenia databázy, podľa toho, čo nastane neskôr.

Fakturácia úložiska

Uchovávanie dát priamo ovplyvňuje spotrebu úložiska OneLake. Každá zachovaná verzia dát zaberá úložný priestor a dlhšie doby uchovávania znamenajú viac historických verzií.

Pri plánovaní konfigurácie uchovávania zvážte kompromis medzi výhodami dlhšieho prístupu k histórii dát a súvisiacimi nákladmi na ukladanie. Pre viac informácií o monitorovaní úložiska pozri Billing and Utilization reporting v Fabric Data Warehouse.

  • Zachované dátové súbory: Historické verzie dát uložených ako parketové súbory v OneLake zaberajú úložisko. Náklady na ukladanie sú úmerné objemu a frekvencii úprav dát počas obdobia uchovávania.
  • Body obnovy: Metadáta pre systémom generované a používateľom definované body obnovy tiež zaberajú úložisko. Avšak obnovovacie body primárne ukladajú metadáta a odkazujú na existujúce dátové súbory, takže ich náklady na úložisko sú relatívne malé.
  • Žiadne výpočtové poplatky za uchovávanie: Neexistujú výpočtové poplatky len za uchovávanie historických údajov. Výpočtové poplatky sa uplatňujú len vtedy, keď aktívne dotazujete alebo obnovujete dáta.

Na odhad vplyvu zmeny doby uchovávania zvážte:

  • Priemerný denný objem úprav dát vo vašom sklade.
  • Súčasné obdobie zadržania a navrhované nové obdobie zadržania.
  • Rozdiel medzi týmito dvoma obdobiami vynásobený priemerným denným objemom modifikácie dáva približnú zmenu spotreby skladovania.

Dizajnové nápady

  • Nastavte dobu uchovávania podľa požiadaviek vašej organizácie na obnovu dát, súlad a náklady. Predvolená doba 30 dní poskytuje rovnováhu medzi dostupnosťou dát a nákladmi na úložisko pre väčšinu pracovných záťaží.
  • Koordinujte zmeny obdobia zadržania s vašou stratégiou zálohovania a obnovy po havárii. Uistite sa, že doba uchovávania je v súlade s vašimi cieľmi bodov obnovy (RPO).
  • Monitorujte spotrebu úložiska OneLake po zmene doby uchovávania, aby ste pochopili vplyv na náklady na skladovanie.
  • Ak je to možné, plánujte zmeny obdobia zadržania počas období s nízkou aktivitou, aby to nemalo vplyv na používateľa.
  • Doba uchovávania je stanovená na úrovni skladu. Ak potrebujete rôzne obdobia uchovávania pre rôzne dátové súbory, zvážte ich usporiadanie do samostatných skladov. Individuálne nastavenia uchovávania na úrovni tabuľky momentálne nie sú podporované.

Zadržiavanie vyradených položiek

Uchovávanie odložených položiek zachováva sklady a ich súvisiace tabuľky, schémy, snímky, oprávnenia a uložené dotazy na konfigurovateľné obdobie po ich zhodení alebo vymazaní. Táto funkcia zaručuje, že náhodné vymazania nevedú k trvalej strate dát alebo výpadkom ovplyvňujúcim podnikanie. Uchovávanie vynechaných položiek zaručuje minimálnu dobu uchovávania sedem kalendárnych dní a má samostatnú konfiguráciu na úrovni nájomcu. Obdobie uchovávania stratených položiek si môžete nastaviť v nastavení nájomcu Item Recovery.

Obmedzenia

  • Špecifikujte obdobie uchovávania v celých dňoch. Zlomkové hodnoty nie sú podporované.
  • Skrátenie doby uchovávania neznamená okamžité získanie úložiska späť. Čistenie expirovaných dát prebieha asynchrónne na pozadí.
  • Pozastavenie kapacity Microsoft Fabric ovplyvňuje aktivitu čistenia odpadu. Proces neodstraňuje historické údaje, ktoré sú staršie ako aktuálne nastavenia uchovávania dát, kým je kapacita pozastavená. Upratovacie aktivity dobehnú, keď sa kapacita obnoví.
  • Nastavenie zadržania sa vzťahuje len na sklady. SQL analytický endpoint Lakehouse nie je podporovaný.
  • Query Insights a SQL auditné logy nepodliehajú tejto politike uchovávania dát a spravujú sa samostatne.

Ďalší krok