Zdieľať cez

Dostupnosť služby Eventhouse OneLake

  • Článok

Môžete vytvoriť logickú kópiu údajov databázy KQL v službe eventhouse tak, že zapnete dostupnosti služby OneLake. Zapnutie dostupnosti služby OneLake znamená, že údaje v databáze KQL môžete dotazovať vo formáte Delta Lake prostredníctvom iných strojov služby Fabric, ako je napríklad režim Direct Lake v službe Power BI, Warehouse, Lakehouse, Notebooks a ďalšie.

Delta Lake je jednotný formát tabuľky data lake, ktorý dosahuje bezproblémový prístup k údajom vo všetkých výpočtových nástrojoch v službe Microsoft Fabric. Ďalšie informácie o Delta Lake nájdete v téme Čo je Delta Lake?.

V tomto článku sa dozviete, ako zapnúť dostupnosť údajov databázy KQL v službe OneLake.

Ako to funguje

dostupnosť služby OneLake môžete zapnúť na úrovni databázy alebo tabuľky. Keď je táto možnosť povolená na úrovni databázy, všetky nové tabuľky a ich údaje sú k dispozícii v službe OneLake. Po zapnutí funkcie môžete túto možnosť použiť aj na existujúce tabuľky výberom možnosti Použiť na existujúce tabuľky. Zapnutím na úrovni tabuľky sa sprístupnia iba dané tabuľky a ich údaje vo OneLake. Politika uchovávania údajov údajov databázy KQL sa tiež použije na údaje v službe OneLake. Údaje odstránené z vašej databázy KQL na konci obdobia uchovávania sa tiež odstránia zo služby OneLake. Ak dostupnosti služby OneLake vypnete, údaje z oneLake sú obnoviteľné.

Hoci je dostupnosti onelake zapnutá, nemôžete vykonávať tieto úlohy:

  • Premenovanie tabuliek
  • Zmena schém tabuľky
  • Použitie zabezpečenia na úrovni riadkov na tabuľky
  • Údaje nie je možné odstrániť, skrátiť alebo vymazať

Ak potrebujete vykonať niektorú z týchto úloh, použite tieto kroky:

Dôležité

Vypnutie dostupnosti služby OneLake obnoviteľné odstránenie údajov zo služby OneLake. Keď znova zapnete dostupnosť, v službe OneLake sa sprístupnia iba nové údaje bez zaplnenia odstránených údajov.

  1. dostupnosti služby oneLake vypnite.

  2. Vykonajte požadovanú úlohu.

  3. dostupnosti zapniteOneLake.

Dôležité

Ďalšie informácie o čase potrebného na zobrazenie údajov vo onelake nájdete v téme adaptívne správanie.

Na zapnutie dostupnosti služby OneLake nie sú potrebné žiadne dodatočné náklady na úložisko. Ďalšie informácie nájdete v téme Spotreba zdrojov.

Požiadavky

Zapnutie dostupnosti OneLake

Dostupnosť oneLake môžete zapnúť buď v databáze KQL, alebo na úrovni tabuľky.

  1. Ak chcete zapnúť dostupnosť služby OneLake, prejdite do časti OneLake na table s podrobnosťami vašej databázy alebo tabuľky KQL.

  2. Nastavte dostupnosť na možnosť Zapnuté.

    Snímka obrazovky znázorňujúca časť OneLake na table Podrobnosti o databáze so zvýraznenou možnosťou Dostupnosť.

  3. Databáza sa obnoví automaticky.

    Snímka obrazovky podrobností o časti OneLake v službe Real-Time Intelligence po nastavení dostupnosti na možnosť Zapnuté. Možnosť vystavenia údajov službe OneLake je zapnutá.

Zapli ste dostupnosť OneLake v databáze KQL. Teraz môžete získať prístup ku všetkým novým údajom pridaným do databázy na danej ceste OneLake vo formáte Delta Lake. Môžete sa tiež rozhodnúť vytvoriť odkaz OneLake z balíka Lakehouse, Data Warehouse alebo dotazovať údaje priamo cez režim Power BI Direct Lake.

Adaptívne správanie

Eventhouse ponúka robustný mechanizmus, ktorý inteligentne dávkuje prichádzajúce dátové prúdy do jedného alebo viacerých súborov parquet, štruktúrovaných na analýzu. Dávkovanie streamov údajov je dôležité pri práci s podvodnými údajmi. Písanie mnohých malých súborov parquet do jazera môže byť neefektívne vyplývajúce z vyšších nákladov a slabý výkon.

Adaptívny mechanizmus eventhouse môže oddialiť operácie zapisovaia, ak nie je dostatok údajov na vytvorenie optimálnych súborov parquet. Vďaka tomu sú súbory vo formáte Parquet optimálne a dodržiavajú najvhodnejšie postupy pre Delta Lake. Adaptívny mechanizmus Eventhouse zabezpečuje, že súbory vo formáte Parquet sú pripravené na analýzu a vyrovnávajú potrebu okamžitej dostupnosti údajov s ohľadom na náklady a výkon.

Poznámka

  • Operácia zapisovania môže predvolene trvať až 3 hodiny alebo kým sa vytvoria súbory dostatočnej veľkosti (zvyčajne 200 – 256 MB).
  • Oneskorenie môžete upraviť na hodnotu od 5 minút do 3 hodín.

Ak chcete napríklad nastaviť oneskorenie na 5 minút, použite nasledujúci príkaz:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Výstraha

Úprava oneskorenia na kratšie obdobie môže mať za následok neoptimálnu delta tabuľky s veľkým počtom malých súborov, čo môže viesť k neefektívnemu výkonu dotazov. Výsledná tabuľka vo OneLake je iba na čítanie a po vytvorení sa nedá optimalizovať.

Môžete sledovať, ako dávno boli do jazera pridané nové údaje, a to tak, že skontrolujete latenciu údajov pomocou príkazu .show table mirroring operations command.

Výsledky sa merajú z posledného pridania údajov. Keď má latencia výsledok 00:00:00, všetky údaje v databáze KQL sú k dispozícii v službe OneLake.

Zobrazenie súborov

Keď v tabuľke zapnete dostupnosť OneLake, vytvorí sa priečinok delta log spolu so všetkými zodpovedajúcimi súbormi JSON a Parquet. Môžete zobraziť súbory, ktoré boli sprístupnené v službe OneLake, a ich vlastnosti, pričom zostávajú v službe V reálnom čase inteligencie.

  • Ak chcete zobraziť súbory, ukážte kurzorom myši na tabuľku v table Prieskumník a potom vyberte ponuku Viac [...]>Zobraziť súbory.

    Snímka obrazovky tably Prieskumník zobrazujúca rozbaľovací zoznam ponuky Ďalšie v tabuľke.

  • Ak chcete zobraziť vlastnosti priečinka denníkov delta alebo jednotlivé súbory, ukážte na priečinok alebo súbor a potom vyberte ponuku Viac [...]>Vlastnosti.

  • Ak chcete zobraziť súbory v priečinku delta denníka:

    1. Vyberte priečinok _delta_log.
    2. Ak chcete zobraziť metaúdaje a schému tabuľky, vyberte súbor. Editor, ktorý sa otvorí, je vo formáte iba na čítanie.

Politika zrkadlenia prístupu

Keď je zapnutá dostupnosť oneLake, politika zrkadlenia je predvolene zapnutá. Pomocou politiky môžete monitorovať latenciu údajov alebo ju zmeniť na tabuľky partition delta.

Poznámka

Ak vypnete dostupnosť OneLake, vlastnosť politiky IsEnabled zrkadlenia je nastavená na hodnotu false (IsEnabled=false).

Deltové tabuľky oblastí

Na zlepšenie rýchlosti dotazu môžete rozdeliť tabuľky delta. Informácie o tom, kedy rozdeliť vaše súbory OneLake, nájdete v téme Kedy rozdeliť tabuľky na oblasti. Každá oblasť je znázornená ako samostatný stĺpec pomocou partitionName , ktorý je uvedený v zozname Oblasti . To znamená, že vaša kópia onelake má viac stĺpcov ako zdrojová tabuľka.

Ak chcete rozdeliť tabuľky delta, použite príkaz na zrkadlenie politiky .alter-merge tabuľky.

Súvisiaci obsah