Čítať v angličtine

Zdieľať cez

Interoperabilita formátu tabuľky Delta Lake

  • Článok

V službe Microsoft Fabric je formát tabuľky Delta Lake štandardom pre analýzu. Delta Lake je open-source vrstva úložiska, ktorá prináša transakcie ACID (atómia, konzistencia, izolácia, trvanlivosť) do veľkého objemu údajov a analytické zaťaženia.

Všetky skúsenosti so službou Fabric generujú a spotrebúvajú tabuľky Delta Lake, ktoré riadia interoperabilitu a zjednotené prostredie produktov. Tabuľky Delta Lake vytvorené jedným výpočtovým strojom, ako je napríklad Fabric Data Warehouse alebo Synapse Spark, môže využívať ktorýkoľvek iný nástroj, ako napríklad Power BI. Pri presunutie údajov do služby Fabric ich fabric predvolene uloží ako Delta tabuľky. Externé údaje obsahujúce tabuľky Delta Lake môžete jednoducho integrovať pomocou skratiek OneLake.

Funkcie delta lake a skúsenosti s tkaninou

Na dosiahnutie interoperability sú všetky skúsenosti služby Fabric v súlade s funkciami Delta Lake a možnosťami tkaniny. Niektoré funkcie môžu zapisovať iba do tabuliek Delta Lake, zatiaľ čo iné z nej môžu čítať.

  • spisovatelia: Sklady údajov, eventstreamy a exportované sémantické modely služby Power BI do oneLake
  • čitatelia: koncový bod analýzy SQL a sémantické modely direct lake služby Power BI
  • spisovatelia a čitatelia: Fabric Spark runtime, toky údajov, údajové kanály a databázy Kusto Query Language (KQL)

Nasledujúca matica znázorňuje kľúčové funkcie Delta Lake a ich podporu pre jednotlivé možnosti služby Fabric.

Možnosti tkaniny Priradenia stĺpcov na základe názvov Odstránenie vektorov Písanie V-order Optimalizácia a údržba tabuliek Zapisovať oblasti Oblasti na čítanie Liquid Clustering TIMESTAMP_NTZ Verzia Čitateľ Delta/Spisovateľ a predvolené funkcie tabuliek
Export skladu údajov Delta Lake Nie Áno Áno Áno Nie Áno Nie Nie Čitateľ: 3
Spisovateľ: 7
Odstránenie vektorov
Koncový bod analýzy SQL Áno Áno Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Áno Áno Nie Neuvádza sa (nedá sa použiť)
Fabric Spark Runtime 1,3 Áno Áno Áno Áno Áno Áno Áno Áno Čitateľ: 1
Spisovateľ: 2
Fabric Spark Runtime 1,2 Áno Áno Áno Áno Áno Áno Áno, iba na čítanie Áno Čitateľ: 1
Spisovateľ: 2
Fabric Spark Runtime 1.1 Áno Nie Áno Áno Áno Áno Áno, iba na čítanie Nie Čitateľ: 1
Spisovateľ: 2
Toky údajov Áno Áno Áno Nie Áno Áno Áno, iba na čítanie Nie Čitateľ: 1
Spisovateľ: 2
Kanály údajov Nie Nie Áno Nie Áno, prepísať iba Áno Áno, iba na čítanie Nie Čitateľ: 1
Spisovateľ: 2
Sémantické modely direct lake v službe Power BI Áno Áno Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Neuvádza sa (nedá sa použiť) Áno Áno Nie Neuvádza sa (nedá sa použiť)
Exportovanie sémantických modelov služby Power BI do služby OneLake Áno Neuvádza sa (nedá sa použiť) Áno Nie Áno Neuvádza sa (nedá sa použiť) Nie Nie Čitateľ: 2
Spisovateľ: 5
Databázy KQL Áno Áno Nie Žiadne* Áno Áno Nie Nie Čitateľ: 1
Spisovateľ: 1
Eventstreams (Udalosti) Nie Nie Nie Nie Áno Neuvádza sa (nedá sa použiť) Nie Nie Čitateľ: 1
Spisovateľ: 2

* databázy KQL poskytujú určité možnosti údržby tabuľky, ako napríklad uchovávanie údajov. Údaje sa odstránia na konci obdobia uchovávania z OneLake. Ďalšie informácie nájdete jednej logickej kópie.

Poznámka

  • Fabric predvolene nezapisuje priradenia stĺpcov na základe názvov. V predvolenom prostredí služby Fabric sa generujú tabuľky, ktoré sú kompatibilné v rámci celej služby. Delta lake, vyrobené službami tretích strán, môže mať nekompatibilné funkcie tabuľky.
  • Niektoré skúsenosti s tkaninou nezdedili možnosti optimalizácie a údržby tabuliek, ako napríklad zhutnenie intervalov, poradie V a vyčistenie starých nevyriešených súborov. Ak chcete zachovať optimálne tabuľky Delta Lake pre analýzu, postupujte podľa techník v Pomocou funkcie údržby tabuliek môžete spravovať delta tabuliek v službe Fabric pre tabuľky požité pomocou týchto skúseností.

Aktuálne obmedzenia

V súčasnosti fabric nepodporuje tieto funkcie delta lake:

  • Delta Lake 3.x Uniforma
  • Písanie stĺpcov identity (vlastnícka funkcia Databricks)
  • Delta Live Tables (vlastnícka funkcia Databricks)
  • RLE (kódovanie dĺžky spustenia) povolené v súbore kontrolného bodu

Súvisiaci obsah