Zjednoťte dáta pomocou skratiek OneLake a zrkadlenia

OneLake vám poskytuje jeden pohľad na dáta naprieč cloudmi, doménami a účtami. Zjednotenie dát v OneLake nevyžaduje uloženie všetkých týchto dát na jednom mieste. Dáta môžu zostať na svojom zdroji alebo byť replikované do OneLake, kde k nim Fabric workloady pristupujú cez zdieľaný menný priestor.

Skratky a zrkadlenie sú doplnkové schopnosti OneLake na vytváranie tohto jednotného pohľadu bez budovania a prevádzky pipeline na pohyb dát. Skratky pridávajú vybrané údaje do menného priestoru OneLake. Zrkadlenie pridáva externú databázu alebo katalóg a určuje, či je možné k jej dátam pristupovať priamo na mieste, alebo je potrebné ich replikovať. Tento článok vysvetľuje, ako každá schopnosť funguje a kedy ju použiť. Pre širší prehľad spôsobov, ako importovať, transformovať alebo presúvať dáta vo Fabric, pozri Dostať dáta do Microsoft Fabric alebo Vybrať stratégiu pohybu dát.

Skratky a zrkadlenie na prvý pohľad

Skratky a zrkadlenie fungujú na rôznych úrovniach granularity a podporujú rôzne zdrojové formáty.

Funkcia Čo to robí Zdrojové formáty Typický scenár
Skratky Pridajte odkaz na vybrané tabuľky, priečinky alebo súbory v OneLake alebo externom úložisku. Dáta zostávajú pri svojom zdroji. Iba otvorené formáty Prineste jednu tabuľku, priečinok alebo schému do jazerného domu, alebo povolte dátové mesh vzory naprieč pracovnými priestormi alebo nájomcami.
Zrkadlenie Pridajte externú databázu alebo katalóg do Fabric. V závislosti od zdroja zrkadlenie umožňuje prístup k dátam priamo na mieste alebo ich kontinuálne replikuje do OneLake. Otvorené a proprietárne formáty Pridajte celú externú databázu alebo katalóg, ako napríklad Snowflake, Azure Databricks alebo Azure SQL Database.

Ak váš zdroj uchováva dáta v proprietárnom formáte, zrkadlenie je vaša jediná možnosť.

Kedy použiť skratky

Používajte skratky, keď chcete zahrnúť konkrétne dáta do zjednoteného OneLake pohľadu bez ich kopírovania. Vyberte si skratky, keď:

  • Zdieľajte jednu tabuľku, priečinok alebo súbor medzi pracovnými priestormi alebo tenantmi.
  • Spojte dáta z viacerých jazier alebo cloudových účtov do jedného jednotného zobrazenia.
  • Vytvárajte dátové mesh vzory, kde každá doména vlastní svoje dáta a iné domény ich objavujú cez OneLake.
  • Sprístupnite dáta v otvorených formátoch, ako sú Delta alebo Iceberg, prostredníctvom Azure Data Lake Storage, Amazon S3, Google Cloud Storage alebo Dataverse.

Skratky fungujú na úrovni stola, priečinka alebo súboru. Vy rozhodujete, ktoré dáta sprístupníte a kde sa v OneLake objavia. Ďalšie informácie nájdete skratiek OneLake.

Transformujte dáta, keď ich zjednocujete

Transformácie skratiek konvertujú dáta za skratkou na dotazovateľnú Delta tabuľku, ktorá zostáva synchronizovaná so zdrojom, bez vytvárania ETL pipeline. Použite ich na prípravu dátovej analytiky:

  • Transformácie súborov konvertujú štruktúrované súbory, ako sú CSV, Parquet, JSON alebo Excel, na Delta tabuľky. Pre viac informácií pozri Transformácie skratiek (súbor).
  • Transformácie poháňané umelou inteligenciou aplikujú jazykové spracovanie .txt súborov na zhrnutie obsahu, detekciu sentimentu, preklad jazykov, cenzuru osobných identifikovateľných informácií (PII) alebo extrakciu pomenovaných entít. Pre viac informácií pozri Transformácie skratiek (poháňané AI).

Kedy použiť zrkadlenie

Používajte zrkadlenie, keď chcete zahrnúť externú databázu alebo katalóg a dáta za ňou do Fabric ako celok. Zrkadlenie je správna voľba, keď:

  • Sprístupniť celú externú databázu alebo katalóg v Fabric bez navrhovania samostatného procesu prijímania.
  • Majte v OneLake pripravenú analytickú kópiu operačnej databázy (napríklad Azure SQL Database, PostgreSQL alebo Cosmos DB), ktorá zostáva synchronizovaná so zdrojovým zdrojom.
  • Surface externý lakehouse alebo sklad (napríklad Databricks Unity Catalog alebo Snowflake) v Fabric, aby ste ho mohli dotazovať spolu s vašimi Fabric dátami.

Zrkadlenie vždy pridáva katalógové metadáta, ako sú databázy, schémy a tabuľky, do Fabric. Ako Fabric pristupuje k dátam, závisí od zdroja, ako popisuje ďalšia sekcia.

Ako zrkadlenie sprístupňuje dáta v OneLake

Zrkadlenie využíva dva základné mechanizmy na zahrnutie externých dát do jednotného pohľadu OneLake. Správna kombinácia závisí od toho, ako zdroj ukladá svoje dáta.

  • Replikácia. Zrkadlenie kopíruje dáta zo zdroja do OneLake vo formáte Delta pripravenom na analytiku. Zrkadlenie používa replikáciu, keď zdroj ukladá dáta v proprietárnom formáte.
  • Skratky. Zrkadlenie referenčných dát na mieste prostredníctvom skratiek OneLake. Zrkadlenie používa skratky, keď zdroj ukladá dáta v otvorenom formáte, ktorý OneLake dokáže čítať priamo.

Rôzne zdroje používajú tieto mechanizmy odlišne, ako ukazuje nasledujúca tabuľka.

Zdrojový vzor Príklady Čo robí zrkadlenie
Zrkadlenie databázy (replikácia) Azure Cosmos DB, Azure Database for PostgreSQL, Azure Database for MySQL (preview), Azure SQL Database, SQL Server, Oracle, SAP Zrkadlenie kopíruje metadáta katalógu a kontinuálne ich replikuje do OneLake ako Delta tabuľky.
Zrkadlenie metadát (skratky) Azure Databricks, Snowflake, Dremio (preview) Zrkadlenie pridáva katalógové metadáta do Fabric a používa skratky na prístup k existujúcim dátam.

V každom prípade zrkadlenie pridáva metadáta katalógu do Fabric. Či sa dáta tiež kopírujú, závisí od zdroja.

Používajte skratky a zrkadlenie spolu

Skratky a zrkadlenie sa navzájom nevylučujú. Môžete ich použiť spolu v mnohých situáciách. Napríklad použite zrkadlenie na pridanie zdrojového systému do Fabric raz a potom vytvorte skratky, aby boli vybrané dáta z tohto systému dostupné naprieč pracovnými priestormi, doménami alebo tenantmi. Ak zrkadlenie replikuje zdrojové dáta do OneLake, skratky k týmto dátam nevytvárajú ďalšiu kópiu ani nepridávajú náklady na úložisko.

Bežné vzory, ktoré kombinujú tieto dve schopnosti, zahŕňajú:

  • Zrkadlo raz, konzumuj všade. Centrálny pracovný priestor zrkadlí externú databázu alebo katalóg, napríklad Azure SQL Database alebo účet Snowflake. Iné pracovné priestory v rovnakom tenante majú skratky k zrkadlovým tabuľkám namiesto opätovného zrkadlenia toho istého zdroja. Jedna zrkadlená položka predstavuje zdroj a každý spotrebiteľ číta rovnaké údaje up-to-date.
  • Zrkadlenie domény s využitím mesh. Doménové tímy zrkadlia svoje vlastné zdrojové systémy do svojich doménových pracovných priestorov. Downstream jazerné domy a sklady v spotrebiteľských pracovných priestoroch používajú skratky na prístup len k potrebným tabuľkám z zrkadlovej databázy. Každá doména vlastní svoje spojenie so zdrojom a spotrebitelia zostávajú oddelení od zdrojového systému.
  • Jeden jazerný dom, viacero dátových lokalít. Jeden lakehouse môže obsahovať skratky k zrkadlovým tabuľkám spolu so skratkami na otvorené formáty dát v Azure Data Lake Storage, Amazon S3 alebo na inom OneLake mieste. Správy a zápisníky sa dotazujú na jazerný dom ako na jedno jednotné úložisko, či už základné dáta zostávajú pri zdroji alebo sú replikované do OneLake.
  • Cross-tenant alebo cross-cloud prístup. Jeden nájomca zrkadlí zdroj do vlastného OneLake. Partner tenant vytvorí skratku k zrkadleným dátam namiesto priameho prístupu do zdrojového systému. Prihlasovacie údaje zdrojového systému nikdy neopúšťajú produkčného tenantu.

Niekoľko vecí, ktoré treba vedieť, keď ich kombinujete:

  • Skratky k zrkadlovým tabuľkám zdedia bezpečnostný model zrkadleného predmetu. Oprávnenia na zrkadlenú databázu, schému alebo tabuľku prechádzajú k každému, kto číta cez skratku. Ďalšie informácie nájdete v téme Zabezpečenie odkazu na OneLake.
  • Skratky k zrkadlovým tabuľkám sú len na čítanie. Na zmenu dát zmeň zdrojový systém a nechaj zrkadlenie šíriť aktualizáciu.
  • Ak je zrkadlový zdroj pozastavený, vymazaný alebo narazí na chybu replikácie, každá skratka, ktorá naň vedie, zobrazuje rovnaký stav. Plánujte vlastníctvo a monitorovanie zrkadlovej položky podľa toho.

Kedy namiesto toho použiť pohyb dát

Skratky a zrkadlenie zjednocujú dáta tým, že ich sprístupnia cez OneLake, a skratkové transformácie môžu tieto dáta previesť do analyticky pripravených Delta tabuliek. Nie sú to náhrady za kompletný súbor nástrojov na príjem a prenos dát od Fabric. Vyberte pipeline, dataflow, kopírovaciu úlohu alebo eventstream, keď potrebujete:

  • Aplikujte zložitú alebo viaczdrojovú transformačnú logiku (napríklad spájanie zdrojov, aplikovanie obchodných pravidiel alebo preformátovanie schém), ktorá presahuje to, čo skratky transformácií robia.
  • Naplánuj si, orchestruj alebo spúšťaj pohyb podľa vlastnej kadencie.
  • Presuňte dáta do cieľa mimo OneLake.
  • Streamujte udalosti do Fabric na spracovanie v reálnom čase.

Tieto scenáre vyžadujú nástroje Fabric na presun a integráciu dát, nie len zjednotenie OneLake.