Egyesítsd az adatokat OneLake rövidítésekkel és tükrözéssel

A OneLake egy nézetet ad az adatokról felhőkön, domaineken és fiókokon keresztül. Az adatok OneLake-ben való egyesítése nem igényel az összes adat egy helyen tárolását. Az adatok a forrásuknál maradhatnak, vagy lemásolhatók OneLake-be, ahol a Fabric munkaterhelései egy megosztott névtéren keresztül férnek hozzájuk.

A gyorsítetek és a tükrözés kiegészítő OneLake-funkciók ahhoz, hogy ezt az egységes nézetet létrehozzák anélkül, hogy adatmozgási pipeline-eket építsenek és üzemeltetnek. A gyorsítványok kiválasztott adatokat adnak hozzá a OneLake névtérhez. A tükrözés külső adatbázist vagy katalógust ad hozzá, és meghatározza, hogy az adatai helyben elérhetők-e, vagy replikálni kell-e. Ez a cikk elmagyarázza, hogyan működik az egyes képességek és mikor kell használni őket. Az adatok felvételének, átalakításának vagy áthelyezésének szélesebb körű módjai a Fabric-ben találhatók: Adat átvétele a Microsoft Fabric-be vagy Válassz adatátviteli stratégiát.

A gyorsbillentyűk és a képernyőtükrözés áttekintése

A rövidítések és a tükrözések különböző részletességi szinteken működnek, és különböző forrásformátumokat támogatnak.

Capability Mire szolgál? Forrásformátumok Tipikus forgatókönyv
Parancsikonok Hivatkozást adj hozzá kiválasztott táblákhoz, mappákhoz vagy fájlokhoz a OneLake-ben vagy külső tárolóban. Az adatok a forrásuknál maradnak. Csak nyílt formátumok Hozzon be egyetlen táblát, mappát vagy sémát egy tóházba, vagy engedélyezze az adathálós mintákat a munkaterületek vagy bérlők között.
Tükrözés Külső adatbázist vagy katalógust adj hozzá a Fabric-hez. A forrástól függően a tükrözés vagy helyben éri el az adatokat, vagy folyamatosan replikálja azokat a OneLake-be. Nyílt és szabadalmaztatott formátumok Hozz be egy teljes külső adatbázist vagy katalógust, például Snowflake, Azure Databricks vagy Azure SQL Database.

Ha a forrásod saját formátumban tárol adatokat, a tükrözés az egyetlen lehetőség.

Mikor kell használni a rövidítéseket

Használj gyorsítványokat, amikor konkrét adatokat szeretnél beilleszteni az egységes OneLake nézetedbe anélkül, hogy másolnád őket. Válassz rövidítéseket, amikor:

  • Oszd meg egyetlen táblát, mappát vagy fájlt a munkaterületek vagy bérlők között.
  • Egyesítsd az adatokat több tóból vagy felhőfiókból egy egységes nézetbe.
  • Építs adathálós mintákat, ahol minden domain birtokolja az adatait, és más domainek a OneLake-en keresztül fedezik fel azt.
  • Tegyél elérhetővé az adatokat nyílt formátumokban, például Delta vagy Iceberg, az Azure Data Lake Storage-ból, Amazon S3-ból, Google Cloud Storage-ból vagy Dataverse-ből.

A gyorsítványok a táblán, a mappán vagy a fájlszinten működnek. Te döntöd el, melyik adatot teszi elérhetővé, és hol jelennek meg az OneLake-ben. További információ: OneLake billentyűparancsok.

Alakítsd át az adatokat, ahogy egyesíted azokat

A gyorsítvány-transzformációk a gyorsítvány mögötti adatokat egy lekérdezésre alkalmas Delta táblává alakítják, amely összhangban marad a forrással, anélkül, hogy ETL csővezetéket építenének. Használd őket, hogy az adatelemzésed készen álljon:

  • A fájltranszformációk strukturált fájlokat, mint például CSV, Parquet, JSON vagy Excel, Delta táblákká alakítják. További információért lásd: Gyorsvágás transzformációk (fájl).
  • Az MI-alapú transzformációk nyelvfeldolgozást alkalmaznak fájlokra .txt tartalom összefoglalására, érzelmi érzékelésre, nyelvek fordítására, személyazonosításra alkalmas információk (PII) kitüntetésére vagy a név szerinti entitások kinyerésére. További információért lásd: Gyorsút-transzformációk (AI-val) című részben.

Mikor kell használni a tükrözést

Használd a tükrözést, amikor külső adatbázist vagy katalógust szeretnél beépíteni, és az azt követő adatokat egységként a Fabric-be. A tükrözés a helyes választás, ha:

  • Tegyél elérhetővé egy teljes külső adatbázist vagy katalógust a Fabric-ben anélkül, hogy külön felvételi folyamatot terveznél.
  • Tarts egy analitika-kész másolatot egy működő adatbázisról (például Azure SQL Database, PostgreSQL vagy Cosmos DB) OneLake-ben, amely összhangban marad a forrással.
  • Tegyen elérhetővé egy külső lakehouse-t vagy adattárházat (például a Databricks Unity Catalogot vagy a Snowflake-et) a Fabricben, hogy a Fabric-adatokkal együtt lekérdezhesse.

A tükrözés mindig hozzáadja a katalógus metaadatait, például adatbázisokat, sémákat és táblákat a Fabric-hez. Az, hogy a Fabric hogyan fér hozzá az adatokhoz, a forrástól függ, ahogy a következő rész is leírja.

Hogyan teszi lehetővé a tükrözés az adatokat a OneLake-ben

A tükrözés két alapvető mechanizmust használ, hogy külső adatokat beépítsen az egységes OneLake nézetbe. A megfelelő kombináció attól függ, hogyan tárolja a forrás az adatait.

  • Replikáció. A tükrözés a forrásból származó adatokat elemzésre kész Delta formátumban másolja át a OneLake-be. A tükrözés akkor használja a replikációt, amikor a forrás saját formátumban tárolja az adatokat.
  • Rövidítések. A hivatkozási adatok helyben történő tükrözése OneLake parancsikonokon keresztül. A tükrözés gyorsítványokat használ, amikor a forrás egy nyílt formátumban tárolja az adatokat, amelyet a OneLake közvetlenül el tud olvasni.

Különböző források eltérően használják ezeket a mechanizmusokat, ahogy az alábbi táblázat is mutatja.

Forrásminta Példák Mit tesz a tükrözés
Adatbázis tükröződés (replikáció) Azure Cosmos DB, Azure Database for PostgreSQL, Azure Database for MySQL (preview), Azure SQL Database, SQL Server, Oracle, SAP A tükrözés lemásolja a katalógus metaadatait, és folyamatosan replikálja az adatokat OneLake-be Delta táblákként.
Metaadat-tükrözés (gyorsítékok) Azure Databricks, Snowflake, Dremio (preview) A tükrözés hozzáadja a katalógus metaadatait a Fabric-hez, és gyorsbillentyűkkel eléri az alapadatokat a helyén.

Minden esetben a tükrözés hozzáadja a katalógus metaadatait a Fabric-hez. Hogy az adatokat is másolja, a forrástól függ.

Használj rövidítéseket és tükrözést együtt

A rövidítések és a tükröződés nem zárják ki egymást. Sok helyzetben együtt használhatod őket. Például a tükrözés használatával egyszer vegyen fel egy forrásrendszert a Fabricba, majd hozzon létre parancsikonokat, hogy az abból a rendszerből származó kiválasztott adatok elérhetők legyenek a különböző munkaterületeken, tartományokban vagy bérlőkben. Ha a tükrözés a forrásadatokat OneLake-be replikálja, akkor az adathoz tartozó gyorsítványok nem hoznak létre új másolatot vagy nem növelik a tárolási költséget.

A két képességet ötvöző gyakori mintázatok a következők:

  • Tükrözze egyszer, használja bárhol. A központi munkaterület egy külső adatbázist vagy katalógust tükröz, például Azure SQL Database-t vagy Snowflake fiókot. Az ugyanabban a bérlőben lévő többi munkaterület parancsikonokkal rendelkezik a tükrözött táblákhoz ahelyett, hogy újra tükrözné ugyanazt a forrást. Egy tükrözött elem képviseli a forrást, és minden fogyasztó ugyanazokat a naprakész adatokat olvassa.
  • Domain tükrözés mesh fogyasztással. A domain csapatok saját forrásrendszereiket tükrözik a domain munkaterületeiben. A fogyasztói munkaterületek alsó szakaszában lévő tóházak és raktárak rövidítéseket használnak, hogy csak a szükséges táblákhoz férjenek hozzá a tükrözött adatbázisból. Minden domain birtokolja a kapcsolatát a forráshoz, és a fogyasztók elszakadnak a forrásrendszertől.
  • Egy tóház, több adathely. Egyetlen lakehouse tartalmazhat parancsikonokat tükrözött táblákhoz, valamint nyílt formátumú adatokra mutató parancsikonokat az Azure Data Lake Storage-ban, az Amazon S3-ban vagy egy másik OneLake-helyen. A jelentések és a notebookok a lakehouse-t egyetlen egységes tárolóként kérdezik le, függetlenül attól, hogy az alapul szolgáló adatok a forrásukban maradnak, vagy a OneLake-be replikálódnak.
  • Bérlők közötti vagy felhők közötti hozzáférés. Az egyik bérlő a forrásadatokat a saját OneLake-be tükrözi. Egy partner-bérlő rövidítést hoz létre a tükrözött adatokhoz ahelyett, hogy közvetlenül hozzáférne a forrásrendszerhez. A forrásrendszer hitelesítő adatai soha nem hagyják el a forrást biztosító bérlőt.

Néhány dolog, amit érdemes tudni, amikor összevonod őket:

  • A tükrözött táblákhoz vezető rövidítetek öröklik a tükrözött tárgy biztonsági modelljét. A tükrözött adatbázisra, sémára vagy táblára vonatkozó jogosultságok a parancsikonon keresztül olvasó felhasználókra is érvényesek. További információ: OneLake parancsikonok biztonsága.
  • A tükrözött táblákhoz vezető rövidítések csak olvashatók. Az adatok megváltoztatásához cseréld a forrásrendszert, és hagyd, hogy a tükröződés terjessze a frissítést.
  • Ha a tükrözött forrást megállítják, törlik, vagy replikációs hibába ütközik, minden hozzá mutató gyorsítvány ugyanazt az állapotot mutatja. Tervezd meg a tulajdonjogot és a tükrözött tárgy figyelését ennek megfelelően.

Mikor érdemes adatmozgást használni helyette

A shortcutok és a tükrözés egységes hozzáférést biztosítanak az adatokhoz azáltal, hogy azokat a OneLake-en keresztül elérhetővé teszik, a shortcut-transzformációk pedig elemzésre kész Delta-táblákká alakíthatják ezeket az adatokat. Nem helyettesítik a Fabric teljes felvételi és adatmozgatási eszközkészletét. Válassz pipeline-t, adatfolyamot, másolási munkát vagy eseményfolyamot, amikor szükséged van rá:

  • Alkalmazz összetett vagy többforrású transzformációs logikát (például források összekapcsolása, üzleti szabályok alkalmazása vagy sémák átformálása), amely túlmutat a gyorsított transzformációkon.
  • Ütemezz, hangszereld vagy indítsd el a mozgást a saját ritmusodban.
  • Áthelyezd az adatokat a OneLake-en kívüli célállomásra.
  • Streamelj eseményeket a Fabric-be valós idejű feldolgozáshoz.

Ezekhez a forgatókönyvekhez a Fabric adatátviteli és integrációs eszközei szükségesek, nem csak a OneLake egységesítése.

  • Az adatok Fabric-be való behozatalának minden módjának végponttól végpontig megtekintéséért lásd: Get data into Microsoft Fabric.
  • A pipeline-ok, másolómunkák, tükrözés és eseményfolyamok közvetlen összehasonlításához lásd a Adatmozgás stratégiai döntési útmutatóját.

Kapcsolódó tartalom

  • Last updated on