Megosztás a következőn keresztül:

Lakehouse és Delta Lake táblák

  • Cikk

A Microsoft Fabric Lakehouse egy adatarchitektúra-platform a strukturált és strukturálatlan adatok egyetlen helyen történő tárolására, kezelésére és elemzésére. A Microsoft Fabric összes számítási motorjának zökkenőmentes adathozzáférése érdekében a Delta Lake lesz az egységes táblaformátum.

Az adatok mentése a Lakehouse-ban olyan képességek használatával, mint a Betöltés táblákba vagy a Beállításokban ismertetett módszerek, amelyek segítségével adatokat lehet bejutni a Fabric Lakehouse-ba, az összes adat delta formátumban lesz mentve.

A Delta Lake táblázatformátumának átfogóbb bemutatásához kövesse a Következő lépések szakaszban található hivatkozásokat.

Big data, Apache Spark és régebbi táblaformátumok

Az Apache Sparkhoz készült Microsoft Fabric Runtime ugyanazzal az alapokkal rendelkezik, mint az Apache Sparkhoz készült Azure Synapse Analytics-futtatókörnyezet, de fontos különbségeket tartalmaz a Microsoft Fabric szolgáltatás összes motorjának egyszerűbb működése érdekében. A Microsoft Fabricben a fő teljesítményfunkciók alapértelmezés szerint be vannak kapcsolva. A speciális Apache Spark-felhasználók visszaállíthatják a konfigurációkat a korábbi értékekre, hogy jobban igazodjanak az adott forgatókönyvekhez.

A Microsoft Fabric Lakehouse és az Apache Spark motor minden táblatípust támogat, mind felügyelt, mind nem felügyelt; ez magában foglalja a nézeteket és a hagyományos nem Delta Hive táblázatformátumokat. A PARQUET, CSV, AVRO, JSON és bármely Apache Hive-kompatibilis fájlformátum használatával definiált táblák a várt módon működnek.

A Lakehouse Explorer felhasználói felülete a tábla típusától függően változik. A Lakehouse Explorer jelenleg csak táblaobjektumokat jelenít meg.

Konfigurációs különbségek az Azure Synapse Analyticsszel

Az alábbi táblázat az Azure Synapse Analytics és az Apache SparkHoz készült Microsoft Fabric Runtime közötti konfigurációs különbségeket tartalmazza.

Apache Spark-konfiguráció Microsoft Fabric-érték Azure Synapse Analytics-érték Jegyzetek
spark.sql.sources.default delta parketta Alapértelmezett táblázatformátum
spark.sql.parquet.vorder.enabled true n/a V-Order író
spark.sql.parquet.vorder.dictionaryPageSize 2 GB n/a Szótár oldalméretkorlátja a V-Orderhez
spark.microsoft.delta.optimizeWrite.enabled true unset (false) Írás optimalizálása

Táblák automatikus felderítése

A Lakehouse Explorer a Microsoft Fabric Lakehouse elem objektumainak faszerű nézetét biztosítja. Kulcsfontosságú képességgel rendelkezik a metaadattárban és a OneLake Storage-ban leírt táblák felderítésére és megjelenítésére. A táblahivatkozások a Tables Lakehouse Explorer felhasználói felületének szakaszában jelennek meg. Az automatikus felderítés a OneLake-billentyűparancsokon definiált táblákra is vonatkozik.

Táblázatok billentyűparancsok felett

A Microsoft Fabric Lakehouse támogatja a OneLake-billentyűparancsokon definiált táblákat, hogy a lehető legnagyobb kompatibilitást és adatáthelyezést biztosíthassa. Az alábbi táblázat az egyes elemtípusokra vonatkozó ajánlott forgatókönyveket tartalmazza a parancsikonok használata során.

Parancsikon célhelye A parancsikon létrehozása Ajánlott eljárások
Delta Lake-tábla Tables szakasz Ha több tábla is található a célhelyen, hozzon létre táblázatonként egy parancsikont.
Mappák fájlokkal Files szakasz Az Apache Spark használatával közvetlenül a célhelyet használhatja relatív elérési utak használatával. Töltse be az adatokat a Lakehouse natív Delta-tábláiba a maximális teljesítmény érdekében.
Örökölt Apache Hive-táblák Files szakasz Az Apache Spark használatával közvetlenül a célhelyet használhatja relatív elérési utak használatával, vagy metaadatkatalógus-referenciát hozhat létre szintaxis használatával CREATE EXTERNAL TABLE . Töltse be az adatokat a Lakehouse natív Delta-tábláiba a maximális teljesítmény érdekében.

Betöltés táblákba

A Microsoft Fabric Lakehouse kényelmes és hatékony felhasználói felületet biztosít az adatok Delta-táblákba való betöltésének leegyszerűsítéséhez. A Betöltés a táblázatokba funkció lehetővé teszi, hogy a vizualizációk betöltse a delta fájlformátumokat az elemzési hatékonyság növelése érdekében az összes személy számára. Ha részletesebben szeretne többet megtudni a Táblák betöltése funkcióról, olvassa el a Lakehouse Load to Tables referenciadokumentációját.

Delta Lake-táblaoptimalizálás

A táblázatok alakzatban tartása az elemzési forgatókönyvek széles köréhez nem kis bravúr. A Microsoft Fabric Lakehouse aktívan lehetővé teszi, hogy a fontos paraméterek minimalizálják a big data-táblákkal kapcsolatos gyakori problémákat, például a tömörítést és a kis fájlméreteket, és maximalizálják a lekérdezési teljesítményt. Ennek ellenére számos olyan forgatókönyv van, ahol ezeknek a paramétereknek módosításra van szükségük. A Delta Lake-táblaoptimalizálásról és a V-Orderről szóló cikk néhány kulcsfontosságú forgatókönyvet tartalmaz, és részletes útmutatót nyújt a Delta-táblák maximális teljesítményhez való hatékony fenntartásához.

Kapcsolódó tartalom