Strukturált fájlok átalakítása Delta-táblákká

A parancsikon-átalakításokkal strukturált fájlokat konvertálhat lekérdezhető Delta-táblákká. Ha a forrásadatok már táblázatos formátumban vannak, például CSV, Parquet, JSON vagy Excel, a fájlátalakítások automatikusan delta Lake formátumba másolják és konvertálják az adatokat, hogy az SQL, a Spark vagy a Power BI használatával lekérdezhesse őket ETL-folyamatok létrehozása nélkül.

Az AI feldolgozást, mint például az összegzést, fordítást vagy hangulatelemzést igénylő strukturálatlan szövegfájlok esetében tekintse meg a gyors átalakításokat (AI-alapú).

A billentyűparancs-átalakítások mindig szinkronban maradnak a forrásadatokkal. A Fabric Spark compute végrehajtja az átalakítást, és egy OneLake-parancsikon által hivatkozott adatokat átmásolja egy felügyelt Delta-táblába. Az automatikus sémakezelés, a mély összesimítási képességek és a több tömörítési formátum támogatása révén a parancsikon-átalakítások kiküszöbölik az ETL-folyamatok létrehozásának és karbantartásának összetettségét.

Miért érdemes billentyűparancs-módosításokat használni?

• Automatikus átalakítás – A háló manuális folyamatvezénylés nélkül másolja és konvertálja a forrásfájlokat Delta formátumba.
• Gyakori szinkronizálás – A Fabric két percenként lekérdezi a parancsikont, és szinkronizálja a módosításokat.
• Rekurzív mappafelderítés – A Háló automatikusan bejárja az almappákat, hogy észlelje és átalakítsa a fájlokat a teljes címtárhierarchiában.
• Delta Lake-kimenet – Az eredményként kapott tábla bármely Apache Spark-motorral kompatibilis.
• Örökölt irányítás – A hivatkozás örökli a OneLake származási útvonalát, az engedélyeket és a Microsoft Purview szabályzatokat.

Előfeltételek

Követelmény	Részletek
Szövet cikkszám	A Lakehouse számítási feladatait támogató kapacitás vagy próbaverzió.
Forrásadatok	Homogén CSV-, Parquet-, JSON- vagy Excel-fájlokat tartalmazó mappa.
Munkaterületi szerepkör	Közreműködő vagy annál magasabb.

Támogatott fájlformátumok

A parancsikon-átalakítások bármely olyan adatforrásból származó mappával működnek, amelyet a OneLake-beli parancsikonok támogatnak.

Forrásfájl formátuma	Támogatott bővítmények	Támogatott tömörítési típusok	Támogatott parancsikontípus	Jegyzetek
CSV (UTF-8, UTF-16)	.csv, .txt (elválasztó), .tsv (tabulátorral tagolt), .psv (csővel elválasztott)	.csv.gz, .csv.bz2	Táblázat parancsikonja	.csv.zip és .csv.snappy nem támogatottak.
Parquet	.parquet	.parquet.snappy, .parquet.gzip, .parquet.lz4, .parquet.brotli, , .parquet.zstd	Táblázat parancsikonja	Nincs.
JSON	\, \, \	.json.gz, .json.bz2, .jsonl.gz, .ndjson.gz.jsonl.bz2.ndjson.bz2	Táblázat parancsikonja	.json.zip és .json.snappy nem támogatottak.
Excel	.xlsx, .xls	Nem alkalmazható	Táblázat parancsikonja vagy séma parancsikonja	A táblázat billentyűparancsai a lapokat egyetlen Delta-táblába egyesítik. A sémaparancsok laponként egy Delta-táblát hoznak létre. .xls (régi bináris formátum) a lehető legjobb törekvés szerint támogatott; .xlsx a javasolt formátum.

Megjegyzés:

Az Excel-fájlátalakítások jelenleg előzetes verzióban érhetők el. A CSV-, Parquet- és JSON-átalakítások általánosan elérhetők.

Táblázat parancsikonjának létrehozása adatátalakítással

A táblázat parancsikonja létrehoz egy Delta-táblát egy tóház Táblák mappájában. CsV-, Parquet-, JSON- vagy Excel-fájlok átalakítására használható.

A több lapot tartalmazó Excel-fájlok esetén a táblázat parancsikonja egyesíti a kijelölt lapokat egy Delta-táblával. Ha laponként egy Delta-táblára van szüksége, akkor helyette hozzon létre egy sémaparancsikont.

1. A tóházban kattintson a jobb gombbal egy sémára a Táblák mappa alatt, majd válassza az Új táblázat parancsikont. Válassza ki a gyorsforrását, például az Azure Data Lake-et, az Azure Blob Storage-ot, a Dataverse-t, az Amazon S3-at, a GCP-t, a SharePointot vagy a OneDrive-ot.

   

2. Jelölje ki a CSV-, Parquet- vagy JSON-fájlokat tartalmazó mappát, vagy jelölje ki a .xlsx fájlokat tartalmazó mappát.

3. Az Átalakítás lépésben konfigurálja a Delta-átalakítás beállításait:

   • CSV-fájlok:

     • Elválasztó – Jelölje ki az oszlopok( például vessző, pontosvessző, cső, lap, amper és szóköz) elválasztásához használt karaktert.
     • Első sor fejlécként – Jelzi, hogy az első sor tartalmaz-e oszlopneveket.

   • Excel-fájlok:

     • Első sor fejlécként – Jelzi, hogy az első sor tartalmaz-e oszlopneveket.
     • Belefoglalandó lapok – Jelölje ki az összes lapot, vagy csak a lapok egy részhalmazát. A lapokat név, index vagy helyettesítő karakterek használatával választhatja ki (például Sales_* olyan lapokkal egyezik meg, mint Sales_Q1 és Sales_2026). A helyettesítő karakterek egyeztetése érzéketlen a kis- és nagybetűkre.

4. Tekintse át a parancsikon konfigurációját. Az Előzetes verzió billentyűparancsai lépésben ezeket a beállításokat is konfigurálhatja, mielőtt a Létrehozás lehetőséget választja:

   • Parancsikon neve – A parancsikon nevének szerkesztéséhez válassza a ceruza ikont.
   • Almappák bevonása – Fájlok rekurzív feldolgozása beágyazott almappákban. Ez a beállítás alapértelmezés szerint be van jelölve az új átalakításokhoz. Törölje a jelölőnégyzet jelölését, ha csak a legfelső szintű mappát szeretné feldolgozni.

5. Frissítések nyomon követése és a naplók megtekintése a Gyorshivatkozás figyelés központ kezelése szolgáltatásban.

A Fabric Spark compute létrehozza a Delta-táblát, és megjeleníti a folyamat előrehaladását a Kezelés munkaablakban .

Excel-fájlok esetén az eredményként kapott Delta-táblázat tartalmaz __filepath__ metaadatoszlopokat __sheetname__ , így minden sort visszakövethet a forrásfájlba és a lapra.

Séma parancsikon létrehozása adatátalakítással

A sémaparancsok több Delta-táblát hoznak létre, amelyek egy új séma alatt jelennek meg egy tóház Táblák mappájában. Akkor használja, ha egy Excel-munkafüzet több lapból áll, és laponként egy Delta-táblázatot szeretne.

Az adatátalakítással rendelkező sémaparancsok jelenleg csak Excel-fájlokhoz érhetők.xlsx el. Emellett szükség van egy lakehouse-ra, amelyben a sémák engedélyezve vannak. További információ: Lakehouse-sémák.

1. A tóházban kattintson a jobb gombbal a Táblák mappára, majd válassza az Új séma parancsikont.

   

2. Válassza ki a parancsikon adatforrását, és keresse meg a fájlokat tartalmazó .xlsx mappát.

3. Az Átalakítás lépésben konfigurálja a Delta-átalakítás beállításait:

   • Első sor fejlécként – Jelzi, hogy az első sor tartalmaz-e oszlopneveket.
   • Belefoglalandó lapok – Jelölje ki az összes lapot, vagy csak a lapok egy részhalmazát. A lapokat név, index vagy helyettesítő karakterek használatával választhatja ki.

   

4. Tekintse át a parancsikon konfigurációját. Az Előzetes verzió billentyűparancsai lépésben ezeket a beállításokat is konfigurálhatja, mielőtt a Létrehozás lehetőséget választja:

   • Parancsikon neve – A parancsikon nevének szerkesztéséhez válassza a ceruza ikont.
   • Almappák bevonása – Fájlok rekurzív feldolgozása beágyazott almappákban. Ez a beállítás alapértelmezés szerint be van jelölve az új átalakításokhoz. Törölje a jelölőnégyzet jelölését, ha csak a legfelső szintű mappát szeretné feldolgozni.

5. Frissítések nyomon követése és a naplók megtekintése a Gyorshivatkozás figyelés központ kezelése szolgáltatásban.

A Fabric Spark compute külön Delta-táblákat hoz létre a kijelölt lapokhoz, és szinkronizálja őket a forrásfájlokkal. A rendszer automatikusan megtisztítja a munkalapneveket érvényes táblanevekre. Egy elnevezett Sales Data (Q1) lap például a következő lesz Sales_Data_Q1: .

A szinkronizálás működése

A kezdeti betöltés után a Fabric Spark számítása:

• Két percenként lekérdezi a parancsikoncélt.
• Észleli az új vagy módosított fájlokat , és ennek megfelelően hozzáfűzi vagy felülírja a sorokat.
• Észleli a törölt fájlokat, és eltávolítja a megfelelő sorokat.

Ha engedélyezve van az almappák támogatása, a rendszer rekurzív módon felderíti és feldolgozza a fájlokat a célmappában lévő összes beágyazott alkönyvtárban.

Monitorozás és hibaelhárítás

A parancsikon-átalakítások közé tartozik a figyelés és a hibakezelés, amely segít nyomon követni a betöltési állapotot és diagnosztizálni a problémákat.

1. Nyissa meg a lakehouse-t, és kattintson a jobb gombbal az átalakítást tápláló parancsikonra.

2. Válassza a Parancsikon kezelése.

3. A részletek panelen a következőt tekintheti meg:

   • Állapot – Legutóbbi vizsgálat eredménye és aktuális szinkronizálási állapot.

   • Frissítési előzmények – A sorszámmal és a hiba részleteivel rendelkező szinkronizálási műveletek időrendi listája.

   • Almappák belefoglalása – Azt jelzi, hogy engedélyezve van-e az almappák átalakítása (Igen vagy Nem).

     

4. További részletek megtekintése a naplókban a hibaelhárításhoz.

   

Korlátozások

A billentyűparancs-átalakításokra jelenleg az alábbi korlátozások vonatkoznak.

Általános korlátozások

• Forrásformátum: A CSV-, JSON-, Parquet- és Excel-fájlok támogatottak.
• Fájlséma konzisztenciája: A fájloknak azonos sémával kell rendelkezniük.
• Munkaterület rendelkezésre állása: Csak a Lakehouse-elemekben érhető el (adattárházakban és KQL-adatbázisokban nem).
• Írási műveletek: Az átalakítások olvasásoptimalizáltak. Az átalakítási céltábla közvetlen MERGE INTO vagy DELETE utasításai nem támogatottak.
• Sémaparancsok rendelkezésre állása: A fájlátalakítások sémaparancsai csak az Excel-fájlokat támogatják.

CSV-korlátozások

• Nem támogatott adattípusok: Összetett logikai típusok – MAP/LIST/STRUCT, Nyers bináris.

JSON-korlátozások

• Tömb adattípusának összesimítása: A tömb adattípusa megmarad a Delta táblában, és a Spark SQL és a PySpark segítségével érhető el. További átalakításokhoz használja a Fabric Materialized Lake Viewsot az ezüstréteghez.
• Simítási mélység: A beágyazott struktúrák legfeljebb öt szint mélyre vannak simítva. A mélyebb beágyazáshoz előfeldolgozás szükséges.

Az Excel korlátozásai

• Cellatartomány: Az adatok mindig az A1 cellától kezdve olvashatók. Azok a munkafüzetek, ahol az adatok egy másik cellában kezdődnek, vagy nevesített táblákat vagy tartományokat használnak, nem célozhatók meg.
• Sorok kihagyása: A címbannerek, metaadat-prelúdiumok és lábléc-összefoglalók, amelyek a tényleges adatok felett vagy alatt helyezkednek el, nem hagyhatók ki. Adatsorként vannak feldolgozva.
• Sémakövetkeztetés: A sémakövetkeztetés mindig engedélyezve van Az Excel-fájlok esetében. Az első nullákkal rendelkező azonosítók (például irányítószámok, például 02134 az alkalmazottazonosítók) 001245egész számokká alakulnak, ami eltávolítja a kezdő nullákat.
• Rejtett lapok: A rendszer minden lapot feldolgoz, beleértve a rejtett és a rendszerlapokat is, kivéve, ha kifejezetten név vagy index alapján szűri.
• Pénznemformázás: A pénznem formátumú cellák (például $1,234.56) egyszerű numerikus értékekké lesznek konvertálva. A pénznem szimbóluma le van vetve.
• Bizalmassági címkék: A Microsoft Purview bizalmassági címkékkel rendelkező munkafüzetek nem dolgozhatók fel.
• Sérült sorok: Az Excel-olvasó nem támogatja a sérült rekordelkülönítést. A lap sérült vagy nem egyező sorai nem különíthetők el és nem naplózhatók külön.
• Lapkorlát: A program kihagyja a 25-nél több lapot tartalmazó fájlokat.
• Örökölt formátum:.xls (régi bináris formátum) lehetőségekhez mérten támogatott, és az összetett formázás esetében csökkentett pontosságú lehet. .xlsx a javasolt formátum.
• Képletek kiértékelése: A Spark beolvassa a képletcellák cache-elt értékeit. Ha a munkafüzetet nem számított értékekkel mentette, a képletcellák üresnek vagy elavultnak tűnhetnek.

Almappák korlátozásai

• Csak új átalakításokhoz érhető el. A meglévő átalakítások nem tudják engedélyezni az almappák támogatását.
• Miután az almappák támogatása engedélyezve van, azt többé nem lehet letiltani.
• A célmappában található beágyazott parancsikonok nem lesznek követve. A rendszer csak a fizikai mappákat és fájlokat dolgozza fel.
• Az adott almappák szelektív belefoglalása vagy kizárása nem támogatott.
• A beágyazott mappák nem működnek SharePoint-parancsikonokkal.

Az új funkciók és kiadások megismeréséhez használja a Háló ütemterve és a Hálófrissítések blogot .

Takarítás

A szinkronizálás leállításához törölje a parancsikont a Lakehouse Explorerből.

Az átalakítás törlése nem távolítja el a mögöttes fájlokat.