Transformujte štruktúrované súbory na tabuľky Delta

Použite skratkové transformácie na konverziu štruktúrovaných súborov do dotazovateľných Delta tabuliek. Ak sú vaše zdrojové dáta už v tabuľkovom formáte ako CSV, Parquet, JSON alebo Excel, transformácie súborov automaticky skopírujú a konvertujú tieto dáta do formátu Delta Lake, takže ich môžete dotazovať pomocou SQL, Sparku alebo Power BI bez budovania ETL pipeline.

Pre neštruktúrované textové súbory, ktoré vyžadujú spracovanie AI, ako je sumarizácia, preklad alebo analýza sentimentu, pozri Shortcut transformations (AI-poháňané).

Transformácie pomocou skratiek zostávajú vždy synchronizované so zdrojovými dátami. Výpočet Fabric Spark vykoná transformáciu a skopíruje dáta referencované pomocou OneLake skratky do spravovanej Delta tabuľky. Vďaka automatickému spracovaniu schémy, schopnostiam hlbokého splošťovania a podpore viacerých kompresných formátov eliminujú transformácie skratiek zložitosť budovania a údržby ETL pipelines.

Prečo používať transformácie klávesových skratiek?

• Automatická konverzia – Fabric kopíruje a konvertuje zdrojové súbory do formátu Delta bez manuálnej orchestrácie pipeline.
• Častá synchronizácia – Fabric každé dve minúty kontroluje skratku a synchronizuje zmeny.
• Rekurzívne objavovanie priečinkov – Fabric automaticky prechádza podpriečinkami, aby detegoval a transformoval súbory naprieč celou hierarchiou adresárov.
• Výstup Delta Lake – Výsledná tabuľka je kompatibilná s akýmkoľvek motorom Apache Spark.
• Dedené správanie – Skratka dedí líniu OneLake, povolenia a Microsoft Purview politiky.

Predpoklady

Requirement	Podrobnosti
Látka SKU	Kapacita alebo skúšobná verzia, ktorá podporuje pracovné zaťaženie Lakehouse .
Zdrojové údaje	Priečinok obsahujúci homogénne súbory CSV, Parquet, JSON alebo Excel.
Rola pracovného priestoru	Prispievateľ alebo vyššie.

Podporované formáty súborov

Transformácie skratiek fungujú s priečinkami z akéhokoľvek dátového zdroja podporovaného skratkami v OneLake.

Zdrojový formát súboru	Podporované rozšírenia	Podporované typy kompresie	Podporovaný typ skratky	Poznámky
CSV (UTF-8, UTF-16)	.csv .txt , (oddeľovač), .tsv (oddelený tabulátorom), .psv (oddelený potrubím)	.csv.gz .csv.bz2	Skratka na stole	.csv.zip .csv.snappy a nie sú podporované.
Parquet	.parquet	.parquet.snappy, .parquet.gzip, , .parquet.lz4, .parquet.brotli.parquet.zstd	Skratka na stole	Žiadny.
JSON	.json, , .jsonl.ndjson	.json.gz, .json.bz2, .jsonl.gz, .ndjson.gz, , .jsonl.bz2.ndjson.bz2	Skratka na stole	.json.zip .json.snappy a nie sú podporované.
Excel	.xlsx .xls	Nedá sa použiť	Skratka na stole alebo schéma	Tabuľkové skratky spájajú listy do jednej Delta tabuľky. Schémové skratky vytvárajú jednu Delta tabuľku na každý list. .xls (starší binárny formát) je podporovaný na základe najlepšieho úsilia; .xlsx je odporúčaný formát.

Poznámka

Transformácie súborov v Exceli sú momentálne v náhľade. CSV, Parquet a JSON transformácie sú všeobecne dostupné.

Vytvorte skratku tabuľky s transformáciou dát

Skratka tabuľky vytvorí jednu tabuľku Delta v priečinku Tables v jazernom dome. Použite ho na transformáciu súborov CSV, Parquet, JSON alebo Excel.

Pre Excel súbory s viacerými hárkami skratka v tabuľke kombinuje vybrané listy do jednej Delta tabuľky. Ak potrebujete jednu Delta tabuľku na každý list, vytvorte si namiesto toho skratku v schéme .

1. Vo vašom jazernom dome kliknite pravým tlačidlom myši na schému pod priečinkom Tables a potom vyberte skratku Nová tabuľka. Vyberte si svoj zdroj skratiek, napríklad Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint alebo OneDrive.

   

2. Vyberte priečinok s vašimi CSV, Parquet alebo JSON súbormi, alebo vyberte priečinok, ktorý obsahuje vaše .xlsx súbory.

3. V kroku Transform nastavte nastavenia pre konverziu Delta:

   • CSV súbory:

     • Oddeľovač – Vyberte znak používaný na oddelenie stĺpcov, ako je čiarka, bodkočiarka, rúrka, tabulátor, ampersand alebo medzera.
     • Prvý riadok ako hlavičky – udáva, či prvý riadok obsahuje názvy stĺpcov.

   • Excel súbory:

     • Prvý riadok ako hlavičky – udáva, či prvý riadok obsahuje názvy stĺpcov.
     • Listy na zahrnutie – Vyberte všetky listy alebo len podmnožinu listov. Listy môžete vyberať podľa názvu, indexu alebo pomocou vzorov žolíkových kariet (napríklad zodpovedajú Sales_* listom ako Sales_Q1 a Sales_2026). Párovanie divokých kariet je necitlivé na veľkosť písmen.

4. Prejdite si konfiguráciu skratiek. V kroku Náhľadové skratky si môžete tieto nastavenia nastaviť aj pred výberom Vytvoriť:

   • Názov skratky – Vyberte ikonu ceruzky na úpravu názvu skratky.
   • Zahrnúť podpriečinky – Povoliť rekurzívne spracovanie súborov v vnorených podadresároch. Táto možnosť je predvolene vybraná pre nové transformácie. Vymažte zaškrtávacie políčko, ak chcete spracovať len najvyšší priečinok.

5. Sledujte obnovy a zobrazujte logy v Spravovať monitorovacie centrum skratiek.

Výpočet Fabric Spark vytvára tabuľku Delta a zobrazuje pokrok v paneli skratiek Správa .

Pre Excel súbory výsledná tabuľka Delta obsahuje __filepath____sheetname__ metadátové stĺpce, takže môžete sledovať každý riadok späť k zdrojovému súboru a hárku.

Vytvorte skratku schémy s transformáciou dát

Skratka schémy vytvára viacero Delta tabuliek, ktoré sa zobrazia pod novou schémou v priečinku Tables v lakehouse. Použi ho, keď má Excel zošit viacero hárkov a chceš jednu Delta tabuľku na každý list.

Skratky schémy s transformáciou dát sú momentálne dostupné iba pre Excel (.xlsx) súbory. Tiež vyžadujú jazerný dom so zapnutými schémami. Pre viac informácií pozri schémy Lakehouse.

1. Vo svojom jazernom dome kliknite pravým tlačidlom na priečinok Tables a potom vyberte skratku Nová schéma.

   

2. Vyberte zdroj dát pre túto skratku a prejdite do priečinka, ktorý obsahuje vaše .xlsx súbory.

3. V kroku Transform nastavte nastavenia pre konverziu Delta:

   • Prvý riadok ako hlavičky – udáva, či prvý riadok obsahuje názvy stĺpcov.
   • Listy na zahrnutie – Vyberte všetky listy alebo len podmnožinu listov. Listy môžete vyberať podľa názvu, indexu alebo pomocou vzorov divokých kariet.

   

4. Prejdite si konfiguráciu skratiek. V kroku Náhľadové skratky si môžete tieto nastavenia nastaviť aj pred výberom Vytvoriť:

   • Názov skratky – Vyberte ikonu ceruzky na úpravu názvu skratky.
   • Zahrnúť podpriečinky – Povoliť rekurzívne spracovanie súborov v vnorených podadresároch. Táto možnosť je predvolene vybraná pre nové transformácie. Vymažte zaškrtávacie políčko, ak chcete spracovať len najvyšší priečinok.

5. Sledujte obnovy a zobrazujte logy v Spravovať monitorovacie centrum skratiek.

Výpočet Fabric Spark vytvára samostatné Delta tabuľky pre vybrané listy a udržiava ich synchronizované so zdrojovými súbormi. Názvy hárkov sa automaticky sanitizujú na platné názvy tabuliek. Napríklad list s názvom Sales Data (Q1) sa stane .Sales_Data_Q1

Ako funguje synchronizácia

Po počiatočnom načítaní vypočíta spark služby Fabric:

• Prieskumy označujú cieľ skratky každé dve minúty.
• Rozpozná nové alebo upravené súbory a zodpovedajúcim spôsobom pripojí alebo prepíše riadky.
• Detekuje vymazané súbory a odstraňuje zodpovedajúce riadky.

Keď je podpora podpriečinkov povolená, systém rekurzívne objavuje a spracováva súbory naprieč všetkými vnorenými podadresármi v cieľovom priečinku.

Monitorovanie a riešenie problémov

Skratkové transformácie zahŕňajú monitorovanie a spracovanie chýb, ktoré vám pomôžu sledovať stav príjmu a diagnostikovať problémy.

1. Otvorte chatu pri jazere a kliknite pravým tlačidlom na skratku, ktorá vedie k vašej transformácii.

2. Vyberte skratku Spravovať.

3. V paneli detailov si môžete pozrieť:

   • Stav – Výsledok posledného skenovania a aktuálny stav synchronizácie.

   • Obnovovacia história – chronologický zoznam synchronizačných operácií s počtom riadkov a prípadnými chybami.

   • Zahrnúť podpriečinky – Označuje, či je transformácia podpriečinkov povolená (áno alebo nie).

     

4. Viac detailov si môžete pozrieť v logoch na riešenie problémov.

   

Obmedzenia

Nasledujúce obmedzenia sa v súčasnosti vzťahujú na transformácie skratiek.

Všeobecné obmedzenia

• Zdrojový formát: Podporované sú súbory CSV, JSON, Parquet a Excel.
• Konzistentnosť schémy súboru: Súbory musia zdieľať identickú schému.
• Dostupnosť pracovného priestoru: Dostupné iba v položkách Lakehouse (nie v dátových skladoch alebo KQL databázach).
• Zápisové operácie: Transformácie sú optimalizované na čítanie. Priame príkazy MERGE INTO alebo DELETE v cieľovej transformačnej tabuľke nie sú podporované.
• Dostupnosť skratiek schémy: Skratky schém pre transformácie súborov podporujú iba Excel súbory.

Obmedzenia CSV

• Nepodporované typy dát: Komplexné logické typy - MAP/LIST/STRUCT, surový binárny systém.

Obmedzenia JSON

• Sploštenie dátového typu poľa: Dátový typ poľa je zachovaný v tabuľke Delta a je prístupný cez Spark SQL a PySpark. Pre ďalšie premeny použite Fabric Materialized Lake Views pre striebornú vrstvu.
• Sploštenie hĺbky: Vnorené štruktúry sú sploštené až do hĺbky piatich úrovní. Hlbšie vnorenie vyžaduje predspracovanie.

Obmedzenia excelu

• Rozsah buniek: Dáta sa vždy čítajú od bunky A1. Pracovné zošity, kde dáta začínajú v inej bunke alebo používajú pomenované tabuľky či rozsahy, nie je možné zacieliť.
• Preskakujte riadky: Titulné bannery, metadáta, preambuly a súhrny päty nad alebo pod skutočnými údajmi nemožno vylúčiť. Sú prijímané ako dátové riadky.
• Záver schémy: Inferencia schémy je vždy zapnutá pre Excel súbory. Identifikátory s úvodnými nulami (napríklad PSČ ako 02134 alebo ID zamestnancov ako 001245) sa konvertujú na celé čísla, čím sa odstránia úvodné nuly.
• Skryté plachty: Všetky listy, vrátane skrytých a systémových listov, sa spracovávajú, pokiaľ nie sú explicitne filtrované podľa názvu alebo indexu.
• Formátovanie meny: Bunky vo formáte meny (napríklad $1,234.56) sa konvertujú na obyčajné číselné hodnoty. Symbol meny je odstránený.
• Štítky citlivosti: Pracovné zošity s štítkami citlivosti Microsoft Purview sa nedajú spracovať.
• Poškodené riadky: Excel čítačka nepodporuje izoláciu poškodených záznamov. Poškodené alebo typovo nezhodné riadky v hárku nie je možné izolovať a zaznamenávať samostatne.
• Limit listov: Súbory s viac ako 25 listami sa vynechávajú.
• Formát dedičstva:.xls (legacy binárny formát) je podporovaný na princípe najlepšieho úsilia a môže mať zníženú vernosť pre zložité formátovanie. .xlsx je odporúčaný formát.
• Hodnotenie vzorca: Spark číta uloženú hodnotu buniek vzorcov. Ak pracovný zošit nebol uložený s vypočítanými hodnotami, bunky vzorcov sa mohli javiť prázdne alebo zastarané.

Obmedzenia podpriečinkov

• Dostupné len pre nové transformácie. Existujúce transformácie nemôžu povoliť podporu podpriečinkov.
• Keď je podpora podpriečinkov povolená, už ju nemožno vypnúť.
• Skratky vnorené v cieľovom priečinku sa nedodržiavajú. Spracovávajú sa iba fyzické priečinky a súbory.
• Selektívne zahrnutie alebo vylúčenie konkrétnych podpriečinkov nie je podporované.
• Vnorené priečinky nefungujú so skratkou SharePointu.

Použite blog Fabric Roadmap a Fabric Updates , aby ste sa dozvedeli o nových funkciách a vydaniach.

Vyčistiť

Ak chcete zastaviť synchronizáciu, vymažte transformáciu skratky z Lakehouse Explorer.

Vymazanie transformácie neodstráni základné súbory.