Genveje til filtransformationer

Genvejstransformationer konverterer råfiler (CSV, Parquet og JSON) til Delta-tabeller , der altid forbliver synkroniserede med kildedataene. Transformationen udføres af Fabric Spark compute, som kopierer de data, der refereres til via en OneLake-genvej, ind i en administreret Delta-tabel, så du ikke selv behøver at bygge og orkestrere traditionelle extract, transform, load (ETL) pipelines. Med automatisk skemahåndtering, dyb fladning og understøttelse af flere komprimeringsformater eliminerer genvejstransformationer kompleksiteten ved at bygge og vedligeholde ETL-pipelines.

Note

Genvejstransformationer er i øjeblikket i offentlig forhåndsvisning og kan ændres.

Hvorfor bruge genvejstransformationer?

• Ingen manuelle rørledninger – Fabric kopierer og konverterer kildefilerne automatisk til Delta-format. du behøver ikke at orkestrere trinvise belastninger.
• Hyppig opdatering – Fabric tjekker genvejen hvert andet minut og synkroniserer ændringer næsten med det samme.
• Open & analytics-ready – Output er en Delta Lake-tabel, som ethvert Apache Spark-kompatibelt program kan forespørge på.
• Samlet styring – Genvejen arver OneLake-linjen, tilladelser og Microsoft Purview-politikker.
• Spark-baseret – Transformerer og bygger til skalering.

Prerequisites

Requirement	Details
Microsoft Fabric SKU	Kapacitet eller prøve, der understøtter Lakehouse-arbejdsbyrder .
Kildedata	En mappe, der indeholder homogene CSV-, Parquet- eller JSON-filer.
Arbejdsområderolle	Bidragyder eller højere.

Understøttede kilder, formater og destinationer

Alle datakilder, der understøttes i OneLake, understøttes.

Kildefilformat	Destination	Understøttede udvidelser	Understøttede komprimeringstyper	Noter
CSV (UTF-8, UTF-16)	Delta Lake-tabellen i mappen Lakehouse / Tables	.csv,.txt(afgrænser),.tsv(tabulator-adskilt),.psv(rør-adskilt),	.csv.gz,.csv.bz2	.csv.zip,.csv.snappy understøttes ikke pr. dag
Parquet	Delta Lake-tabellen i mappen Lakehouse / Tables	.Parket	.parquet.snappy,.parquet.gzip,.parquet.lz4,.parquet.brotli,.parquet.zstd
JSON	Delta Lake-tabellen i mappen Lakehouse / Tables	.json,.jsonl,.ndjson	.json.gz,.json.bz2,.jsonl.gz,.ndjson.gz,.jsonl.bz2,.ndjson.bz2	.json.zip.json.snappy understøttes ikke pr. dato

• Excel-filunderstøttelse er en del af roadmap
• AI-transformationer tilgængelige for at understøtte ustrukturerede filformater (.txt, .doc, .docx) med tekstanalyse live med flere forbedringer på vej

Konfigurer en genvejstransformation

1. I dit lakehouse vælger du New Table Shortcut i Tables-sektionen, som er Shortcut transformation (preview), og vælger din kildekode (for eksempel Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint, OneDrive osv.).

   

2. Vælg fil, konfigurér transformation og lav genvej – Gennemse en eksisterende OneLake-genvej, der peger til mappen med dine CSV-filer, konfigurer parametre og start oprettelsen.

   • Skilletegn i CSV-filer – Vælg det tegn, der bruges til at adskille kolonner (komma, semikolon, rør, tabulator, ampersand, mellemrum).
   • Første række som overskrifter – angiv, om den første række indeholder kolonnenavne.
   • Bordgenvejsnavn – Angiv et venligt navn; Fabric opretter det under /Tables.

3. Følg opdateringer og se logfiler for gennemsigtighed i Hubben Administrer genvejsovervågning.

Fabric Spark Compute kopierer dataene til en Delta-tabel og viser fremskridt i genvejsvinduet Administrér . Genvejstransformationer er tilgængelige i Lakehouse-genstande. De opretter Delta Lake-tabeller i mappen Lakehouse / Tables .

Sådan fungerer synkronisering

Efter den indledende belastning beregnes Fabric Spark:

• Poller genvejsmålet hvert andet minut.
• Registrerer nye eller ændrede filer og tilføjer eller overskriver rækker tilsvarende.
• Opdager slettede filer og fjerner tilsvarende rækker.

Overvåg og foretag fejlfinding

Genvejstransformationer inkluderer overvågning og fejlhåndtering for at hjælpe dig med at spore indskrivningsstatus og diagnosticere problemer.

1. Åbn søhuset og højreklik på genvejen, der giver din transformation.
2. Vælg genvej til at administrere.
3. I detaljepanelet kan du se:
   • Status – Sidste scanningsresultat og nuværende synkroniseringstilstand.
   • Opfrisk historik – Kronologisk liste over synkroniseringsoperationer med rækkeantal og eventuelle fejloplysninger.
4. Se flere detaljer i logfiler for at fejlfinde

Note

Pause eller slet transformationen fra denne fane er en kommende funktion på roadmap

Begrænsninger

Nuværende begrænsninger ved genvejstransformationer:

• Kun CSV-, Parquet- og JSON-filformater understøttes.
• Filer skal dele et identisk skema; Schema drift understøttes endnu ikke.
• Transformationerne er læseoptimerede; MERGE INTO eller DELETE udsagn direkte på tabellen blokeres.
• Kun tilgængelig i Lakehouse-produkter (ikke Warehouses eller KQL-databaser).
• Uunderstøttede datatyper for CSV: Blandede datatypekolonner, Timestamp_Nanos, Komplekse logiske typer - MAP/LIST/STRUCT, Rå binær
• Uunderstøttet datatype for Parquet: Timestamp_nanos, Decimal med INT32/INT64, INT96, Utildelte heltalstyper - UINT_8/UINT_16/UINT_64, Komplekse logiske typer - MAP/LIST/STRUCT)
• Uunderstøttede datatyper for JSON: Blandede datatyper i et array, rå binære blobs inde i JSON, Timestamp_Nanos
• Fladning af array-datatype i JSON: Array-datatypen skal bevares i delta-tabellen, og data kan tilgås med Spark SQL og Pyspark, hvor Fabric Materialized Lake Views kan bruges til silver layer til yderligere transformationer
• Kildeformat: Kun CSV-, JSON- og Parquet-filer understøttes fra dato.
• Fladning af dybde i JSON: Indlejrede strukturer flades ud op til fem niveauer dybt. Dybere indlejring kræver forbehandling.
• Skriveoperationer: Transformationer er læseoptimerede; direkte MERGE INTO - eller DELETE-sætninger på transformationsmåltabellen understøttes ikke.
• Workspace-tilgængelighed: Tilgængelig kun i Lakehouse-elementer (ikke Data Warehouses eller KQL-databaser).
• Filskema-konsistens: Filer skal dele et identisk skema.

Note

At tilføje støtte til nogle af ovenstående og reducere begrænsninger er en del af vores køreplan. Følg vores udgivelseskommunikation for yderligere opdateringer.

Ryd op

Hvis du vil stoppe synkroniseringen, skal du slette genvejstransformationen fra lakehouse-brugergrænsefladen.
Hvis du sletter transformationen, fjernes de underliggende filer ikke.