Muunna rakenteelliset tiedostot Delta-taulukoiksi

Käytä pikakuvakemuunnoksia muuntaaksesi rakenteelliset tiedostot kyselyttäviksi Delta-tauluiksi. Jos lähdedata on jo taulukkomuodossa kuten CSV, Parquet, JSON tai Excel, tiedostomuunnokset kopioivat ja muuntavat datan automaattisesti Delta Lake -muotoon, jotta voit tehdä kyselyjä SQL:llä, Sparkilla tai Power BI:llä ilman ETL-putkien rakentamista.

Rakenteettomista tekstitiedostoista, jotka vaativat tekoälyn käsittelyä, kuten yhteenvetoa, käännöstä tai sentimentaalianalyysiä, katso Pikakuvakemuunnokset (tekoälypohjainen).

Oikokuvakemuunnokset pysyvät aina synkassa lähdedatan kanssa. Fabric Spark -laskenta suorittaa muunnoksen ja kopioi OneLake-pikakuvakkeen viitatut tiedot hallittuun Delta-taulukkoon. Automaattisen skeeman käsittelyn, syvätason tasoittamisen ja useiden pakkausmuotojen tuen ansiosta pikakuvakemuunnokset poistavat ETL-pipelines rakentamisen ja ylläpidon monimutkaisuuden.

Miksi pikakuvakemuunnoksia käytetään?

• Automaattinen muunnos – Fabric kopioi ja muuntaa lähdetiedostot Delta-muotoon ilman manuaalista putkilinjan orkestrointia.
• Usein synkronointi – Fabric tarkistaa pikakuvakkeen kahden minuutin välein ja synkronoi muutokset.
• Rekursiivinen kansioiden löytäminen – Fabric kulkee automaattisesti alikansioiden läpi tunnistaakseen ja muuntaakseen tiedostoja koko hakemistohierarkiassa.
• Delta Laken lähtö – Tuloksena oleva taulukko on yhteensopiva minkä tahansa Apache Spark -moottorin kanssa.
• Peritty hallinta – Oikotie perii OneLake-linjan, käyttöoikeudet ja Microsoft Purview-politiikat.

Edellytykset

Vaatimus	Yksityiskohdat
Microsoft Fabric SKU	Kapasiteetti tai kokeilu, joka tukee Lakehousen työkuormia.
Lähdedata	Kansio, joka sisältää homogeenisia CSV-, Parquet-, JSON- tai Excel-tiedostoja.
Työtilan rooli	Avustaja tai korkeampi.

Tuetut tiedostomuodot

Oikokuvakemuunnokset toimivat kansioiden kanssa mistä tahansa OneLake-pikanäppäimillä tuetuista tietolähteistä.

Lähdetiedostomuoto	Tuetut laajennukset	Tuetut pakkaustyypit	Tuettu pikakuvaketyyppi	Huomautuksia
CSV (UTF-8, UTF-16)	.csv, .txt (erottaja), .tsv (tab-eroteltu), .psv (putkieroteltu)	.csv.gz, .csv.bz2	Taulukon pikakuvake	.csv.zip eikä .csv.snappy niitä tueta.
Parquet	.parquet	.parquet.snappy, .parquet.gzip, , .parquet.lz4.parquet.brotli, ,.parquet.zstd	Taulukon pikakuvake	Ei mitään.
JSON	.json, .jsonl, .ndjson	.json.gz, .json.bz2, , .jsonl.gz.ndjson.gz, .jsonl.bz2, ,.ndjson.bz2	Taulukon pikakuvake	.json.zip eikä .json.snappy niitä tueta.
Excel	.xlsx, .xls	Ei sovellu	Taulukon pikakuvake tai skeemapikakuvake	Taulukon pikakuvakkeet yhdistävät lomakkeet yhdeksi Delta-taulukoksi. Skeeman pikakuvakkeet luovat yhden Delta-taulukon per arkki. .xls (legacy binäärimuoto) tuetaan parhaalla mahdollisella tavalla; .xlsx on suositeltu muoto.

Muistio

Excel-tiedostojen muunnokset ovat tällä hetkellä esikatseluvaiheessa. CSV-, Parquet- ja JSON-muunnokset ovat yleisesti saatavilla.

Luo taulun pikakuvake datan muunnoksella

Taulun pikakuvake luo yhden Delta-taulun järvenrakennuksen Tables-kansioon . Käytä sitä CSV-, Parquet-, JSON- tai Excel-tiedostojen muuntamiseen.

Useilla taulukoilla varustetuissa Excel-tiedostoissa taulukon pikakuvake yhdistää valitut taulukot yhdeksi Delta-taulukoksi. Jos tarvitset yhden Delta-taulukon per arkki, luo sen sijaan skeeman pikakuvake .

1. Lakehousessasi napsauta hiiren oikealla skeemaa Tables-kansion alta ja valitse sitten New table pikakuvake. Valitse pikakuvakelähde, kuten Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint tai OneDrive.

   

2. Valitse kansio, jossa on CSV-, Parquet- tai JSON-tiedostosi, tai valitse kansio, joka sisältää .xlsx tiedostosi.

3. Muunnosvaiheessa määritä Delta-muunnoksen asetukset:

   • CSV-tiedostot:

     • Erotin – Valitse merkki, jolla sarakkeet erotetaan toisistaan, kuten pilkku, puolipiste, putki, tabulatuu, ampersand tai välilyönti.
     • Ensimmäinen rivi otsikoina – Ilmaise, sisältääkö ensimmäinen rivi sarakkeiden nimiä.

   • Excel-tiedostot:

     • Ensimmäinen rivi otsikoina – Ilmaise, sisältääkö ensimmäinen rivi sarakkeiden nimiä.
     • Sisällytettävät lomakkeet – Valitse kaikki arkit tai vain osa arkistoista. Voit valita arkkeja nimen, indeksin tai villikorttikuvioiden avulla (esimerkiksi Sales_* matchsheetit kuten Sales_Q1 ja Sales_2026). Villikorttien yhdistäminen ei ole kirjain- ja kirjainkohtainen.

4. Tarkista pikakuvakeiden kokoonpano. Esikatselupikanäppäimissä voit myös määrittää nämä asetukset ennen kuin valitset Luo:

   • Pikakuvakkeen nimi – Valitse kynäkuvake muokataksesi pikakuvakkeen nimeä.
   • Sisällytä alikansiot – Ota käyttöön tiedostojen rekursiivinen käsittely sisäkkäisiin alihakemistoihin. Tämä vaihtoehto valitaan oletuksena uusille muodonmuutoksille. Tyhjennä valintaruutu, jos haluat käsitellä vain ylimmän kansion.

5. Seuraa päivityksiä ja näytä lokit Hallinta pikanäppäinten seurantakeskuksessa.

Fabric Spark -laskenta luo Delta-taulukon ja näyttää edistymisen Hallinnoi-pikakuvake-ruudussa .

Excel-tiedostoissa tuloksena oleva Delta-taulukko sisältää __filepath__ metatietosarakkeita __sheetname__ , jotta voit jäljittää jokaisen rivin takaisin sen lähdetiedostoon ja taulukkoon.

Luo skeeman pikakuvake datan muunnoksella

Skeeman pikakuvake luo useita Delta-taulukoita, jotka näkyvät uuden skeeman alla järvenrakennuksen Tables-kansiossa . Käytä sitä, kun Excel-työkirjassa on useita taulukoita ja haluat yhden Delta-taulukon per taulukko.

Skeema-pikakuvakkeet datan muunnoksella ovat tällä hetkellä saatavilla vain Excel-tiedostoille (.xlsx). Tarvitaan myös järvenmökki, jossa on skeemat käytössä. Lisätietoja löytyy Lakehouse-kaavioista.

1. Lakehousessasi napsauta Tables-kansiota hiiren oikealla ja valitse Uusi skeema-pikakuvake.

   

2. Valitse tämän pikakuvakkeen tietolähde ja siirry kansioon, jossa tiedostosi .xlsx sijaitsevat.

3. Muunnosvaiheessa määritä Delta-muunnoksen asetukset:

   • Ensimmäinen rivi otsikoina – Ilmaise, sisältääkö ensimmäinen rivi sarakkeiden nimiä.
   • Sisällytettävät lomakkeet – Valitse kaikki arkit tai vain osa arkistoista. Voit valita taulukot nimen, indeksin tai villikorttikuvioiden perusteella.

   

4. Tarkista pikakuvakeiden kokoonpano. Esikatselupikanäppäimissä voit myös määrittää nämä asetukset ennen kuin valitset Luo:

   • Pikakuvakkeen nimi – Valitse kynäkuvake muokataksesi pikakuvakkeen nimeä.
   • Sisällytä alikansiot – Ota käyttöön tiedostojen rekursiivinen käsittely sisäkkäisiin alihakemistoihin. Tämä vaihtoehto valitaan oletuksena uusille muodonmuutoksille. Tyhjennä valintaruutu, jos haluat käsitellä vain ylimmän kansion.

5. Seuraa päivityksiä ja näytä lokit Hallinta pikanäppäinten seurantakeskuksessa.

Fabric Spark -laskenta luo erilliset Delta-taulukot valituille arkeille ja pitää ne synkronoituna lähdetiedostojen kanssa. Arkkien nimet puhdistetaan automaattisesti kelvollisiksi taulukkonimiksi. Esimerkiksi arkki nimeltä Sales Data (Q1) muuttuu Sales_Data_Q1.

Näin synkronointi toimii

Ensimmäisen kuormituksen jälkeen Fabric Spark -käsittely:

• Kyselyt oikotien kohteesta kahden minuutin välein.
• Havaitsee uudet tai muokatut tiedostot ja liittää tai korvaa rivejä vastaavasti.
• Tunnistaa poistetut tiedostot ja poistaa vastaavat rivit.

Kun alikansiotuki on käytössä, järjestelmä rekursiivisesti löytää ja käsittelee tiedostoja kaikissa kohdekansion sisäkkäisissä alihakemistoissa.

Valvonta ja vianmääritys

Pikakuvakemuunnoksiin kuuluu seuranta ja virheenkäsittely, jotka auttavat seuraamaan syöttötilannetta ja diagnosoimaan ongelmia.

1. Avaa järvitalo ja napsauta hiiren oikealla pikakuvaketta, joka syöttää muodonmuutoksesi.

2. Valitse Hallitse pikakuvake.

3. Yksityiskohdissa voit nähdä:

   • Tila – Viimeisimmän skannauksen tulos ja nykyinen synkronointitila.

   • Päivityshistoria – Kronologinen lista synkronointioperaatioista rivimäärineen ja mahdollisine virheineen.

   • Sisällytä alikansiot – Kertoo, onko alikansion muunnos käytössä (Kyllä vai Ei).

     

4. Katso lisätietoja lokeista vianetsintään.

   

Rajoitukset

Seuraavat rajoitukset koskevat tällä hetkellä pikakuvakemuunnoksia.

Yleiset rajoitukset

• Lähdemuoto: CSV-, JSON-, Parquet- ja Excel-tiedostot ovat tuettuja.
• Tiedostoskeeman johdonmukaisuus: Tiedostojen täytyy jakaa identtinen skeema.
• Työtilan saatavuus: Saatavilla vain Lakehouse-tuotteissa (ei Data Warehouseissa tai KQL-tietokannoissa).
• Kirjoitusoperaatiot: Muunnokset ovat lukuoptimoituja. Direct MERGE INTO tai DELETE-lauseet transformaatiokohdetaulukossa eivät ole tuettuja.
• Skeeman pikanäppäimen saatavuus: Skeeman pikakuvakkeet tiedostomuunnokseen tukevat vain Excel-tiedostoja.

CSV-rajoitukset

• Tuettomat tietotyypit: Sekatietotyyppiset sarakkeet, Timestamp_Nanos, monimutkaiset loogiset tyypit - MAP/LIST/STRUCT, RAAKA BINÄÄRI.

Parquet-rajoitukset

• Tuettomat tietotyypit: Timestamp_nanos, Desimaali INT32/INT64:llä, INT96, Määrittämättömät kokonaislukutyypit - UINT_8/UINT_16/UINT_64, Monimutkaiset loogiset tyypit - MAP/LIST/STRUCT.

JSON-rajoitukset

• Tuettomat tietotyypit: Sekatietotyypit taulukossa, raaka-binääriläiset JSONin sisällä, Timestamp_Nanos.
• Taulukon tietotyypin litistys: Taulukon datatyyppi säilytetään Delta-taulukossa ja se on käytettävissä Spark SQL:llä ja PySparkilla. Lisämuunnoksia varten käytä Fabric Materialized Lake Views -näyttöä hopeakerroksena.
• Syvyyden tasoittaminen: Sisäkkäiset rakenteet on litistetty viiden tason syvyyteen. Syvempi pesänrakentaminen vaatii esikäsittelyä.

Excelin rajoitukset

• Solukantama: Data luetaan aina solusta A1 alkaen. Työkirjat, joissa data alkaa eri solusta tai käyttää nimettyjä taulukoita tai alueita, eivät voi kohdistaa.
• Rivien ohittaminen: Otsikkobannereita, metatietojen esipuheita ja alatunnisteiden yhteenvetoja varsinaisen datan ylä- tai alapuolella ei voi sulkea pois. Ne otetaan vastaan datariveinä.
• Skeeman päättely: Skeemapäättely on aina käytössä Excel-tiedostoissa. Tunnisteet, joilla on etunollat (esimerkiksi postinumerot kuten 02134 tai työntekijätunnukset kuten 001245) muunnetaan kokonaisluvuiksi, jolloin johtavat nollat poistuvat.
• Piilotetut lomakkeet: Kaikki lomakkeet, mukaan lukien piilotetut ja järjestelmälomakkeet, käsitellään, ellei niitä nimenomaisesti suodateta nimen tai indeksin perusteella.
• Valuuttamuotoilu: Valuuttamuotoiset solut (esim. $1,234.56) muunnetaan tavallisiksi numeerisiksi arvoiksi. Valuuttasymboli on riisuttu.
• Herkkyysmerkinnät: Työkirjoja, joissa on Microsoft Purview -herkkyysmerkintöjä, ei voi käsitellä.
• Korruptoituneet rivit: Excel-lukija ei tue korruptoituneiden tietueiden eristystä. Korruptoituneita tai tyypin eri rivejä taulukossa ei voi erottaa ja kirjata erikseen.
• Levyjen rajoitus: Tiedostot, joissa on yli 25 arkkia, ohitetaan.
• Perintömuoto:.xls (legacy binary format) on tuettu parhaalla mahdollisella tavalla ja saattaa olla heikentänyt tarkkuutta monimutkaisessa muotoilussa. .xlsx on suositeltu muoto.
• Kaava-arviointi: Spark lukee kaavasolujen välimuistissa olevat arvot. Jos työkirjaa ei tallennettu laskettujen arvojen kanssa, kaavasolut saattavat näyttää tyhjiltä tai vanhentuneilta.

Alikansion rajoitukset

• Saatavilla vain uusille muodonmuutoksille. Olemassa olevat muunnokset eivät voi ottaa alikansiotukea käyttöön.
• Kun alikansiotuki on käytössä, sitä ei voi poistaa käytöstä.
• Kohdekansion sisällä olevia pikakuvakkeita ei noudateta. Vain fyysiset kansiot ja tiedostot käsitellään.
• Valikoiva alikansioiden sisällyttäminen tai poissulkeminen ei ole tuettua.
• Sisäkkäiset kansiot eivät toimi SharePointin pikakuvakkeiden kanssa.

Käytä Fabric Roadmap - ja Fabric Updates -blogia oppiaksesi uusista ominaisuuksista ja julkaisuista.

Puhdista

Synkronoinnin pysäyttämiseksi poista pikakuvakemuunnos Lakehouse Explorerista.

Muunnoksen poistaminen ei poista taustalla olevia tiedostoja.