Mengubah file terstruktur menjadi tabel Delta

Gunakan transformasi pintasan untuk mengonversi file terstruktur menjadi tabel Delta yang dapat dikueri. Jika data sumber Anda sudah dalam format tabular seperti CSV, Parquet, JSON, atau Excel, transformasi file secara otomatis menyalin dan mengonversi data tersebut ke dalam format Delta Lake sehingga Anda bisa mengkuerinya dengan menggunakan SQL, Spark, atau Power BI tanpa membangun alur ETL.

Untuk file teks tidak terstruktur yang memerlukan pemrosesan AI seperti ringkasan, terjemahan, atau analisis sentimen, lihat Transformasi pintasan (didukung AI).

Transformasi pintasan tetap sinkron dengan data sumber. Komputasi Fabric Spark menjalankan transformasi dan menyalin data yang dirujuk oleh pintasan OneLake ke dalam tabel Delta terkelola. Dengan penanganan skema otomatis, kemampuan perataan mendalam, dan dukungan untuk beberapa format kompresi, transformasi pintasan menghilangkan kompleksitas membangun dan memelihara alur ETL.

Mengapa menggunakan transformasi pintasan?

  • Konversi otomatis – Fabric menyalin dan mengonversi file sumber ke format Delta tanpa orkestrasi alur manual.
  • Sinkronisasi yang sering – Fabric melakukan polling pintasan setiap dua menit dan menyinkronkan perubahan.
  • Penemuan folder rekursif – Fabric secara otomatis melintasi subfolder untuk mendeteksi dan mengubah file di seluruh hierarki direktori.
  • Output Delta Lake – Tabel yang dihasilkan kompatibel dengan mesin Apache Spark apa pun.
  • Tata kelola yang diwariskan – Pintasan mewarisi silsilah OneLake, izin, dan kebijakan Microsoft Purview.

Prasyarat

Persyaratan Rincian
Kain SKU Kapasitas atau uji coba yang mendukung beban kerja Lakehouse .
Data sumber Folder yang berisi file CSV, Parquet, JSON, atau Excel yang homogen.
Peran ruang kerja Kontributor atau lebih tinggi.

Format file yang didukung

Transformasi pintasan berfungsi pada folder dari sumber data apa pun yang didukung oleh pintasan di OneLake.

Format file sumber Ekstensi yang didukung Jenis kompresi yang didukung Jenis pintasan yang didukung Catatan
CSV (UTF-8, UTF-16) .csv, .txt (pemisah), .tsv (dipisah menggunakan tab), .psv (dipisah menggunakan pipa) .csv.gz, .csv.bz2 Pintasan tabel .csv.zip dan .csv.snappy tidak didukung.
Parquet .parquet .parquet.snappy, .parquet.gzip, .parquet.lz4, .parquet.brotli, .parquet.zstd Pintasan tabel Tidak ada.
JSON .json, .jsonl, .ndjson .json.gz, .json.bz2, .jsonl.gz, .ndjson.gz, .jsonl.bz2, .ndjson.bz2 Pintasan tabel .json.zip dan .json.snappy tidak didukung.
Excel .xlsx, .xls Tidak berlaku Pintasan tabel atau pintasan skema Pintasan tabel menggabungkan lembar ke dalam satu tabel Delta. Pintasan skema membuat satu tabel Delta untuk setiap lembar. .xls (format biner warisan) didukung berdasarkan upaya terbaik; .xlsx adalah format yang direkomendasikan.

Nota

Transformasi file Excel saat ini berada dalam pratinjau. Transformasi CSV, Parquet, dan JSON umumnya tersedia.

Membuat pintasan tabel dengan transformasi data

Pintasan tabel membuat satu tabel Delta di folder Tabel lakehouse. Gunakan untuk mengubah file CSV, Parquet, JSON, atau Excel.

Untuk file Excel dengan beberapa lembar, pintasan tabel menggabungkan lembar terpilih ke dalam satu tabel Delta. Jika Anda memerlukan satu tabel Delta per lembar, buat pintasan skema sebagai gantinya.

  1. Di lakehouse Anda, klik kanan skema di bawah folder Tabel, lalu pilih Pintasan tabel baru. Pilih sumber pintasan Anda, seperti Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint, atau OneDrive.

    Cuplikan layar yang menunjukkan pembuatan 'pintasan tabel'.

  2. Pilih folder dengan file CSV, Parquet, atau JSON Anda, atau pilih folder yang berisi file .xlsx Anda.

  3. Pada langkah Transformasi , konfigurasikan pengaturan untuk konversi Delta:

    • File CSV:

      • Pemisah – Pilih karakter yang digunakan untuk memisahkan kolom, seperti koma, titik koma, pipa, tab, ampersand, atau spasi.
      • Baris pertama sebagai header – Menunjukkan apakah baris pertama berisi nama kolom.

    • File Excel:

      • Baris pertama sebagai header – Menunjukkan apakah baris pertama berisi nama kolom.
      • Lembar yang akan disertakan – Pilih semua lembar atau hanya subset lembar. Anda dapat memilih lembar menurut nama, menurut indeks, atau dengan menggunakan pola kartubebas (misalnya, Sales_* mencocokkan lembar seperti Sales_Q1 dan Sales_2026). Pencocokan wildcard tidak peka terhadap huruf besar/kecil.

  4. Tinjau konfigurasi pintasan. Pada langkah Pratinjau pintasan , Anda juga dapat mengonfigurasi pengaturan ini sebelum memilih Buat:

    • Nama pintasan – Pilih ikon pensil untuk mengedit nama pintasan.
    • Sertakan subfolder - Aktifkan pemrosesan file rekursif dalam subdirektori berlapis. Opsi ini dipilih secara default untuk transformasi baru. Kosongkan kotak centang jika Anda hanya ingin memproses folder tingkat atas.

  5. Lacak pembaruan dan lihat log di Hub Pemantauan Pintasan.

Komputasi Fabric Spark membuat tabel Delta dan memperlihatkan kemajuan di panel Kelola pintasan .

Untuk file Excel, tabel Delta yang dihasilkan menyertakan __filepath__ dan __sheetname__ kolom metadata sehingga Anda dapat melacak setiap baris kembali ke file dan lembar sumbernya.

Membuat pintasan skema dengan transformasi data

Tombol pintas skema membuat beberapa tabel Delta yang muncul di bawah skema baru di folder Tabel di lakehouse. Gunakan saat buku kerja Excel memiliki beberapa lembar dan Anda menginginkan satu tabel Delta per lembar.

Pintasan skema dengan transformasi data saat ini hanya tersedia untuk file Excel (.xlsx). Mereka juga memerlukan lakehouse dengan skema yang diaktifkan. Untuk informasi selengkapnya, lihat Skema Lakehouse.

  1. Di lakehouse Anda, klik kanan folder Tabel , lalu pilih Pintasan skema baru.

    Cuplikan layar yang memperlihatkan pembuatan 'pintasan skema'.

  2. Pilih sumber data untuk pintasan ini, dan navigasikan ke folder yang berisi file Anda .xlsx .

  3. Pada langkah Transformasi , konfigurasikan pengaturan untuk konversi Delta:

    • Baris pertama sebagai header – Menunjukkan apakah baris pertama berisi nama kolom.
    • Lembar yang akan disertakan – Pilih semua lembar atau hanya subset lembar. Anda dapat memilih lembar kerja menurut nama, menurut indeks, atau dengan menggunakan pola karakter pengganti.

    Cuplikan layar yang memperlihatkan opsi transformasi untuk pintasan skema.

  4. Tinjau konfigurasi pintasan. Pada langkah Pratinjau pintasan , Anda juga dapat mengonfigurasi pengaturan ini sebelum memilih Buat:

    • Nama pintasan – Pilih ikon pensil untuk mengedit nama pintasan.
    • Sertakan subfolder - Aktifkan pemrosesan file rekursif dalam subdirektori berlapis. Opsi ini dipilih secara default untuk transformasi baru. Kosongkan kotak centang jika Anda hanya ingin memproses folder tingkat atas.

  5. Lacak pembaruan dan lihat log di Hub Pemantauan Pintasan.

Komputasi Fabric Spark membuat tabel Delta terpisah untuk lembar yang dipilih dan membuatnya tetap sinkron dengan file sumber. Nama lembar secara otomatis dibersihkan ke nama tabel yang valid. Misalnya, lembar bernama Sales Data (Q1) menjadi Sales_Data_Q1.

Cara kerja sinkronisasi

Setelah beban awal, Fabric Spark menghitung:

  • Memeriksa target pintasan setiap dua menit.
  • Mendeteksi file baru atau yang dimodifikasi dan menambahkan atau menimpa baris yang sesuai.
  • Mendeteksi file yang dihapus dan menghapus baris terkait.

Ketika dukungan subfolder diaktifkan, sistem secara rekursif menemukan dan memproses file di semua subdirektori berlapis dalam folder target.

Memantau dan memecahkan masalah

Transformasi pintasan termasuk pemantauan dan penanganan kesalahan untuk membantu Anda melacak status penyerapan dan mendiagnosis masalah.

  1. Buka lakehouse dan klik kanan pintasan yang memberi umpan transformasi Anda.

  2. Pilih Kelola pintasan.

  3. Di panel detail, Anda bisa menampilkan:

    • Status – Hasil pemindaian terakhir dan status sinkronisasi saat ini.

    • Riwayat refresh – Daftar kronologis operasi sinkronisasi dengan jumlah baris dan detail kesalahan apa pun.

    • Sertakan subfolder – Menunjukkan apakah transformasi subfolder diaktifkan (Ya atau Tidak).

      Cuplikan layar yang memperlihatkan 'hub pemantauan' untuk melihat status transformasi.

  4. Lihat detail selengkapnya dalam log untuk memecahkan masalah.

    Cuplikan layar yang memperlihatkan cara mengakses 'file log' untuk memecahkan masalah.

Keterbatasan

Batasan berikut saat ini berlaku untuk transformasi pintasan.

Pembatasan umum

  • Format sumber: File CSV, JSON, Parquet, dan Excel didukung.
  • Konsistensi skema file: File harus berbagi skema yang identik.
  • Ketersediaan ruang kerja: Hanya tersedia di item Lakehouse (bukan Gudang Data atau database KQL).
  • Operasi tulis: Transformasi dioptimalkan untuk dibaca. Pernyataan MERGE INTO atau DELETE langsung pada tabel target transformasi tidak didukung.
  • Ketersediaan pintasan skema: Pintasan skema untuk transformasi file hanya mendukung file Excel.

Batasan CSV

  • Jenis data yang tidak didukung: Jenis logika kompleks - MAP/LIST/STRUCT, Biner mentah.

Batasan JSON

  • Meratakan tipe data array: Tipe data array dipertahankan dalam tabel Delta dan dapat diakses melalui Spark SQL dan PySpark. Untuk transformasi lebih lanjut, gunakan Fabric Materialized Lake Views untuk lapisan perak.
  • Kedalaman perataan: Struktur berlapis diratakan hingga lima lapisan. Penyarangan yang lebih dalam membutuhkan proses praprosesan.

Batasan Excel

  • Rentang sel: Data selalu dibaca mulai dari sel A1. Buku kerja dengan data yang dimulai di sel berbeda, atau menggunakan tabel atau rentang yang diberi nama, tidak dapat ditargetkan.
  • Lewati baris: Spanduk judul, pembukaan metadata, dan ringkasan footer yang berada di atas atau di bawah data aktual tidak bisa dikecualikan. Data diambil dalam bentuk baris.
  • Inferensi skema: Inferensi skema selalu diaktifkan untuk file Excel. Pengidentifikasi dengan nol di depan (misalnya, kode pos seperti 02134 atau ID karyawan seperti 001245) dikonversi menjadi bilangan bulat, yang menghapus nol di depannya.
  • Lembar tersembunyi: Semua lembar, termasuk lembar tersembunyi dan sistem, diproses kecuali difilter secara eksplisit menurut nama atau indeks.
  • Pemformatan mata uang: Sel berformat mata uang (misalnya, $1,234.56) dikonversi menjadi nilai numerik biasa. Simbol mata uang dilucuti.
  • Label sensitivitas: Buku kerja dengan label sensitivitas Microsoft Purview tidak dapat diproses.
  • Baris rusak: Pembaca Excel tidak mendukung mengisolasi catatan rusak. Baris yang rusak atau tidak cocok dengan jenis dalam lembar tidak dapat diisolasi dan dicatat secara terpisah.
  • Batas lembar: File dengan lebih dari 25 lembar dilewati.
  • Format warisan:.xls (format biner warisan) didukung berdasarkan upaya terbaik dan mungkin mengurangi keakuratan untuk pemformatan kompleks. .xlsx adalah format yang direkomendasikan.
  • Evaluasi rumus: Spark membaca nilai sel rumus yang di-cache. Jika buku kerja tidak disimpan dengan nilai terhitung, sel rumus mungkin tampak kosong atau kedaluarsa.

Batasan subfolder

  • Hanya tersedia untuk transformasi baru. Transformasi yang ada tidak dapat mengaktifkan dukungan subfolder.
  • Setelah dukungan subfolder diaktifkan, dukungan tidak dapat dinonaktifkan.
  • Pintasan yang ditumpuk di dalam folder target tidak diikuti. Hanya folder fisik dan file yang diproses.
  • Pemilihan untuk menyertakan atau mengecualikan subfolder tertentu tidak didukung.
  • Folder berlapis tidak berfungsi dengan pintasan SharePoint.

Gunakan Fabric Roadmap dan Fabric Update Blog untuk mempelajari tentang fitur dan rilis baru.

Pembersihan

Untuk menghentikan sinkronisasi, hapus transformasi pintasan dari penjelajah Lakehouse.

Menghapus transformasi tidak menghapus file yang mendasar.

  • Last updated on