Mengonfigurasi Lakehouse dalam aktivitas salin

Artikel ini menguraikan cara menggunakan aktivitas salin dalam alur data untuk menyalin data dari dan ke Fabric Lakehouse. Secara default, data ditulis ke Lakehouse Table dalam V-Order, dan Anda dapat membuka pengoptimalan tabel Delta Lake dan V-Order untuk informasi selengkapnya.

Format yang didukung

Lakehouse mendukung format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.

• Format Avro
• Format Biner
• Format teks terpisah
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Konfigurasi yang didukung

Untuk konfigurasi setiap tab di bawah aktivitas salin, buka bagian berikut.

• Umum
• Sumber
• Tujuan
• Pemetaan
• Pengaturan

Umum

Untuk konfigurasi tab Umum, buka Umum.

Sumber

Properti berikut ini didukung untuk Lakehouse di bawah tab Sumber dari aktivitas salin.

Properti berikut diperlukan:

• Jenis penyimpanan data: Pilih Ruang Kerja.

• Jenis penyimpanan data ruang kerja: Pilih Lakehouse dari daftar jenis penyimpanan data.

• Lakehouse: Pilih Lakehouse yang ada dari ruang kerja. Jika tidak ada, buat Lakehouse baru dengan memilih Baru. Jika Anda menggunakan Tambahkan konten dinamis untuk menentukan Lakehouse Anda, tambahkan parameter dan tentukan ID objek Lakehouse sebagai nilai parameter. Untuk mendapatkan ID objek Lakehouse Anda, buka Lakehouse di ruang kerja Anda, dan ID tersebut setelah /lakehouses/di URL Anda.

  

• Folder akar: Pilih Tabel atau File, yang menunjukkan tampilan virtual area terkelola atau tidak terkelola di danau Anda. Untuk informasi selengkapnya, lihat pengantar Lakehouse.

  • Jika Anda memilih Tabel:
    • Nama tabel: Pilih tabel yang sudah ada dari daftar tabel atau tentukan nama tabel sebagai sumbernya.
    • Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:
      • Tanda waktu: Tentukan untuk mengkueri rekam jepret yang lebih lama berdasarkan tanda waktu.
      • Versi: Tentukan untuk mengkueri rekam jepret yang lebih lama menurut versi.
      • Kolom tambahan: Tambahkan kolom data tambahan ke jalur relatif atau nilai statis file sumber penyimpanan. Ekspresi didukung untuk yang terakhir.
  • Jika Anda memilih File:

    • Jenis jalur file: Anda dapat memilih Jalur file, jalur file Wildcard, atau Daftar file sebagai jenis jalur file Anda. Daftar berikut menjelaskan konfigurasi setiap pengaturan:

      

      • Jalur file: Pilih Telusuri untuk memilih file yang ingin Anda salin, atau isi jalur secara manual.

      • Jalur file kartubebas: Tentukan folder atau jalur file dengan karakter kartubebas di bawah area tidak terkelola Lakehouse tertentu (di bawah File) untuk memfilter folder atau file sumber Anda. Kartubebas yang diizinkan adalah: * (cocok dengan nol atau lebih karakter) dan ? (cocok dengan karakter nol atau satu). Gunakan ^ untuk melarikan diri jika folder atau nama file Anda memiliki kartubebas atau karakter escape ini di dalamnya.

        • Jalur folder kartubebas: Jalur ke folder di bawah kontainer yang diberikan. Jika Anda ingin menggunakan kartubebas untuk memfilter folder, lewati pengaturan ini dan tentukan informasi tersebut di pengaturan sumber aktivitas.

        • Nama file kartubebas: Nama file di bawah area tidak terkelola Lakehouse yang diberikan (di bawah File) dan jalur folder.

          

      • Daftar file: Menunjukkan untuk menyalin kumpulan file tertentu.

        • Jalur folder: Menunjuk ke folder yang menyertakan file yang ingin Anda salin.
        • Jalur ke daftar file: Menunjuk ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris, yang merupakan jalur relatif ke jalur file yang dikonfigurasi.

        

    • Secara rekursif: Menunjukkan apakah data dibaca secara rekursif dari subfolder atau hanya dari folder yang ditentukan. Jika diaktifkan, semua file di folder input dan subfoldernya diproses secara rekursif. Properti ini tidak berlaku saat Anda mengonfigurasi tipe jalur file sebagai Daftar file.

    • Format file: Pilih format file Anda dari daftar drop-down. Pilih tombol Pengaturan untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.

    • Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:

      • Filter menurut terakhir diubah: File difilter berdasarkan tanggal terakhir diubah. Properti ini tidak berlaku saat Anda mengonfigurasi tipe jalur file sebagai Daftar file.
        • Waktu mulai: File dipilih jika waktu terakhir diubah lebih besar dari atau sama dengan waktu yang dikonfigurasi.
        • Waktu selesai: File dipilih jika waktu terakhir dimodifikasi kurang dari waktu yang dikonfigurasi.
      • Aktifkan penemuan partisi: Untuk file yang dipartisi, tentukan apakah akan mengurai partisi dari jalur file dan menambahkannya sebagai kolom sumber tambahan.
        • Jalur akar partisi: Saat penemuan partisi diaktifkan, tentukan jalur akar absolut untuk membaca folder yang dipartisi sebagai kolom data.
      • Koneksi bersamaan maks: Menunjukkan batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.

Tujuan

Properti berikut ini didukung untuk Lakehouse di bawah tab Tujuan dari aktivitas salin.

Properti berikut diperlukan:

• Jenis penyimpanan data: Pilih Ruang Kerja.

• Jenis penyimpanan data ruang kerja: Pilih Lakehouse dari daftar jenis penyimpanan data.

• Lakehouse: Pilih Lakehouse yang ada dari ruang kerja. Jika tidak ada, buat Lakehouse baru dengan memilih Baru. Jika Anda menggunakan Tambahkan konten dinamis untuk menentukan Lakehouse Anda, tambahkan parameter dan tentukan ID objek Lakehouse sebagai nilai parameter. Untuk mendapatkan ID objek Lakehouse Anda, buka Lakehouse di ruang kerja Anda, dan ID tersebut setelah /lakehouses/di URL Anda.

  

• Folder akar: Pilih Tabel atau File, yang menunjukkan tampilan virtual area terkelola atau tidak terkelola di danau Anda. Untuk informasi selengkapnya, lihat pengantar Lakehouse.

  • Jika Anda memilih Tabel:

    • Nama tabel: Pilih tabel yang sudah ada dari daftar tabel atau tentukan nama tabel sebagai tujuan.

      

    • Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:

      • Baris maks per file: Tentukan baris maksimum per file saat menulis data ke Lakehouse.
      • Tindakan tabel: Tentukan operasi terhadap tabel yang dipilih.
        • Tambahkan: Tambahkan nilai baru ke tabel yang sudah ada.
          • Aktifkan Partisi: Pilihan ini memungkinkan Anda membuat partisi dalam struktur folder berdasarkan satu atau beberapa kolom. Setiap nilai kolom (pasangan) yang berbeda adalah partisi baru. Misalnya, "year=2000/month=01/file".
            • Nama kolom partisi: Pilih dari kolom tujuan dalam pemetaan skema saat Anda menambahkan data ke tabel baru. Saat Anda menambahkan data ke tabel yang sudah ada yang sudah memiliki partisi, kolom partisi berasal dari tabel yang ada secara otomatis. Jenis data yang didukung adalah string, bilangan bulat, boolean, dan tanggalwaktu. Format menghormati pengaturan konversi jenis di bawah tab Pemetaan .
        • Timpa: Timpa data dan skema yang ada dalam tabel menggunakan nilai baru. Jika operasi ini dipilih, Anda dapat mengaktifkan partisi pada tabel target Anda:
          • Aktifkan Partisi: Pilihan ini memungkinkan Anda membuat partisi dalam struktur folder berdasarkan satu atau beberapa kolom. Setiap nilai kolom (pasangan) yang berbeda adalah partisi baru. Misalnya, "year=2000/month=01/file".
            • Nama kolom partisi: Pilih dari kolom tujuan dalam pemetaan skema. Jenis data yang didukung adalah string, bilangan bulat, boolean, dan tanggalwaktu. Format menghormati pengaturan konversi jenis di bawah tab Pemetaan .
      • Koneksi bersamaan maksimum: Batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.

  • Jika Anda memilih File:

    • Jalur file: Pilih Telusuri untuk memilih file yang ingin Anda salin, atau isi jalur secara manual.

      

    • Format file: Pilih format file Anda dari daftar drop-down. Pilih Pengaturan untuk mengonfigurasi format file. Untuk pengaturan format file yang berbeda, lihat artikel dalam Format yang didukung untuk informasi terperinci.

    • Di bawah Tingkat Lanjut, Anda bisa menentukan bidang berikut ini:

      • Perilaku salin: Menentukan perilaku salin saat sumbernya adalah file dari penyimpanan data berbasis file. Anda dapat memilih Tambahkan konten Dinamis, Tidak Ada, Ratakan hierarki, atau Pertahankan hierarki sebagai perilaku salin Anda. Konfigurasi setiap pengaturan adalah:

        • Menambahkan konten dinamis: Untuk menentukan ekspresi untuk nilai properti, pilih Tambahkan konten dinamis. Bidang ini membuka penyusun ekspresi tempat Anda dapat membangun ekspresi dari variabel sistem yang didukung, output aktivitas, fungsi, dan variabel atau parameter yang ditentukan pengguna. Untuk informasi selengkapnya tentang bahasa ekspresi, buka Ekspresi dan fungsi.

        • Tidak Ada: Pilih pilihan ini untuk tidak menggunakan perilaku salin apa pun.

        • Meratakan hierarki: Semua file dari folder sumber berada di tingkat pertama folder tujuan. File tujuan memiliki nama yang dibuat secara otomatis.

        • Mempertahankan hierarki: Mempertahankan hierarki file di folder target. Jalur relatif file sumber ke folder sumber identik dengan jalur relatif file target ke folder target.

          

      • Koneksi bersamaan maksimum: Batas atas koneksi bersamaan yang dibuat ke penyimpanan data selama aktivitas berjalan. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.

      • Ukuran blok (MB): Tentukan ukuran blok dalam MB saat menulis data ke Lakehouse. Nilai yang diizinkan adalah antara 4 MB dan 100 MB.

      • Metadata: Atur metadata kustom saat menyalin ke penyimpanan data tujuan. Setiap objek di bawah metadataarray mewakili kolom tambahan. name mendefinisikan nama kunci metadata, dan value menunjukkan nilai data dari kunci tersebut. Jika fitur pertahankan atribut digunakan, metadata yang ditentukan akan digabungkan/ditimpa dengan metadata file sumber. Nilai data yang diizinkan adalah:

        • $$LASTMODIFIED: variabel yang dicadangkan menunjukkan untuk menyimpan waktu modifikasi terakhir file sumber. Terapkan ke sumber berbasis file dengan format biner saja.

        • Ekspresi

        • Nilai statis

          

Pemetaan

Untuk konfigurasi tab Pemetaan, jika Anda tidak menerapkan tabel Lakehouse sebagai penyimpanan data tujuan Anda, buka Pemetaan.

Jika Anda menerapkan tabel Lakehouse sebagai penyimpanan data tujuan Anda, kecuali konfigurasi di Pemetaan, Anda dapat mengedit jenis untuk kolom tujuan Anda. Setelah memilih Impor skema, Anda dapat menentukan jenis kolom di tujuan Anda.

Misalnya, jenis untuk kolom PersonID di sumber adalah int, dan Anda dapat mengubahnya menjadi jenis string saat memetakan ke kolom tujuan.

Catatan

Mengedit tipe tujuan saat ini tidak didukung ketika sumber Anda berjenis desimal.

Jika Anda memilih Biner sebagai format file Anda, pemetaan tidak didukung.

Pengaturan

Untuk konfigurasi tab Pengaturan, buka Pengaturan.

Ringkasan tabel

Tabel berikut berisi informasi selengkapnya tentang aktivitas salin di Lakehouse.

Informasi sumber

Nama	Deskripsi	Nilai	Wajib	Properti skrip JSON
Jenis penyimpanan data	Jenis penyimpanan data Anda.	Workspace	Ya	/
Jenis penyimpanan data ruang kerja	Bagian untuk memilih jenis penyimpanan data ruang kerja Anda.	Lakehouse	Ya	jenis
Lakehouse	Lakehouse yang kau gunakan sebagai sumber.	<Lakehouse Anda>	Ya	workspaceId artifactId
Folder akar	Jenis folder akar.	* Tabel * File	No	rootFolder: Tabel atau File
Nama tabel	Nama tabel untuk membaca data.	<nama tabel>	Ya saat Anda memilih Tabel di folder Root	Meja (di bawah typeProperties ->source ->typeProperties)
Stempel waktu	Tanda waktu untuk mengkueri rekam jepret yang lebih lama.	<timestamp>	No	timestampAsOf
Versi	Versi untuk mengkueri rekam jepret yang lebih lama.	<versi>	No	versionAsOf
Kolom tambahan	Kolom data tambahan untuk menyimpan jalur relatif file sumber atau nilai statis. Ekspresi didukung untuk yang terakhir.	*Nama *Nilai	No	additionalColumns: *Nama *Nilai
Jenis jalur file	Jenis jalur file yang Anda gunakan.	* Jalur file * Jalur file kartubebas * Daftar file	Ya	/
Jalur file	Salin dari jalur ke folder/file di bawah penyimpanan data sumber. Terapkan saat memilih Jalur file dalam jenis jalur File.	<jalur file>	Ya saat memilih jalur File	* folderPath *Filename
Jalur kartubebas	Jalur folder dengan karakter kartubebas di bawah penyimpanan data sumber dikonfigurasi untuk memfilter folder sumber. Terapkan saat memilih jalur file Wildcard dalam jenis jalur File.	<jalur kartubebas>	Ya saat memilih jalur file Wildcard	* wildcardFolderPath * wildcardFileName
Jalur Folder	Arahkan ke folder yang menyertakan file yang ingin Anda salin. Terapkan saat memilih Daftar file dalam jenis jalur File.	<jalur folder>	No	folderPath
Jalur ke daftar file	Mengindikasikan untuk menyalin set file yang diberikan. Arahkan ke file teks yang menyertakan daftar file yang ingin Anda salin, satu file per baris, yang merupakan jalur relatif ke jalur yang dikonfigurasi. Terapkan saat memilih Daftar file dalam jenis jalur File.	<jalur ke daftar file>	No	fileListPath
Secara rekursif	Proses semua file dalam folder input dan subfoldernya secara rekursif atau hanya yang ada di folder yang dipilih. Pengaturan ini dinonaktifkan ketika satu file dipilih.	pilih atau batal pilih	No	Rekursif: BENAR atau SALAH
Format file	Format file yang Anda gunakan.	<format file>	Ya	type (di bawah formatSettings): DelimitedTextRead Pengaturan
Filter menurut terakhir diubah	File dengan waktu terakhir diubah dalam rentang [Waktu mulai, Waktu selesai) akan difilter untuk pemrosesan lebih lanjut. Waktu diterapkan ke zona waktu UTC dalam format yyyy-mm-ddThh:mm:ss.fffZ. Properti ini dapat dilewati yang berarti tidak ada filter atribut file yang diterapkan. Properti ini tidak berlaku saat Anda mengonfigurasi tipe jalur file sebagai Daftar file.	* Waktu mulai * Waktu selesai	No	modifiedDatetimeStart modifiedDatetimeEnd
Mengaktifkan penemuan partisi	Apakah akan mengurai partisi dari jalur file dan menambahkannya sebagai kolom sumber tambahan.	Dipilih atau tidak dipilih	No	enablePartitionDiscovery: true atau false (default)
Jalur akar partisi	Jalur akar partisi absolut untuk membaca folder yang dipartisi sebagai kolom data.	<jalur akar partisi Anda>	No	partitionRootPath
Koneksi bersamaan maks	Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama eksekusi aktivitas. Nilai hanya diperlukan saat Anda ingin membatasi koneksi bersamaan.	<koneksi bersamaan maks>	No	maxConcurrentConnections

Informasi tujuan

Nama	Deskripsi	Nilai	Wajib	Properti skrip JSON
Jenis penyimpanan data	Jenis penyimpanan data Anda.	Workspace	Ya	/
Jenis penyimpanan data ruang kerja	Bagian untuk memilih jenis penyimpanan data ruang kerja Anda.	Lakehouse	Ya	jenis
Lakehouse	Lakehouse yang Anda gunakan sebagai tujuan.	<Lakehouse Anda>	Ya	workspaceId artifactId
Folder akar	Jenis folder akar.	* Tabel * File	Ya	rootFolder: Tabel atau File
Nama tabel	Nama tabel yang ingin Anda tulis datanya.	<nama tabel Anda>	Ya saat Anda memilih Tabel di folder Root	Meja (di bawah typeProperties ->sink ->typeProperties)
Baris maks per file	Saat menulis data ke dalam folder, Anda dapat memilih untuk menulis ke beberapa file dan menentukan baris maksimal per file.	<baris maks per flie>	No	maxRowsPerFile
Tindakan tabel	Tambahkan nilai baru ke tabel yang sudah ada atau timpa data dan skema yang ada dalam tabel menggunakan nilai baru.	* Tambah * Menimpa	No	tableActionOption: Tambahkan atau Timpa
Koneksi bersamaan maks	Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama eksekusi aktivitas. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.	<koneksi bersamaan maks>	No	maxConcurrentConnections
Jalur file	Tulis data ke jalur ke folder/file di bawah penyimpanan data tujuan.	<jalur file>	No	* folderPath *Filename
Format file	Format file yang Anda gunakan.	<format file>	Ya	type (di bawah formatSettings): DelimitedTextWrite Pengaturan
Perilaku salin	Perilaku salin yang ditentukan ketika sumber adalah file dari penyimpanan data berbasis file.	* Menambahkan konten dinamis * Tidak * Meratakan hierarki * Mempertahankan hierarki	No	copyBehavior: * FlattenHierarchy * PreserveHierarchy
Ukuran blok (MB)	Ukuran blok dalam MB yang digunakan untuk menulis data ke Lakehouse. Nilai yang diizinkan adalah antara 4 MB dan 100 MB.	<ukuran blok>	No	blockSizeInMB
Metadata	Metadata kustom diatur saat menyalin ke tujuan.	* $$LASTMODIFIED *Ekspresi * Nilai statis	No	metadata

Konten terkait

• Gambaran umum konektor Lakehouse