Cara menyalin data menggunakan aktivitas salin

Dalam alur, Anda dapat menggunakan aktivitas Salin untuk menyalin data antar penyimpanan data di cloud. Setelah menyalin data, Anda dapat menggunakan aktivitas lain di alur Anda untuk mengubah dan menganalisisnya.

Aktivitas Salin tersambung ke sumber data dan tujuan Anda, lalu memindahkan data secara efisien di antara mereka. Berikut cara penanganan proses penyalinan oleh layanan ini:

1. Menyambungkan ke sumber Anda: Membuat koneksi aman untuk membaca data dari penyimpanan data sumber Anda.
2. Memproses data: Menangani serialisasi/deserialisasi, kompresi/dekompresi, pemetaan kolom, dan konversi jenis data berdasarkan konfigurasi Anda.
3. Menulis ke tujuan: Mentransfer data yang diproses ke penyimpanan data tujuan Anda.
4. Menyediakan pemantauan: Melacak operasi salin dan menyediakan log dan metrik terperinci untuk pemecahan masalah dan pengoptimalan.

Tip

Jika Anda hanya perlu menyalin data dan tidak memerlukan transformasi, pekerjaan Salin mungkin menjadi opsi yang lebih baik untuk Anda. Pekerjaan salin memberikan pengalaman yang disederhanakan untuk skenario pergerakan data yang tidak memerlukan pembuatan alur lengkap. Lihat: Gambaran umum pekerjaan Salin atau gunakan tabel keputusan kami untuk membandingkan aktivitas Salin dan Pekerjaan salin.

Prerequisites

Untuk memulai, Anda perlu menyelesaikan prasyarat ini:

• Akun tenant Microsoft Fabric dengan langganan aktif. Buat akun secara gratis.
• Ruang Kerja yang diaktifkan oleh Microsoft Fabric.

Menambahkan aktivitas salin menggunakan asisten salin

Ikuti langkah-langkah ini untuk menyiapkan aktivitas salin Anda menggunakan asisten salin.

Mulai dengan asisten salin

1. Buka alur yang sudah ada atau buat alur baru.

2. Pilih Salin data di kanvas untuk membuka Asisten Salin dan memulai. Atau pilih Gunakan asisten salin dari Salin data pada daftar drop-down di bawah tab Aktivitas pada pita.

   

Mengonfigurasi sumber Anda

1. Pilih jenis sumber data dari kategori. Anda akan menggunakan Azure Blob Storage sebagai contoh. Pilih Azure Blob Storage.

   

2. Buat koneksi ke sumber data Anda dengan memilih Buat koneksi baru.

   

   Setelah Anda memilih Buat koneksi baru, isi informasi koneksi yang diperlukan lalu pilih Berikutnya. Untuk detail pembuatan koneksi untuk setiap jenis sumber data, Anda dapat merujuk ke setiap artikel konektor.

   Jika Anda sudah memiliki koneksi, Anda dapat memilih Koneksi yang sudah ada dan memilih koneksi Anda dari daftar drop-down.

   

3. Pilih file atau folder yang akan disalin dalam langkah konfigurasi sumber ini, lalu pilih Berikutnya.

   

Mengonfigurasi tujuan Anda

1. Pilih jenis sumber data dari kategori. Anda akan menggunakan Azure Blob Storage sebagai contoh. Anda dapat membuat koneksi baru yang menautkan ke akun Azure Blob Storage baru dengan mengikuti langkah-langkah di bagian sebelumnya atau menggunakan koneksi yang sudah ada dari daftar drop-down koneksi. Kemampuan Uji koneksi dan Edit tersedia untuk setiap koneksi yang dipilih.

   

2. Konfigurasikan dan petakan data sumber Anda ke tujuan Anda. Lalu pilih Berikutnya untuk menyelesaikan konfigurasi tujuan Anda.

   

   

   Note

   Anda hanya bisa menggunakan gateway data lokal tunggal dalam aktivitas Salin yang sama. Jika sumber dan tujuan adalah sumber data lokal, maka mereka perlu menggunakan gateway yang sama. Untuk memindahkan data antara sumber data lokal dengan gateway yang berbeda, Anda perlu menyalin menggunakan gateway pertama ke sumber cloud perantara dalam satu aktivitas Salin. Kemudian Anda dapat menggunakan aktivitas Salin lain untuk menyalinnya dari sumber cloud perantara menggunakan gateway kedua.

Tinjau dan buat aktivitas penyalinan Anda

1. Tinjau pengaturan aktivitas salin Anda di langkah-langkah sebelumnya dan pilih OK untuk menyelesaikannya. Atau Anda dapat kembali ke langkah-langkah sebelumnya untuk mengedit pengaturan Anda jika diperlukan di alat.

   

Setelah selesai, aktivitas penyalinan kemudian akan ditambahkan ke kanvas pipeline Anda. Semua pengaturan, termasuk pengaturan tingkat lanjut ke aktivitas salin ini, tersedia di bawah tab saat dipilih.

Sekarang Anda dapat menyimpan alur Anda dengan aktivitas penyalinan tunggal ini atau terus merancang alur Anda.

Menambahkan aktivitas salin secara langsung

Ikuti langkah-langkah ini untuk menambahkan aktivitas salin secara langsung.

Menambahkan aktivitas salin

1. Buka alur yang sudah ada atau buat alur baru.

2. Tambahkan aktivitas salin dengan memilih Tambahkan aktivitas alur>Aktivitas salin atau dengan memilih Salin data>Tambahkan ke kanvas di bawah tab Aktivitas.

   

Mengonfigurasi pengaturan umum Anda di bawah tab umum

Untuk mempelajari cara mengonfigurasi pengaturan umum Anda, lihat Umum.

Mengonfigurasi sumber Anda di bawah tab sumber

1. Di Koneksi, pilih koneksi yang sudah ada, atau pilih Lainnya untuk membuat koneksi baru.

   

   1. Pilih jenis sumber data dari jendela pop-up. Anda akan menggunakan Azure SQL Database sebagai contoh. Pilih Azure SQL Database, lalu pilih Lanjutkan.

      

   2. Ini menavigasi ke halaman pembuatan koneksi. Isi informasi koneksi yang diperlukan pada panel, lalu pilih Buat. Untuk detail pembuatan koneksi untuk setiap jenis sumber data, Anda dapat merujuk ke setiap artikel konektor.

      

   3. Setelah koneksi Anda dibuat, Anda akan dibawa kembali ke halaman pipeline. Lalu pilih Refresh untuk mendapatkan koneksi yang Anda buat dari daftar drop-down. Anda juga dapat memilih koneksi Azure SQL Database yang sudah ada dari menu drop-down secara langsung jika Anda sudah membuatnya sebelumnya. Kemampuan Uji koneksi dan Edit tersedia untuk setiap koneksi yang dipilih. Lalu pilih Azure SQL Database di Jenis koneksi .

2. Tentukan tabel yang akan disalin. Pilih Pratinjau data untuk mempratinjau tabel sumber Anda. Anda juga bisa menggunakan Kueri dan prosedur Tersimpan untuk membaca data dari sumber Anda.

3. Perluas Tingkat Lanjut untuk pengaturan tingkat lanjut seperti batas waktu kueri, atau pemartisian. (Pengaturan tingkat lanjut bervariasi menurut konektor.)

Mengonfigurasi tujuan Anda di bawah tab tujuan

1. Di Koneksi pilih koneksi yang sudah ada, atau pilih Lainnya untuk membuat koneksi baru. Ini dapat berupa penyimpanan data kelas satu internal Anda dari ruang kerja Anda, seperti Lakehouse, atau penyimpanan data eksternal Anda. Dalam contoh ini, kita menggunakan Lakehouse.

2. Setelah koneksi Anda dibuat, Anda akan dibawa kembali ke halaman pipeline. Lalu pilih Refresh untuk mendapatkan koneksi yang Anda buat dari daftar drop-down. Anda juga dapat memilih koneksi Lakehouse yang ada dari menu drop-down secara langsung jika Anda sudah membuatnya sebelumnya.

3. Tentukan tabel atau siapkan jalur file untuk menentukan file atau folder sebagai tujuan. Di sini pilih Tabel dan tentukan tabel untuk menulis data.

4. Perluas Tingkat Lanjut untuk pengaturan tingkat lanjut lainnya, seperti baris maks per file, atau tindakan tabel. (Pengaturan tingkat lanjut bervariasi menurut konektor.)

Sekarang Anda dapat menyimpan alur kerja Anda dengan aktivitas penyalinan ini atau terus merancang alur kerja Anda.

Mengonfigurasi pemetaan Anda di bawah tab pemetaan

Jika konektor yang Anda gunakan mendukung pemetaan, Anda dapat masuk ke tab Pemetaan untuk mengonfigurasi pemetaan Anda.

1. Pilih Impor skema untuk mengimpor skema data Anda.

   

2. Anda dapat melihat pemetaan otomatis muncul. Tentukan kolom Sumber dan kolom Tujuan Anda. Jika Anda membuat tabel baru di tujuan, Anda bisa mengkustomisasi nama kolom Tujuan Anda di sini. Jika Anda ingin menulis data ke dalam tabel tujuan yang sudah ada, Anda tidak dapat mengubah nama kolom Tujuan yang sudah ada. Anda juga bisa menampilkan Jenis kolom sumber dan tujuan.

   

Anda juga dapat memilih + Pemetaan baru untuk menambahkan pemetaan baru, pilih Hapus untuk menghapus semua pengaturan pemetaan, dan pilih Reset untuk mengatur ulang semua kolom Sumber pemetaan.

Pemetaan jenis data

Aktivitas salin dalam pipeline dan Tugas salin melakukan pemetaan dari jenis sumber ke jenis tujuan dengan alur berikut:

1. Konversi dari jenis data asli sumber ke jenis data sementara yang digunakan oleh Fabric Data Factory.
2. Konversikan jenis data sementara secara otomatis sesuai kebutuhan untuk mencocokkan jenis tujuan yang sesuai.
3. Konversi dari jenis data sementara ke jenis data asli tujuan.

Aktivitas salin dalam alur dan pekerjaan Salin saat ini mendukung jenis data sementara berikut: Boolean, Byte, Byte array, Datetime, DatetimeOffset, Decimal, Double, GUID, Int16, Int32, Int64, SByte, Single, String, Timespan, UInt16, UInt32, dan UInt64.

Konversi tipe data berikut didukung antara tipe temporal dari sumber ke tujuan.

Sumber\Tujuan	Boolean	Array byte	Tanggal/Waktu	Desimal	Titik melayang	GUID	Integer	string	TimeSpan
Boolean	✓			✓			✓	✓
Array byte		✓						✓
Tanggal/Waktu			✓					✓
Desimal	✓			✓			✓	✓
Titik melayang	✓			✓			✓	✓
GUID						✓		✓
Integer	✓			✓			✓	✓
string	✓	✓	✓	✓		✓	✓	✓	✓
TimeSpan								✓	✓

(1) Tanggal/Waktu mencakup DateTime, DateTimeOffset, Tanggal dan Waktu.

(2) Floating point mencakup Single dan Double.

(3) Bilangan bulat mencakup SByte, Byte, Int16, UInt16, Int32, UInt32, Int64, dan UInt64.

Untuk mempelajari konversi jenis data terperinci untuk konektor tertentu, buka artikel konfigurasi aktivitas salin untuk konektor tersebut dari sini.

Note

Saat ini konversi jenis data tersebut didukung saat menyalin antara data tabular. Sumber/tujuan hierarkis tidak didukung, yang berarti tidak ada konversi jenis data yang ditentukan sistem antara jenis sementara sumber dan tujuan.

Mengonfigurasi pengaturan Anda yang lain di bawah tab pengaturan

Tab Pengaturan berisi pengaturan performa, penahapan, dan sebagainya.

Lihat tabel berikut untuk deskripsi setiap pengaturan.

Setting	Description	Properti skrip JSON
Optimalisasi throughput cerdas	Spesifikasikan untuk mengoptimalkan throughput. Anda dapat memilih dari: • Otomatis • Standar • Seimbang • Maksimum Saat Anda memilih Otomatis, pengaturan optimal diterapkan secara dinamis berdasarkan pasangan tujuan sumber dan pola data Anda. Anda juga dapat menyesuaikan throughput Anda, dan nilai kustom dapat menjadi 4-256 sementara nilai yang lebih tinggi menyiratkan lebih banyak keuntungan.	dataIntegrationUnits
Tingkat paralelisme penyalinan	Tentukan tingkat paralelisme yang akan digunakan pemuatan data.	parallelCopies
Penyesuaian kinerja adaptif (Pratinjau)	Tentukan apakah layanan dapat menerapkan pengoptimalan performa dan penyetelan sesuai dengan konfigurasi kustom.	PenyetelanKinerjaAdaptif
Verifikasi konsistensi data	Jika Anda mengatur true untuk properti ini, saat menyalin file biner, aktivitas salin akan memeriksa ukuran file, lastModifiedDate, dan checksum untuk setiap file biner yang disalin dari penyimpanan sumber ke tujuan untuk memastikan konsistensi data antara penyimpanan sumber dan tujuan. Saat menyalin data tabular, aktivitas salin akan memeriksa jumlah baris total setelah pekerjaan selesai, memastikan jumlah total baris yang dibaca dari sumber sama dengan jumlah baris yang disalin ke tujuan ditambah jumlah baris yang tidak kompatibel yang dilewati. Harap ketahui bahwa performa penyalinan terpengaruh oleh mengaktifkan opsi ini.	validateDataConsistency
Toleransi kesalahan	Saat Anda memilih opsi ini, Anda dapat mengabaikan beberapa kesalahan yang terjadi di tengah proses penyalinan. Misalnya, baris yang tidak kompatibel antara penyimpanan sumber dan tujuan, file yang dihapus selama pergerakan data, dll.	• enableSkipBarisTidakKompatibel • skipErrorFile:    fileMissing    fileForbidden    invalidFileName
Mengaktifkan pengelogan	Saat Anda memilih opsi ini, Anda dapat mencatat file yang disalin, file dan baris yang dilewati.	/
Aktifkan tahap pengujian	Tentukan apakah akan menyalin data melalui penyimpanan sementara. Aktifkan staging hanya untuk skenario yang bermanfaat.	enableStaging
Untuk Ruang Kerja
Workspace	Tentukan untuk menggunakan penyimpanan penahapan bawaan. Pastikan pengguna yang terakhir memodifikasi alur memiliki peran Kontributor minimal yang diberikan di ruang kerja.	/
Untuk Eksternal
Koneksi akun uji coba	Tentukan koneksi Azure Blob Storage atau Azure Data Lake Storage Gen2, yang mengacu pada instans Storage yang Anda gunakan sebagai penyimpanan penahapan sementara. Buat koneksi penahapan jika Anda belum memilikinya.	koneksi (di bawah externalReferences)
Jalur penyimpanan	Tentukan jalur yang Anda inginkan untuk menyimpan data bertahap. Jika Anda tidak menyediakan jalur, layanan akan membuat kontainer untuk menyimpan data sementara. Tentukan jalur hanya jika Anda menggunakan Penyimpanan dengan tanda tangan akses bersama, atau Anda memerlukan data sementara untuk berada di lokasi tertentu.	path
Aktifkan pemadatan	Tentukan apakah data harus dikompresi sebelum disalin ke tujuan. Pengaturan ini mengurangi volume data yang ditransfer.	enableCompression
Preserve	Tentukan apakah akan mempertahankan metadata/ACL selama penyalinan data.	preserve

Note

Jika Anda menggunakan penyalinan bertahap dengan kompresi diaktifkan, autentikasi prinsipal layanan untuk koneksi blob penahapan tidak didukung.

Note

Waktu penyiapan ruang kerja berakhir setelah 60 menit. Untuk pekerjaan jangka panjang, disarankan untuk menggunakan penyimpanan eksternal untuk penahapan sementara.

Mengonfigurasi parameter pada aktivitas penyalinan

Parameter dapat digunakan untuk mengontrol perilaku alur dan aktivitasnya. Anda dapat menggunakan Tambahkan konten dinamis untuk menentukan parameter untuk properti aktivitas salin Anda. Mari kita tentukan Lakehouse/Data Warehouse sebagai contoh untuk melihat cara menggunakannya.

1. Di sumber atau tujuan Anda, pilih Gunakan konten dinamis di daftar drop-down Koneksi.

2. Di panel pop-up Tambahkan konten dinamis, di bawah tab Parameter , pilih +.

   

3. Tentukan nama untuk parameter Anda dan berikan nilai default jika Anda mau, atau Anda dapat menentukan nilai untuk parameter saat dipicu dalam alur.

   

   Nilai parameter harus berupa ID koneksi Lakehouse/Gudang Data. Untuk mendapatkannya, buka Kelola Koneksi dan Gateway Anda, pilih koneksi Lakehouse/Gudang Data yang ingin Anda gunakan, dan buka Pengaturan untuk mendapatkan ID koneksi Anda. Jika Anda ingin membuat koneksi baru, Anda dapat memilih + Baru di halaman ini atau masuk ke halaman data melalui daftar drop-down Koneksi .

4. Pilih Simpan untuk kembali ke panel Tambahkan konten dinamis. Lalu pilih parameter Anda sehingga muncul di kotak ekspresi. Kemudian pilih OK. Anda akan kembali ke halaman alur dan dapat melihat ekspresi parameter ditentukan setelah Koneksi.

   

5. Tentukan ID Lakehouse atau Gudang Data Anda. Untuk menemukan ID, buka Lakehouse atau Gudang Data di ruang kerja Anda. ID muncul di URL setelah /lakehouses/ atau /datawarehouses/.

   • ID Lakehouse:

     

   • ID Gudang:

     

6. Tentukan string koneksi SQL untuk Gudang Data Anda.

Konten terkait

• Gambaran umum konektor
• Cara memantau jalannya pipeline