Cara menyalin data menggunakan aktivitas salin

  • Artikel

Di Alur Data, Anda dapat menggunakan aktivitas Salin untuk menyalin data di antara penyimpanan data yang terletak di cloud.

Setelah menyalin data, Anda dapat menggunakan aktivitas lain untuk mengubah dan menganalisisnya lebih lanjut. Anda juga dapat menggunakan Aktivitas Salin untuk menerbitkan hasil transformasi dan analisis untuk kecerdasan bisnis (BI) dan konsumsi aplikasi.

Untuk menyalin data dari sumber ke tujuan, layanan yang menjalankan aktivitas Salin melakukan langkah-langkah berikut:

  1. Membaca data dari penyimpanan data sumber.
  2. Melakukan serialisasi/deserialisasi, pemadatan/dekompresi, pemetaan kolom, dan sebagainya. Ini melakukan operasi ini berdasarkan konfigurasi.
  3. Menulis data ke penyimpanan data tujuan.

Prasyarat

Untuk memulai, Anda harus menyelesaikan prasyarat berikut:

  • Akun penyewa Microsoft Fabric dengan langganan aktif. Buat akun secara gratis.

  • Pastikan Anda memiliki Ruang Kerja yang diaktifkan Microsoft Fabric.

Menambahkan aktivitas salin menggunakan asisten salin

Ikuti langkah-langkah ini untuk menyiapkan aktivitas salin Anda menggunakan asisten salin.

Mulai dengan asisten salin

  1. Buka alur data yang sudah ada atau buat alur data baru.

  2. Pilih Salin data di kanvas untuk membuka alat Asisten Salin untuk memulai. Atau pilih Gunakan asisten salin dari daftar drop-down Salin data di bawah tab Aktivitas pada pita.

    Screenshot showing options for opening the copy assistant.

Mengonfigurasi sumber Anda

  1. Pilih jenis sumber data dari kategori. Anda akan menggunakan Azure Blob Storage sebagai contoh. Pilih Azure Blob Storage lalu pilih Berikutnya.

    Screenshot of Choose data source screen.

    Screenshot showing where to select the correct data source.

  2. Buat koneksi ke sumber data Anda dengan memilih Buat koneksi baru.

    Screenshot showing where to select New connection.

    Setelah Anda memilih Buat koneksi baru, isi informasi koneksi yang diperlukan lalu pilih Berikutnya. Untuk detail pembuatan koneksi untuk setiap jenis sumber data, Anda dapat merujuk ke setiap artikel konektor.

    Jika Anda memiliki koneksi yang sudah ada, Anda dapat memilih Koneksi yang sudah ada dan memilih koneksi Anda dari daftar drop-down.

    Screenshot showing the existing connection.

  3. Pilih file atau folder yang akan disalin dalam langkah konfigurasi sumber ini, lalu pilih Berikutnya.

    Screenshot showing where to select the data to be copied.

Mengonfigurasi tujuan Anda

  1. Pilih jenis sumber data dari kategori. Anda akan menggunakan Azure Blob Storage sebagai contoh. Pilih Azure Blob Storage, lalu pilih Berikutnya.

    Screenshot showing how to select Azure Blob Storage.

  2. Anda dapat membuat koneksi baru yang menautkan ke akun Azure Blob Storage baru dengan mengikuti langkah-langkah di bagian sebelumnya atau menggunakan koneksi yang sudah ada dari daftar drop-down koneksi. Kemampuan Uji koneksi dan Edit tersedia untuk setiap koneksi yang dipilih.

    Screenshot showing data connection options.

  3. Konfigurasikan dan petakan data sumber Anda ke tujuan Anda. Lalu pilih Berikutnya untuk menyelesaikan konfigurasi tujuan Anda.

    Screenshot of Map to destination screen.

    Screenshot of Connect to data destination.

Meninjau dan membuat aktivitas salin Anda

  1. Tinjau pengaturan aktivitas salin Anda di langkah-langkah sebelumnya dan pilih OK untuk menyelesaikannya. Atau Anda dapat kembali ke langkah-langkah sebelumnya untuk mengedit pengaturan Anda jika diperlukan di alat.

    Screenshot showing the Review and create screen.

Setelah selesai, aktivitas salin kemudian akan ditambahkan ke kanvas alur data Anda. Semua pengaturan, termasuk pengaturan tingkat lanjut ke aktivitas salin ini, tersedia di bawah tab saat dipilih.

Screenshot showing a copy activity on the data pipeline canvas.

Sekarang Anda dapat menyimpan alur data Anda dengan aktivitas penyalinan tunggal ini atau terus merancang alur data Anda.

Menambahkan aktivitas salin secara langsung

Ikuti langkah-langkah ini untuk menambahkan aktivitas salin secara langsung.

Menambahkan aktivitas salin

  1. Buka alur data yang sudah ada atau buat alur data baru.

  2. Tambahkan aktivitas salin baik dengan memilih aktivitas Tambahkan aktivitas>Salin alur atau dengan memilih Salin data>Tambahkan ke kanvas di bawah tab Aktivitas.

    Screenshot showing two ways to add a copy activity.

Mengonfigurasi pengaturan umum Anda di bawah tab umum

Untuk mempelajari cara mengonfigurasi pengaturan umum Anda, lihat Umum.

Mengonfigurasi sumber Anda di bawah tab sumber

  1. Pilih + Baru di samping Koneksi ion untuk membuat koneksi ke sumber data Anda.

    Screenshot showing where to select New.

    1. Pilih jenis sumber data dari jendela pop-up. Anda akan menggunakan Azure SQL Database sebagai contoh. Pilih Azure SQL Database, lalu pilih Lanjutkan.

      Screenshot showing how to select the data source.

    2. Ini menavigasi ke halaman pembuatan koneksi. Isi informasi koneksi yang diperlukan pada panel, lalu pilih Buat. Untuk detail pembuatan koneksi untuk setiap jenis sumber data, Anda dapat merujuk ke setiap artikel konektor.

      Screenshot showing New connection page.

    3. Setelah koneksi Anda berhasil dibuat, koneksi akan membawa Anda kembali ke halaman alur data. Lalu pilih Refresh untuk mengambil koneksi yang Anda buat dari daftar drop-down. Anda juga dapat memilih koneksi Azure SQL Database yang sudah ada dari menu drop-down secara langsung jika Anda sudah membuatnya sebelumnya. Kemampuan Uji koneksi dan Edit tersedia untuk setiap koneksi yang dipilih. Lalu pilih Azure SQL Database dalam jenis Koneksi ion.

      Screenshot showing where to refresh your connection.

  2. Tentukan tabel yang akan disalin. Pilih Pratinjau data untuk mempratinjau tabel sumber Anda. Anda juga bisa menggunakan Kueri dan prosedur Tersimpan untuk membaca data dari sumber Anda.

    Screenshot showing source table settings options.

  3. Perluas Tingkat Lanjut untuk pengaturan tingkat lanjut lainnya.

    Screenshot of advanced settings.

Mengonfigurasi tujuan Anda di bawah tab tujuan

  1. Pilih jenis tujuan Anda. Ini bisa berupa penyimpanan data kelas satu internal Anda dari ruang kerja Anda, seperti Lakehouse, atau penyimpanan data eksternal Anda. Anda akan menggunakan Lakehouse sebagai contoh.

    Screenshot showing where to select destination type.

  2. Pilih untuk menggunakan Lakehouse di jenis penyimpanan data Ruang Kerja. Pilih + Baru, dan menavigasi Anda ke halaman pembuatan Lakehouse. Tentukan nama Lakehouse Anda lalu pilih Buat.

    Screenshot showing Lakehouse creation.

  3. Setelah koneksi Anda berhasil dibuat, koneksi akan membawa Anda kembali ke halaman alur data. Lalu pilih Refresh untuk mengambil koneksi yang Anda buat dari daftar drop-down. Anda juga dapat memilih koneksi Lakehouse yang ada dari menu drop-down secara langsung jika Anda sudah membuatnya sebelumnya.

    Screenshot showing selecting connection.

  4. Tentukan tabel atau siapkan jalur file untuk menentukan file atau folder sebagai tujuan. Di sini pilih Tabel dan tentukan tabel untuk menulis data.

    Screenshot showing where to find Table settings.

  5. Perluas Tingkat Lanjut untuk pengaturan tingkat lanjut lainnya.

    Screenshot of Advanced options.

Sekarang Anda dapat menyimpan alur data Anda dengan aktivitas penyalinan tunggal ini atau terus merancang alur data Anda.

Mengonfigurasi pemetaan Anda di bawah tab pemetaan

Jika konektor yang Anda terapkan mendukung pemetaan, Anda dapat masuk ke tab Pemetaan untuk mengonfigurasi pemetaan Anda.

  1. Pilih Impor skema untuk mengimpor skema data Anda.

    Screenshot of mapping settings 1.

  2. Anda dapat melihat pemetaan otomatis muncul. Tentukan kolom Sumber dan kolom Tujuan Anda. Jika Anda membuat tabel baru di tujuan, Anda bisa mengkustomisasi nama kolom Tujuan Anda di sini. Jika Anda ingin menulis data ke dalam tabel tujuan yang sudah ada, Anda tidak dapat mengubah nama kolom Tujuan yang sudah ada. Anda juga bisa menampilkan Jenis kolom sumber dan tujuan.

    Screenshot of mapping settings 2.

Selain itu, Anda dapat memilih + Pemetaan baru untuk menambahkan pemetaan baru, pilih Hapus untuk menghapus semua pengaturan pemetaan, dan pilih Reset untuk mengatur ulang semua kolom Sumber pemetaan.

Mengonfigurasi konversi jenis Anda

Perluas pengaturan konversi Jenis untuk mengonfigurasi konversi jenis Anda jika diperlukan.

Screenshot of mapping type conversion.

Lihat tabel berikut untuk detail pengaturan.

Pengaturan Deskripsi
Izinkan pemotongan data Izinkan pemotongan data saat mengonversi data sumber ke tujuan dengan jenis yang berbeda selama penyalinan. Misalnya, dari desimal ke bilangan bulat, dari DatetimeOffset hingga Datetime.
Perlakukan boolean sebagai angka Perlakukan boolean sebagai angka. Misalnya, perlakukan benar sebagai 1.
Format DateTime Format string saat mengonversi antara tanggal tanpa offset zona waktu dan string. Misalnya, "yyyy-MM-dd HH:mm:ss.fff".
Format DateTimeOffset Format string saat mengonversi antara tanggal dengan offset zona waktu dan string. Misalnya, "yyyy-MM-dd HH:mm:ss.fff zzz".
Format TimeSpan Format string saat mengonversi antara periode waktu dan string. Misalnya, "dd.hh:mm:ss".
Budaya Informasi budaya yang akan digunakan saat mengonversi jenis. Misalnya, "en-us", "fr-fr".

Mengonfigurasi pengaturan Anda yang lain di bawah tab pengaturan

Tab Pengaturan berisi pengaturan performa, penahapan, dan sebagainya.

Screenshot of Settings tab.

Lihat tabel berikut untuk deskripsi setiap pengaturan.

Pengaturan Deskripsi
Pengoptimalan throughput cerdas Tentukan untuk mengoptimalkan throughput. Anda dapat memilih dari:
• Otomatis
• Standar
• Seimbang
• Maksimum
Saat Anda memilih Otomatis, pengaturan optimal diterapkan secara dinamis berdasarkan pasangan tujuan sumber dan pola data Anda. Anda juga dapat menyesuaikan throughput Anda, dan nilai kustom dapat menjadi 2-256 sementara nilai yang lebih tinggi menyiratkan lebih banyak keuntungan.
Tingkat paralelisme salinan Tentukan tingkat paralelisme yang akan digunakan pemuatan data.
Toleransi kesalahan Saat memilih opsi ini, Anda dapat mengabaikan beberapa kesalahan yang terjadi di tengah proses penyalinan. Misalnya, baris yang tidak kompatibel antara penyimpanan sumber dan tujuan, file yang dihapus selama pergerakan data, dll.
Mengaktifkan pengelogan Saat memilih opsi ini, Anda dapat mencatat file yang disalin, file dan baris yang dilewati
Aktifkan tahapan Tentukan apakah akan menyalin data melalui penyimpanan penahapan sementara. Aktifkan penahapan hanya untuk skenario yang bermanfaat.
Koneksi akun penahapan Saat memilih Aktifkan penahapan, tentukan koneksi sumber data penyimpanan Azure sebagai penyimpanan penahapan sementara. Pilih + Baru untuk membuat koneksi penahapan jika Anda tidak memilikinya.

Mengonfigurasi parameter dalam aktivitas salin

Parameter dapat digunakan untuk mengontrol perilaku alur dan aktivitasnya. Anda dapat menggunakan Tambahkan konten dinamis untuk menentukan parameter untuk properti aktivitas salin Anda. Mari kita tentukan Lakehouse/Data Warehouse/KQL Database sebagai contoh untuk melihat cara menggunakannya.

  1. Di sumber atau tujuan Anda, setelah memilih Ruang Kerja sebagai jenis penyimpanan data dan menspesifikasikan Database KQL Gudang/Data Lakehouse/sebagai jenis penyimpanan data ruang kerja, pilih Tambahkan konten dinamis di daftar drop-down Lakehouse atau Gudang Data atau KQL Database.

  2. Di panel pop-up Tambahkan konten dinamis, di bawah tab Parameter , pilih +.

    Screenshot showing the Add dynamic content page.

  3. Tentukan nama untuk parameter Anda dan berikan nilai default jika Anda mau, atau Anda dapat menentukan nilai untuk parameter setelah memilih Jalankan di alur.

    Screenshot shows creating a new parameter.

    Perhatikan bahwa nilai parameter harus berupa ID objek Lakehouse/Data Warehouse/KQL Database. Untuk mendapatkan ID objek Lakehouse/Data Warehouse/KQL Database Anda, buka Lakehouse/Data Warehouse/KQL Database Anda di ruang kerja Anda, dan ID adalah setelah /lakehouses/atau /datawarehouses/ atau /databases/ di URL Anda.

    • ID objek Lakehouse:

      Screenshot showing the Lakehouse object ID.

    • ID objek Gudang Data:

      Screenshot showing the Data Warehouse object ID.

    • ID objek KQL Database:

      Screenshot showing the KQL Database object ID.

  4. Pilih Simpan untuk kembali ke panel Tambahkan konten dinamis. Lalu pilih parameter Anda sehingga muncul di kotak ekspresi. Kemudian pilih OK. Anda akan kembali ke halaman alur dan dapat melihat ekspresi parameter ditentukan setelah ID objek Gudang Data ID/objek Lakehouse ID/ objek KQL Database.

    Screenshot showing selecting parameter.

Konten terkait