Mulai cepat: Memindahkan dan mengubah data dengan aliran data dan alur data

  • Artikel

Dalam tutorial ini, Anda menemukan bagaimana aliran data dan pengalaman alur data dapat menciptakan solusi Data Factory yang kuat dan komprehensif.

Prasyarat

Untuk memulai, Anda harus memiliki prasyarat berikut:

Aliran data dibandingkan dengan alur

Aliran Data Gen2 memungkinkan Anda memanfaatkan antarmuka kode rendah dan 300+ data dan transformasi berbasis AI untuk Anda dengan mudah membersihkan, menyiapkan, dan mengubah data dengan lebih banyak fleksibilitas daripada alat lainnya. Alur Data memungkinkan kemampuan orkestrasi data out-of-the-box yang kaya untuk menyusun alur kerja data fleksibel yang memenuhi kebutuhan perusahaan Anda. Dalam alur, Anda dapat membuat pengelompokan logis aktivitas yang melakukan tugas, yang mungkin termasuk memanggil Aliran Data untuk membersihkan dan menyiapkan data Anda. Meskipun ada beberapa fungsionalitas yang tumpang tindih antara keduanya, pilihan yang akan digunakan untuk skenario tertentu tergantung pada apakah Anda memerlukan kekayaan penuh alur atau dapat menggunakan kemampuan aliran data yang lebih sederhana tetapi lebih terbatas. Untuk detail selengkapnya, lihat panduan keputusan Fabric

Mengubah data dengan aliran data

Ikuti langkah-langkah ini untuk menyiapkan aliran data Anda.

Langkah 1: Membuat aliran data

  1. Pilih ruang kerja yang diaktifkan Fabric Anda, lalu pilih Baru. Lalu pilih Aliran Data Gen2.

    Screenshot showing where to start creating a dataflow gen2.

  2. Jendela editor aliran data muncul. Pilih kartu Impor dari SQL Server .

    Screenshot showing the dataflow editor window.

Langkah 2: Dapatkan data

  1. Pada dialog Koneksi ke sumber data yang disajikan berikutnya, masukkan detail untuk menyambungkan ke database Azure SQL Anda, lalu pilih Berikutnya. Untuk contoh ini, Anda menggunakan database sampel AdventureWorksLT yang dikonfigurasi saat menyiapkan database Azure SQL dalam prasyarat.

    Screenshot showing how to connect to an Azure SQL database.

  2. Pilih data yang ingin Anda ubah lalu pilih Buat. Untuk mulai cepat ini, pilih SalesLT.Customer dari data sampel AdventureWorksLT yang disediakan untuk Azure SQL DB, lalu tombol Pilih tabel terkait untuk menyertakan dua tabel terkait lainnya secara otomatis.

    Screenshot showing where to choose from the available data.

Langkah 3: Mengubah data Anda

  1. Jika tidak dipilih, pilih tombol Tampilan diagram di sepanjang bilah status di bagian bawah halaman, atau pilih Tampilan diagram di bawah menu Tampilan di bagian atas editor Power Query. Salah satu opsi ini dapat mengalihkan tampilan diagram.

    Screenshot showing where to select diagram view.

  2. Klik kanan kueri Pelanggan SalesLT Anda, atau pilih elipsis vertikal di sebelah kanan kueri, lalu pilih Gabungkan kueri.

    Screenshot showing where to find the Merge queries option.

  3. Konfigurasikan penggabungan dengan memilih tabel SalesLTOrderHeader sebagai tabel kanan untuk penggabungan, kolom CustomerID dari setiap tabel sebagai kolom gabungan, dan Kiri luar sebagai jenis gabungan. Lalu pilih OK untuk menambahkan kueri penggabungan.

    Screenshot of the Merge configuration screen.

  4. Pilih tombol Tambahkan tujuan data, yang terlihat seperti simbol database dengan panah di atasnya, dari kueri penggabungan baru yang baru saja Anda buat. Lalu pilih Database Azure SQL sebagai jenis tujuan.

    Screenshot highlighting the Add data destination button on the newly created merge query.

  5. Berikan detail untuk koneksi database Azure SQL Anda di mana kueri penggabungan akan diterbitkan. Dalam contoh ini, Anda juga dapat menggunakan database AdventureWorksLT yang kami gunakan sebagai sumber data untuk tujuan.

    Screenshot showing the Connect to data destination dialog with sample values populated.

  6. Pilih database untuk menyimpan data, dan berikan nama tabel, lalu pilih Berikutnya.

    Screenshot showing the Choose destination target window.

  7. Anda dapat membiarkan pengaturan default pada dialog Pilih pengaturan tujuan, dan cukup pilih Simpan pengaturan tanpa membuat perubahan apa pun di sini.

    Screenshot showing the Choose destination settings dialog.

  8. Pilih Terbitkan kembali di halaman editor aliran data, untuk menerbitkan aliran data.

    Screenshot highlighting the Publish button on the dataflow gen2 editor.

Memindahkan data dengan alur data

Setelah membuat Dataflow Gen2, Anda dapat mengoperasikannya dalam alur. Dalam contoh ini, Anda menyalin data yang dihasilkan dari aliran data ke dalam format teks di akun Azure Blob Storage.

Langkah 1: Membuat alur data baru

  1. Dari ruang kerja Anda, pilih Baru, lalu pilih Alur data.

    Screenshot showing where to start a new data pipeline.

  2. Beri nama alur Anda lalu pilih Buat.

    Screenshot showing the new pipeline creation prompt with a sample pipeline name.

Langkah 2: Mengonfigurasi aliran data Anda

  1. Tambahkan aktivitas aliran data baru ke alur data Anda dengan memilih Aliran Data di tab Aktivitas .

    Screenshot showing where to select the Dataflow option.

  2. Pilih aliran data pada kanvas alur, lalu tab Pengaturan. Pilih aliran data yang Anda buat sebelumnya dari daftar drop-down.

    Screenshot showing how to choose the dataflow you created.

  3. Pilih Simpan, lalu Jalankan untuk menjalankan aliran data untuk mengisi tabel kueri gabungan yang Anda rancang di langkah sebelumnya.

    Screenshot showing where to select Run.

Langkah 3: Gunakan asisten salinan untuk menambahkan aktivitas salin

  1. Pilih Salin data di kanvas untuk membuka alat Asisten Salin untuk memulai. Atau pilih Gunakan asisten salin dari daftar drop-down Salin data di bawah tab Aktivitas pada pita.

    Screenshot showing the two ways to access the copy assistant.

  2. Pilih sumber data Anda dengan memilih jenis sumber data. Dalam tutorial ini, Anda menggunakan Azure SQL Database yang digunakan sebelumnya saat membuat aliran data untuk menghasilkan kueri penggabungan baru. Gulir ke bawah di bawah penawaran data sampel dan pilih tab Azure, lalu Azure SQL Database. Kemudian pilih Berikutnya untuk melanjutkan.

    Screenshot showing where to choose a data source.

  3. Buat koneksi ke sumber data Anda dengan memilih Buat koneksi baru. Isi informasi koneksi yang diperlukan di panel, dan masukkan AdventureWorksLT untuk database, tempat kami membuat kueri penggabungan dalam aliran data. Kemudian pilih Berikutnya.

    Screenshot showing where to create a new connection.

  4. Pilih tabel yang Anda buat di langkah aliran data sebelumnya, lalu pilih Berikutnya.

    Screenshot showing how to select from available tables.

  5. Untuk tujuan Anda, pilih Azure Blob Storage lalu pilih Berikutnya.

    Screenshot showing the Azure Blob Storage data destination.

  6. Buat koneksi ke tujuan Anda dengan memilih Buat koneksi baru. Berikan detail untuk koneksi Anda, lalu pilih Berikutnya.

    Screenshot showing how to create a connection.

  7. Pilih jalur Folder Anda dan berikan Nama file, lalu pilih Berikutnya.

    Screenshot showing how to select folder path and file name.

  8. Pilih Berikutnya lagi untuk menerima format file default, pembatas kolom, pemisah baris, dan jenis pemadatan, secara opsional termasuk header.

    Screenshot showing the configuration options for the file in Azure Blob Storage.

  9. Selesaikan pengaturan Anda. Kemudian, tinjau dan pilih Simpan + Jalankan untuk menyelesaikan proses.

    Screenshot showing how to review copy data settings.

Langkah 5: Desain alur data Anda dan simpan untuk menjalankan dan memuat data

  1. Untuk menjalankan aktivitas Salin setelah aktivitas Aliran Data, seret dari Berhasil pada aktivitas Aliran Data ke aktivitas Salin . Aktivitas Salin hanya berjalan setelah aktivitas Aliran Data berhasil.

    Screenshot showing how to make the dataflow run take place after the copy activity.

  2. Pilih Simpan untuk menyimpan alur data Anda. Lalu pilih Jalankan untuk menjalankan alur data Anda dan memuat data Anda.

    Screenshot showing where to select Save and Run.

Menjadwalkan eksekusi alur

Setelah selesai mengembangkan dan menguji alur, Anda dapat menjadwalkannya untuk dijalankan secara otomatis.

  1. Pada tab Beranda dari jendela editor alur, pilih Jadwalkan.

    A screenshot of the Schedule button on the menu of the Home tab in the pipeline editor.

  2. Konfigurasikan jadwal sesuai kebutuhan. Contoh di sini menjadwalkan alur untuk dijalankan setiap hari pada pukul 20.00 hingga akhir tahun.

    Screenshot showing the schedule configuration for a pipeline to run daily at 8:00 PM until the end of the year.

Konten terkait

Sampel ini memperlihatkan kepada Anda cara membuat dan mengonfigurasi Dataflow Gen2 untuk membuat kueri gabungan dan menyimpannya di database Azure SQL, lalu menyalin data dari database ke dalam file teks di Azure Blob Storage. Anda mempelajari cara untuk:

  • Membuat aliran data.
  • Mengubah data dengan aliran data.
  • Buat alur data menggunakan aliran data.
  • Urutkan eksekusi langkah-langkah dalam alur.
  • Salin data dengan Asisten Salin.
  • Jalankan dan jadwalkan alur data Anda.

Selanjutnya, lanjutkan untuk mempelajari selengkapnya tentang memantau eksekusi alur Anda.

Cara memantau eksekusi alur di Microsoft Fabric