Pengembangan iteratif dan debugging dengan pipeline Azure Data Factory dan Synapse Analytics

Azure Data Factory Azure Synapse Analytics

Petunjuk

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

• Mulai uji coba gratis Fabric.
• Upgrade dari Azure Data Factory ke Data Factory di Microsoft Fabric.

Azure Data Factory dan Synapse Analytics mendukung pengembangan berulang dan debugging alur. Fitur ini memungkinkan Anda menguji perubahan Anda sebelum membuat permintaan pull atau menerbitkannya ke layanan.

Untuk pengantar dan demonstrasi fitur ini selama delapan menit, tonton video berikut:

Penelusuran kesalahan alur

Saat menulis menggunakan kanvas alur, Anda dapat menguji aktivitas menggunakan kemampuan Debug. Saat menjalankan uji coba, Anda tidak perlu memublikasikan perubahan Anda ke layanan sebelum memilih Debug. Fitur ini sangat berguna dalam skenario saat Anda ingin memastikan bahwa perubahan berfungsi seperti harapan sebelum Anda memperbarui alur kerja.

Saat alur dijalankan, Anda dapat melihat hasil setiap aktivitas di tab Output kanvas alur.

Anda dapat melihat hasil eksekusi uji coba di jendela Output kanvas alur.

Setelah uji coba berhasil, tambahkan lebih banyak aktivitas ke rangkaian proses Anda dan lanjutkan pendebugan secara berulang. Anda juga dapat Membatalkan eksekusi uji coba saat sedang berlangsung.

Penting

Memilih Debug akan menjalankan alur tersebut secara langsung. Misalnya, jika alur berisi aktivitas penyalinan, eksekusi uji coba akan menyalin data dari sumber ke tujuan. Akibatnya, sebaiknya Anda menggunakan folder pengujian dalam aktivitas penyalinan dan aktivitas lainnya saat melakukan debugging. Setelah Anda men-debug alur, beralih ke folder aktual yang ingin digunakan dalam operasi normal.

Mengatur titik henti

Layanan memungkinkan Anda untuk men-debug alur hingga Anda mencapai aktivitas tertentu di kanvas alur. Letakkan titik henti pada aktivitas yang ingin diuji, lalu pilih Debug. Layanan memastikan bahwa uji coba hanya berjalan hingga aktivitas titik henti pada kanvas alur. Fitur Debug Hingga ini berguna saat Anda tidak ingin menguji seluruh alur, tetapi hanya sebagian aktivitas di dalam alur.

Untuk mengatur titik henti, pilih elemen pada kanvas alur. Opsi Debug Hingga muncul sebagai lingkaran merah kosong di sudut kanan atas elemen.

Setelah dipilih, opsi Debug Hingga akan berubah menjadi lingkaran merah yang terisi untuk menunjukkan bahwa titik henti diaktifkan.

Memantau proses debug

Saat Anda menjalankan eksekusi debug alur kerja, hasilnya akan muncul di jendela Output pada kanvas alur kerja. Tab output hanya akan berisi eksekusi terbaru yang terjadi selama sesi browser saat ini.

Untuk melihat tampilan riwayat eksekusi debug atau melihat daftar semua eksekusi debug yang aktif, Anda dapat membuka pengalaman Monitor.

Azure Data Factory

Analitik Synapse

Catatan

Layanan hanya menyimpan riwayat debug selama 15 hari.

Menelusuri kesalahan aliran data pemetaan

Aliran data pemetaan memungkinkan Anda untuk menyusun logika transformasi data bebas kode yang berjalan dalam skala besar. Saat menyusun logika, Anda dapat mengaktifkan sesi debug untuk bekerja secara interaktif dengan data Anda menggunakan kluster Spark langsung. Untuk mempelajari lebih lanjut, baca mode debug aliran data pemetaan.

Anda dapat memantau sesi debug aliran data yang aktif dalam antarmuka Monitor.

Pratinjau data dalam desainer aliran data dan penelusuran kesalahan alur aliran data dimaksudkan untuk berfungsi maksimal dengan sampel data kecil. Namun, jika Anda perlu menguji logika Anda dalam alur atau aliran data terhadap data dalam jumlah besar, tingkatkan ukuran Azure Integration Runtime yang digunakan dalam sesi debug dengan lebih banyak inti dan komputasi tujuan umum minimum.

Penelusuran kesalahan alur dengan aktivitas aliran data

Saat mengeksekusi alur debug menggunakan aliran data, Anda memiliki dua opsi komputasi yang dapat dipilih. Anda dapat menggunakan kluster debug yang ada atau menyiapkan kluster baru just-in-time untuk aliran data.

Menggunakan sesi debug yang ada akan mengurangi waktu mulai aliran data secara signifikan karena kluster sudah dijalankan, tetapi tidak direkomendasikan untuk beban kerja yang kompleks atau paralel karena mungkin gagal jika beberapa pekerjaan dijalankan sekaligus.

Menggunakan runtime aktivitas akan membuat kluster baru menggunakan pengaturan yang ditentukan dalam runtime integrasi setiap aktivitas aliran data. Tindakan ini memungkinkan setiap pekerjaan diisolasi dan harus digunakan untuk beban kerja yang kompleks atau pengujian performa. Anda juga dapat mengontrol TTL di Azure IR sehingga sumber daya kluster yang digunakan untuk debugging masih akan tersedia selama periode tersebut untuk melayani permintaan pekerjaan tambahan.

Catatan

Jika Anda memiliki alur dengan aliran data yang dijalankan secara paralel atau aliran data yang perlu diuji dengan himpunan data besar, pilih "Gunakan Runtime Aktivitas" sehingga layanan dapat menggunakan Integration Runtime yang telah Anda pilih dalam aktivitas aliran data Anda. Tindakan ini akan memungkinkan aliran data dieksekusi di beberapa kluster dan dapat mengakomodasi eksekusi aliran data paralel Anda.

Konten terkait

Setelah menguji perubahan, promosikan perubahan ke lingkungan yang lebih tinggi menggunakan integrasi dan penyebaran berkelanjutan.