Pengembangan iteratif dan debugging dengan alur Azure Data Factory dan Synapse Analytics
BERLAKU UNTUK:
Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Azure Data Factory dan Synapse Analytics mendukung pengembangan berulang dan debugging alur. Fitur ini memungkinkan Anda menguji perubahan Anda sebelum membuat permintaan pull atau menerbitkannya ke layanan.
Untuk pengantar dan demonstrasi fitur ini selama delapan menit, tonton video berikut:
Penelusuran kesalahan alur
Saat menulis menggunakan kanvas alur, Anda dapat menguji aktivitas menggunakan kemampuan Debug. Saat menjalankan uji coba, Anda tidak perlu memublikasikan perubahan Anda ke layanan sebelum memilih Debug. Fitur ini sangat berguna dalam skenario saat Anda ingin memastikan bahwa perubahan berfungsi seperti harapan sebelum Anda memperbarui alur kerja.
Saat alur dijalankan, Anda dapat melihat hasil setiap aktivitas di tab Output kanvas alur.
Anda dapat melihat hasil eksekusi uji coba di jendela Output kanvas alur.
Setelah eksekusi uji coba, tambahkan lebih banyak aktivitas ke alur Anda dan lanjutkan penelusuran kesalahan secara berulang. Anda juga dapat Membatalkan eksekusi uji coba saat sedang berlangsung.
Penting
Memilih Debug akan benar-benar menjalankan alur. Misalnya, jika alur berisi aktivitas penyalinan, eksekusi uji coba akan menyalin data dari sumber ke tujuan. Akibatnya, sebaiknya Anda menggunakan folder uji coba dalam aktivitas penyalinan dan aktivitas lainnya saat melakukan penelusuran kesalahan. Setelah Anda men-debug alur, beralih ke folder aktual yang ingin digunakan dalam operasi normal.
Mengatur titik henti
Layanan memungkinkan Anda untuk men-debug alur hingga Anda mencapai aktivitas tertentu di kanvas alur. Letakkan titik henti pada aktivitas yang ingin diuji, lalu pilih Debug. Layanan memastikan bahwa uji coba hanya berjalan hingga aktivitas titik henti pada kanvas alur. Fitur Debug Hingga ini berguna saat Anda tidak ingin menguji seluruh alur, tetapi hanya sebagian aktivitas di dalam alur.
Untuk mengatur titik henti, pilih elemen pada kanvas alur. Opsi Debug Hingga muncul sebagai lingkaran merah kosong di sudut kanan atas elemen.
Setelah dipilih, opsi Debug Hingga akan berubah menjadi lingkaran merah yang terisi untuk menunjukkan bahwa titik henti diaktifkan.
Memantau eksekusi debug
Saat Anda menjalankan eksekusi debug alur, hasilnya akan muncul di jendela Output kanvas alur. Tab output hanya akan berisi eksekusi terbaru yang terjadi selama sesi browser saat ini.
Untuk melihat tampilan riwayat eksekusi debug atau melihat daftar semua eksekusi debug yang aktif, Anda dapat membuka pengalaman Monitor.
Catatan
Layanan hanya menyimpan riwayat debug selama 15 hari.
Menelusuri kesalahan aliran data pemetaan
Aliran data pemetaan memungkinkan Anda untuk menyusun logika transformasi data bebas kode yang berjalan dalam skala besar. Saat menyusun logika, Anda dapat mengaktifkan sesi debug untuk bekerja secara interaktif dengan data Anda menggunakan kluster Spark langsung. Untuk mempelajari lebih lanjut, baca mode debug aliran data pemetaan.
Anda dapat memantau sesi debug aliran data yang aktif di seluruh pabrik dalam pengalaman Monitor.
Pratinjau data dalam desainer aliran data dan penelusuran kesalahan alur aliran data dimaksudkan untuk berfungsi maksimal dengan sampel data kecil. Namun, jika Anda perlu menguji logika dalam alur atau aliran data terhadap data dalam jumlah besar, tingkatkan ukuran Azure Integration Runtime yang digunakan dalam sesi debug dengan lebih banyak inti dan komputasi tujuan umum minimum.
Penelusuran kesalahan alur dengan aktivitas aliran data
Saat menjalankan eksekusi alur debug dengan aliran data, Anda memiliki dua opsi yang dapat digunakan komputasi. Anda dapat menggunakan kluster debug yang ada atau memutar kluster baru tepat waktu untuk aliran data.
Menggunakan sesi debug yang ada akan mengurangi waktu mulai aliran data secara signifikan karena kluster sudah dijalankan, tetapi tidak direkomendasikan untuk beban kerja yang kompleks atau paralel karena mungkin gagal jika beberapa pekerjaan dijalankan sekaligus.
Menggunakan runtime aktivitas akan membuat kluster baru menggunakan pengaturan yang ditentukan dalam runtime integrasi setiap aktivitas aliran data. Tindakan ini memungkinkan setiap pekerjaan diisolasi dan harus digunakan untuk beban kerja yang kompleks atau pengujian performa. Anda juga dapat mengontrol TTL di Azure IR agar sumber daya kluster yang digunakan untuk penelusuran kesalahan akan tetap tersedia selama periode waktu tersebut untuk melayani permintaan pekerjaan tambahan.
Catatan
Jika Anda memiliki alur dengan aliran data yang dieksekusi secara paralel atau aliran data yang perlu diuji dengan himpunan data besar, pilih "Gunakan Runtime Aktivitas" agar layanan dapat menggunakan Integration Runtime yang telah Anda pilih dalam aktivitas aliran data Anda. Tindakan ini akan memungkinkan aliran data dieksekusi di beberapa kluster dan dapat mengakomodasi eksekusi aliran data paralel Anda.
Konten terkait
Setelah menguji perubahan, promosikan perubahan ke lingkungan yang lebih tinggi menggunakan integrasi dan penyebaran berkelanjutan.