Aliran data di Azure Synapse Analytics

Apa itu aliran data?

Aliran data adalah transformasi data yang dirancang secara visual di Azure Synapse Analytics. Aliran data memungkinkan perekayasa data untuk mengembangkan logika transformasi data tanpa menulis kode. Aliran data yang dihasilkan dijalankan sebagai aktivitas dalam alur Azure Synapse Analytics yang menggunakan peluasan skala kluster Apache Spark. Aktivitas aliran data dapat dioperasionalkan menggunakan kemampuan penjadwalan, kontrol, alur, dan pemantauan Azure Synapse Analytics yang sudah ada.

Aliran data memberikan pengalaman visual sepenuhnya tanpa perlu pengodean. Aliran data Anda berjalan pada kluster eksekusi yang dikelola Synapse untuk peluasan skala pemrosesan data. Azure Synapse Analytics menangani semua terjemahan kode, pengoptimalan jalur, dan eksekusi pekerjaan aliran data Anda.

Memulai

Aliran data dibuat dari panel Pengembangan di studio Synapse. Untuk membuat aliran data, pilih tanda plus di samping Pengembangan, lalu pilih Aliran Data.

Tindakan ini membawa Anda ke kanvas aliran data, tempat Anda dapat membuat logika transformasi Anda. Pilih Tambahkan sumber untuk mulai mengonfigurasi transformasi sumber Anda. Untuk informasi selengkapnya, lihat Transformasi sumber.

Penulisan aliran data

Aliran data memiliki kanvas penulisan unik yang dirancang untuk membuat logika transformasi pembangunan menjadi mudah. Kanvas aliran data dipisahkan menjadi tiga bagian: bilah atas, grafik, dan panel konfigurasi.

Graph

Grafik menampilkan aliran transformasi. Ini menunjukkan silsilah data sumber saat mengalir ke satu atau lebih sink. Untuk menambahkan sumber baru, pilih Tambahkan sumber. Untuk menambahkan transformasi baru, pilih tanda plus di kanan bawah transformasi yang ada. Pelajari selengkapnya tentang cara mengelola grafik aliran data.

Panel konfigurasi

Panel konfigurasi menunjukkan pengaturan khusus untuk transformasi yang saat ini dipilih. Jika tidak ada transformasi yang dipilih, panel tersebut menunjukkan aliran data. Dalam konfigurasi aliran data secara keseluruhan, Anda dapat menambahkan parameter melalui tab Parameter. Untuk informasi selengkapnya, lihat Parameter aliran data.

Setiap transformasi berisi setidaknya empat tab konfigurasi.

Pengaturan transformasi

Tab pertama di setiap panel konfigurasi transformasi berisi pengaturan khusus untuk transformasi tersebut. Untuk informasi selengkapnya, lihat halaman dokumentasi transformasi tersebut.

Pengoptimalan

Tab Optimalkan berisi pengaturan untuk mengonfigurasi skema partisi. Untuk mempelajari selengkapnya tentang cara mengoptimalkan aliran data Anda, lihat panduan performa aliran data pemetaan.

Memeriksa

Tab Inspeksi memberikan tampilan ke metadata aliran yang Anda ubah. Anda bisa melihat jumlah kolom, kolom yang diubah, kolom yang ditambahkan, jenis data, urutan kolom, dan referensi kolom. Inspeksi adalah tampilan baca-saja dari metadata Anda. Anda tidak perlu mengaktifkan mode debug untuk melihat metadata di panel Inspeksi.

Saat Anda mengubah bentuk data Anda melalui transformasi, Anda akan melihat alur perubahan metadata di panel Inspect. Jika tidak ada skema yang ditentukan dalam transformasi sumber Anda, metadata tidak akan terlihat di panel Inspeksi. Kurangnya metadata adalah umum dalam skenario pergerakan skema.

Pratinjau data

Jika mode debug menyala, tab Pratinjau Data memberi Anda rekam jepret interaktif data di setiap transformasi. Untuk informasi selengkapnya, lihat Pratinjau data dalam mode debug.

Bilah atas

Bilah atas berisi tindakan yang memengaruhi keseluruhan aliran data, seperti pengaturan validasi dan debug. Anda juga dapat menampilkan kode JSON dan skrip aliran data yang mendasari logika transformasi Anda.

Transformasi yang tersedia

Tampilkan gambaran umum transformasi aliran data pemetaan untuk mendapatkan daftar transformasi yang tersedia.

Aktivitas aliran data

Aliran data dioperasionalkan dalam alur Azure Synapse Analytics menggunakan aktivitas aliran data. Yang harus dilakukan pengguna adalah menentukan runtime integrasi mana yang akan digunakan dan lulus dalam nilai parameter. Untuk informasi selengkapnya, pelajari tentang runtime integrasi Azure.

Mode debug

Mode debug memungkinkan Anda melihat hasil setiap langkah transformasi secara interaktif saat Anda membangun dan men-debug aliran data Anda. Sesi debug dapat digunakan baik saat membangun logika aliran data Anda dan menjalankan debug alur berjalan dengan aktivitas aliran data. Untuk mempelajari selengkapnya, lihat dokumentasi mode debug.

Memantau aliran data

Aliran data terintegrasi dengan kemampuan pemantauan Azure Synapse Analytics yang ada. Untuk mempelajari cara memahami output pemantauan aliran data, lihat pemantauan aliran data pemetaan.

Tim Azure Synapse Analytics telah membuat panduan penyetelan performa untuk membantu Anda mengoptimalkan waktu eksekusi aliran data Anda setelah membangun logika bisnis Anda.

Langkah berikutnya

• Pelajari cara membuat transformasi sumber.
• Pelajari cara membuat aliran data dalam mode debug.