Pemetaan aliran data di Azure Data Factory

Azure Data Factory Azure Synapse Analytics

Petunjuk

• Untuk membandingkan transformasi aliran data pemetaan dengan padanan Dataflow Gen2-nya, lihat Panduan untuk Dataflow Gen2 bagi pengguna aliran data pemetaan.
• Untuk transformasi data di Microsoft Fabric, lihat gambaran umum Dataflow Gen2.

Apa itu aliran data pemetaan?

Aliran data pemetaan adalah transformasi data yang dirancang secara visual dalam Azure Data Factory. Aliran data memungkinkan insinyur data untuk mengembangkan logika transformasi data tanpa menulis kode. Aliran data yang dihasilkan dijalankan sebagai aktivitas dalam alur Azure Data Factory yang menggunakan kluster Apache Spark yang diskalakan. Aktivitas aliran data dapat diopperalisasi menggunakan kemampuan penjadwalan, kontrol, aliran, dan pemantauan Azure Data Factory yang ada.

Pemetaan aliran data memberikan pengalaman visual sepenuhnya tanpa perlu pengkodean. Aliran data Anda berjalan pada kluster eksekusi yang dikelola ADF untuk pemrosesan data yang diskalakan. Azure Data Factory menangani semua terjemahan kode, pengoptimalan jalur, dan eksekusi pekerjaan aliran data Anda.

Memulai

Aliran data dibuat dari panel sumber daya pabrik seperti alur dan himpunan data. Untuk membuat data flow, pilih tanda plus di samping Sumber Daya, lalu pilih Data Flow.

Tindakan ini membawa Anda ke kanvas aliran data, tempat Anda dapat membuat logika transformasi Anda. Pilih Tambahkan sumber untuk mulai mengonfigurasi transformasi sumber Anda. Untuk informasi selengkapnya, lihat Transformasi sumber.

Penulisan aliran data

Aliran data pemetaan memiliki kanvas penulisan unik yang dirancang untuk membuat logika transformasi bangunan menjadi mudah. Kanvas aliran data dipisahkan menjadi tiga bagian: bilah atas, grafik, dan panel konfigurasi.

Graph

Grafik menampilkan aliran transformasi. Ini menunjukkan silsilah data sumber saat mengalir ke satu atau lebih sink. Sink dapat menjadi tujuan sumber data apa pun tempat Anda ingin memindahkan hasil data yang diubah. Untuk menambahkan sumber baru, pilih Tambahkan sumber. Untuk menambahkan transformasi baru, pilih tanda plus di kanan bawah transformasi yang ada. Pelajari selengkapnya tentang cara mengelola grafik aliran data.

Panel konfigurasi

Panel konfigurasi menunjukkan pengaturan khusus untuk transformasi yang saat ini dipilih. Jika tidak ada transformasi yang dipilih, panel tersebut menunjukkan aliran data. Dalam konfigurasi aliran data secara keseluruhan, Anda dapat menambahkan parameter melalui tab Parameter. Untuk informasi selengkapnya, lihat Parameter aliran data pemetaan.

Setiap transformasi berisi setidaknya empat tab konfigurasi.

Pengaturan transformasi

Tab pertama di setiap panel konfigurasi transformasi berisi pengaturan khusus untuk transformasi tersebut. Untuk informasi selengkapnya, lihat halaman dokumentasi transformasi tersebut.

Optimalkan

Tab Optimalkan berisi pengaturan untuk mengonfigurasi skema partisi. Untuk mempelajari selengkapnya tentang cara mengoptimalkan aliran data Anda, lihat panduan performa aliran data pemetaan.

Memeriksa

Tab Inspeksi memberikan tampilan terhadap metadata dari aliran data yang Anda ubah. Anda bisa melihat jumlah kolom, kolom yang diubah, kolom yang ditambahkan, jenis data, urutan kolom, dan referensi kolom. Inspeksi adalah tampilan baca-saja dari metadata Anda. Anda tidak perlu mengaktifkan mode debug untuk melihat metadata di panel Inspeksi.

Saat Anda mengubah bentuk data Anda melalui transformasi, Anda bisa melihat alur perubahan metadata di panel Inspeksi . Jika tidak ada skema yang ditentukan dalam transformasi sumber Anda, metadata tidak terlihat di panel Inspeksi . Kurangnya metadata adalah umum dalam skenario pergerakan skema.

Pratinjau data

Jika mode debug menyala, tab Pratinjau Data memberi Anda rekam jepret interaktif data di setiap transformasi. Untuk informasi selengkapnya, lihat Pratinjau data dalam mode debug.

Bilah atas

Bilah atas berisi tindakan yang memengaruhi seluruh aliran data, seperti menyimpan dan memvalidasi. Anda juga dapat menampilkan kode JSON dan skrip aliran data yang mendasari logika transformasi Anda. Untuk informasi selengkapnya, pelajari tentang skrip aliran data.

Transformasi yang tersedia

Tampilkan gambaran umum transformasi aliran data pemetaan untuk mendapatkan daftar transformasi yang tersedia.

Tipe data aliran

• array
• biner
• Boolean
• kompleks
• desimal (termasuk presisi)
• tanggal
• float
• bilangan bulat
• panjang
• memetakan
• pendek
• string
• stempel waktu

Aktivitas aliran data

Aliran data pemetaan dioperasionalkan dalam alur ADF menggunakan aktivitas aliran data. Yang perlu dilakukan pengguna adalah menentukan runtime integrasi yang akan digunakan dan memasukkan nilai parameter. Untuk informasi selengkapnya, pelajari tentang runtime integrasi Azure.

Mode penelusuran kesalahan

Mode debug memungkinkan Anda melihat hasil setiap langkah transformasi secara interaktif saat Anda membangun dan men-debug aliran data Anda. Sesi debug dapat digunakan baik saat membangun logika aliran data Anda maupun saat menjalankan debug pipeline dengan aktivitas aliran data. Untuk mempelajari selengkapnya, lihat dokumentasi mode debug.

Memantau aliran data

Pemetaan aliran data terintegrasi dengan kemampuan pemantauan Azure Data Factory yang ada. Untuk mempelajari cara memahami output pemantauan aliran data, lihat memantau aliran data pemetaan.

Tim Azure Data Factory telah membuat panduan penyetelan performance untuk membantu Anda mengoptimalkan waktu eksekusi aliran data Anda setelah membangun logika bisnis Anda.

Konten terkait

• Pelajari cara membuat transformasi sumber.
• Pelajari cara membuat aliran data dalam mode debug.