Memetakan aliran data di Azure Data Factory

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Apa itu aliran data pemetaan?

Alur pemetaan data adalah transformasi data yang dirancang secara visual di Azure Data Factory. Aliran data memungkinkan insinyur data untuk mengembangkan logika transformasi data tanpa menulis kode. Aliran data yang dihasilkan dijalankan sebagai aktivitas dalam alur Azure Data Factory yang menggunakan kluster Apache Spark yang diskalakan. Aktivitas aliran data dapat dioperasionalkan menggunakan kemampuan penjadwalan, kontrol, aliran, dan pemantauan Azure Data Factory yang sudah ada.

Pemetaan aliran data memberikan pengalaman visual sepenuhnya tanpa perlu pengkodean. Aliran data Anda berjalan pada kluster eksekusi yang dikelola ADF untuk pemrosesan data yang diskalakan. Azure Data Factory menangani semua terjemahan kode, pengoptimalan jalur, dan pelaksanaan pekerjaan aliran data Anda.

Memulai

Aliran data dibuat dari panel sumber daya pabrik seperti alur dan himpunan data. Untuk membuat aliran data, pilih tanda plus di samping Sumber Daya Pabrik, lalu pilih Aliran Data.

Tindakan ini membawa Anda ke kanvas aliran data, tempat Anda dapat membuat logika transformasi Anda. Pilih Tambahkan sumber untuk mulai mengonfigurasi transformasi sumber Anda. Untuk informasi selengkapnya, lihat Transformasi sumber.

Penulisan aliran data

Aliran data pemetaan memiliki kanvas penulisan unik yang dirancang untuk membuat logika transformasi bangunan menjadi mudah. Kanvas aliran data dipisahkan menjadi tiga bagian: bilah atas, grafik, dan panel konfigurasi.

Grafik

Grafik menampilkan aliran transformasi. Ini menunjukkan silsilah data sumber saat mengalir ke satu atau lebih sink. Untuk menambahkan sumber baru, pilih Tambahkan sumber. Untuk menambahkan transformasi baru, pilih tanda plus di kanan bawah transformasi yang ada. Pelajari selengkapnya tentang cara mengelola grafik aliran data.

Panel konfigurasi

Panel konfigurasi menunjukkan pengaturan khusus untuk transformasi yang saat ini dipilih. Jika tidak ada transformasi yang dipilih, panel tersebut menunjukkan aliran data. Dalam konfigurasi aliran data secara keseluruhan, Anda dapat menambahkan parameter melalui tab Parameter. Untuk informasi selengkapnya, lihat Parameter aliran data pemetaan.

Setiap transformasi berisi setidaknya empat tab konfigurasi.

Pengaturan transformasi

Tab pertama di setiap panel konfigurasi transformasi berisi pengaturan khusus untuk transformasi tersebut. Untuk informasi selengkapnya, lihat halaman dokumentasi transformasi tersebut.

Optimalkan

Tab Optimalkan berisi pengaturan untuk mengonfigurasi skema partisi. Untuk mempelajari selengkapnya tentang cara mengoptimalkan aliran data Anda, lihat panduan performa aliran data pemetaan.

Memeriksa

Tab Inspeksi memberikan tampilan ke metadata aliran yang Anda ubah. Anda bisa melihat jumlah kolom, kolom yang diubah, kolom yang ditambahkan, jenis data, urutan kolom, dan referensi kolom. Inspeksi adalah tampilan baca-saja dari metadata Anda. Anda tidak perlu mengaktifkan mode debug untuk melihat metadata di panel Inspeksi.

Saat Anda mengubah bentuk data Anda melalui transformasi, Anda akan melihat alur perubahan metadata di panel Inspeksi. Jika tidak ada skema yang ditentukan dalam transformasi sumber Anda, metadata tidak akan terlihat di panel Inspeksi. Kurangnya metadata adalah umum dalam skenario pergerakan skema.

Pratinjau data

Jika mode debug menyala, tab Pratinjau Data memberi Anda rekam jepret interaktif data di setiap transformasi. Untuk informasi selengkapnya, lihat Pratinjau data dalam mode debug.

Bilah atas

Bilah atas berisi tindakan yang memengaruhi seluruh aliran data, seperti menyimpan dan memvalidasi. Anda juga dapat menampilkan kode JSON dan skrip aliran data yang mendasari logika transformasi Anda. Untuk informasi selengkapnya, pelajari tentang skrip aliran data.

Transformasi yang tersedia

Tampilkan gambaran umum transformasi aliran data pemetaan untuk mendapatkan daftar transformasi yang tersedia.

Jenis data aliran data

• array
• biner
• Boolean
• kompleks
• desimal (termasuk presisi)
• date
• float
• Integer
• long
• peta
• pendek
• string
• rentang waktu

Aktivitas aliran data

Aliran data pemetaan dioperasionalkan dalam alur ADF menggunakan aktivitas aliran data. Yang harus dilakukan pengguna adalah menentukan runtime integrasi mana yang akan digunakan dan lulus dalam nilai parameter. Untuk informasi selengkapnya, pelajari tentang runtime integrasi Azure.

Mode debug

Mode debug memungkinkan Anda melihat hasil setiap langkah transformasi secara interaktif saat Anda membangun dan men-debug aliran data Anda. Sesi debug dapat digunakan baik saat membangun logika aliran data Anda dan menjalankan debug alur berjalan dengan aktivitas aliran data. Untuk mempelajari selengkapnya, lihat dokumentasi mode debug.

Memantau aliran data

Aliran data pemetaan terintegrasi dengan kemampuan pemantauan Azure Data Factory yang ada. Untuk mempelajari cara memahami output pemantauan aliran data, lihat memantau aliran data pemetaan.

Tim Azure Data Factory telah membuat panduan penyetelan performa untuk membantu Anda mengoptimalkan waktu eksekusi data Anda mengalir setelah membangun logika bisnis Anda.

Wilayah yang telah tersedia

Aliran data pemetaan tersedia di wilayah berikut di ADF:

Wilayah Azure	Aliran data di ADF
Australia Tengah
Australia Tengah 2
Australia Timur	✓
Australia Tenggara	✓
Brasil Selatan	✓
Kanada Tengah	✓
India Tengah	✓
US Tengah	✓
Tiongkok Timur
Tiongkok Timur 2
Tiongkok Non-Regional
Tiongkok Utara	✓
Tiongkok Utara 2	✓
Tiongkok Utara 3	✓
Asia Timur	✓
AS Timur	✓
AS Timur 2	✓
Prancis Tengah	✓
Prancis Selatan
Jerman Tengah (Berdaulat)
Jerman Non-Regional (Berdaulat)
Jerman Utara (Publik)
Jerman Timur Laut (Berdaulat)
Jerman Barat Tengah (Publik)	✓
Jepang Timur	✓
Jepang Barat	✓
Korea Tengah	✓
Korea Selatan
US Tengah Utara	✓
Eropa Utara	✓
Norwegia Timur	✓
Norwegia Barat
Afrika Selatan Utara	✓
Afrika Selatan Barat
US Tengah Selatan
India Selatan	✓
Asia Tenggara	✓
Swiss Utara	✓
Swiss Barat
UAE Tengah
Arab Saudi Utara	✓
UK Selatan	✓
UK Barat
US DoD Tengah
US DoD Timur
US Gov Arizona	✓
US Gov Non-Regional
US Gov Texas
US Gov Virginia	✓
AS Tengah Bagian Barat
Eropa Barat	✓
India Barat	✓
US Barat	✓
US Barat 2	✓
AS Barat 3	✓

Konten terkait

• Pelajari cara membuat transformasi sumber.
• Pelajari cara membuat aliran data dalam mode debug.