Latihan - Menggunakan data manipulasi Azure Data Factory
Fitur Power Query dalam Azure Data Factory memungkinkan Anda untuk bekerja dengan dan manipulasi data. Ini adalah objek yang dapat ditambahkan ke desainer kanvas sebagai aktivitas dalam alur Azure Data Factory untuk melakukan persiapan data bebas kode. Ini memungkinkan individu yang tidak fasih dengan teknologi persiapan data tradisional seperti Spark atau SQL Server, dan bahasa seperti Python dan T-SQL untuk menyiapkan data pada skala cloud secara iteratif.
Fitur Power Query menggunakan antarmuka tipe kisi untuk persiapan data dasar yang seperti estetika Excel, yang dikenal sebagai Penyunting Mashup Online. Editor juga memungkinkan pengguna yang lebih mahir untuk melakukan persiapan data yang lebih kompleks menggunakan rumus. Anda harus terlebih dahulu membuat layanan yang tertaut ke sumber data terlebih dahulu sebelum Anda dapat mengakses data
Rumus bekerja dengan Power Query Online dan membuat fungsi Power Query M tersedia untuk pengguna pabrik data. Power Query kemudian menerjemahkan bahasa pemrogram M yang dihasilkan oleh Penyunting Mashup Online ke dalam kode spark untuk eksekusi skala cloud.
Kemampuan ini memungkinkan teknisi data dan analis data untuk mengeksplorasi dan menyiapkan kumpulan data secara interaktif. Selain itu, mereka dapat secara interaktif bekerja dengan bahasa M dan mempratinjau hasilnya sebelum melihatnya dalam konteks alur yang lebih luas.
Untuk menambahkan aktivitas Power Query di Azure Data Factory, klik ikon plus dan pilih Power Query di panel sumber daya Factory.
Tambahkan Himpunan data sumber untuk alur manipulasi data Anda, dan pilih himpunan data sink. Sumber data berikut didukung.
| Konektor | Format data | Jenis autentikasi |
|---|---|---|
| Penyimpanan Blob Azure | CSV, Parquet | Kunci akun |
| Azure Data Lake Storage Gen1 | CSV | Perwakilan Layanan |
| Azure Data Lake Storage Gen2 | CSV, Parquet | Kunci Akun, Perwakilan Layanan |
| Database Azure SQL | Autentikasi SQL | |
| Azure Synapse Analytics | Autentikasi SQL |
Setelah Anda memilih sumber, lalu klik buat.
Ini membuka Online Mashup Editor.
Ini terdiri dari komponen berikut:
Daftar himpunan data.
Ini akan memberikan himpunan data yang telah ditetapkan sebagai sumber untuk Manipulasi Data.
Toolbar Fungsi Manipulasi.
Toolbar berisi berbagai fungsi manipulasi data yang dapat diakses pengguna untuk memanipulasi data termasuk:
- Mengelola kolom.
- Mengubah tabel.
- Mengurangi baris.
- Menambahkan kolom.
- Menggabungkan tabel.
Setiap item yang sensitif terhadap konteks dan berisi sub fungsi khusus untuk item tersebut.
Judul kolom.
Selain memiliki kemampuan untuk mengganti nama kolom, mengklik kanan kolom akan memunculkan item yang sensitif terhadap konteks untuk mengelola kolom.
Pengaturan.
Ini memungkinkan Anda untuk menambahkan atau mengedit sumber data dan sink data, dan memodifikasi pengaturan untuk tugas manipulasi data.
Jendela langkah.
Jendela ini menunjukkan langkah-langkah yang telah diterapkan pada manipulasi output. Dalam contoh dalam grafik, langkah bernama "Source" telah diterapkan manipulasi output bernama "UserQuery".
Daftar output Power Query.
Mencantumkan output manipulasi data yang telah ditentukan.
Terbitkan tombol.
Memungkinkan Anda menerbitkan pekerjaan yang telah dibuat.
Tugas Power Query dapat ditambahkan di desainer kanvas seperti tugas Aktivitas Salin, atau tugas Pemetaan Alur Data dan dapat dikelola dan dipantau dengan cara yang sama.
