Transformasikan data secara aman menggunakan aliran data pemetaan

Azure Data Factory Azure Synapse Analytics

Petunjuk

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

Jika Anda baru menggunakan Azure Data Factory, lihat Introduction ke Azure Data Factory.

Dalam tutorial ini, Anda akan menggunakan antarmuka pengguna (UI) Data Factory untuk membuat alur yang menyalin dan mengubah data dari sumber Azure Data Lake Storage Gen2 ke sink Data Lake Storage Gen2 (keduanya memungkinkan akses ke hanya jaringan yang dipilih) dengan menggunakan aliran data pemetaan di Data Factory Managed Virtual Network. Anda dapat memperluas pola konfigurasi dalam tutorial ini saat mengubah data dengan menggunakan alur data pemetaan.

Dalam tutorial ini, Anda melakukan tugas-tugas berikut:

  • Membuat pabrik data.
  • Buat alur dengan aktivitas aliran data.
  • Bangun aliran data pemetaan dengan empat transformasi.
  • Jalankan uji coba pipa.
  • Pantau aktivitas aliran data.

Prasyarat

  • langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun Azure free sebelum Memulai.
  • akun penyimpanan Azure. Anda menggunakan Data Lake Storage sebagai sumber dan tujuan penyimpanan data. Jika Anda tidak memiliki akun penyimpanan, lihat Buat akun penyimpanan Azure untuk langkah-langkah membuatnya. Pastikan akun penyimpanan hanya mengizinkan akses dari jaringan yang dipilih.

File yang akan kita ubah dalam tutorial ini adalah moviesDB.csv, yang dapat ditemukan di situs konten GitHub ini. Untuk mengambil file dari GitHub, salin konten ke editor teks pilihan Anda untuk menyimpannya secara lokal sebagai file .csv. Untuk mengunggah file ke akun penyimpanan Anda, lihat Muat blob dengan portal Azure. Contohnya akan merujuk kontainer bernama sample-data.

Membuat pabrik data

Dalam langkah ini, Anda membuat pabrik data dan membuka antarmuka pengguna Azure Data Factory untuk membuat alur di pabrik data.

  1. Buka Microsoft Edge atau Google Chrome. Saat ini, hanya browser web Microsoft Edge dan Google Chrome yang mendukung UI Data Factory.

  2. Di menu bagian kiri, pilih Buat sumber daya>Analytics>Azure Data Factory.

  3. Di halaman Pabrik data baru, di bawah Nama, masukkan ADFTutorialDataFactory.

    Nama pabrik data harus unik secara global. Jika Anda menerima pesan kesalahan tentang nilai nama, masukkan nama yang berbeda untuk pabrik data (misalnya, yournameADFTutorialDataFactory). Untuk aturan penamaan artefak Data Factory, lihat artikel aturan penamaan Data Factory.

  4. Pilih Azure subscription tempat Anda ingin membuat pabrik data.

  5. Untuk Grup Sumber Daya, lakukan salah satu langkah berikut:

    • Pilih Gunakan yang ada, lalu pilih grup sumber daya yang ada dari menu drop-down.
    • Pilih Buat baru, lalu masukkan nama grup sumber daya.

    Untuk mempelajari tentang grup sumber daya, lihat Gunakan grup sumber daya untuk mengelola sumber daya Azure Anda.

  6. Di bawah Versi, pilih V2.

  7. Di bawah Lokasi, pilih lokasi untuk pabrik data. Hanya lokasi yang didukung yang ditampilkan di daftar drop-down. Penyimpanan data (misalnya, Azure Storage dan Azure SQL Database) dan komputasi (misalnya, Azure HDInsight) yang digunakan oleh pabrik data dapat berada di wilayah lain.

  8. Pilih Buat.

  9. Setelah pembuatan selesai, Anda akan melihat pemberitahuan di pusat Pemberitahuan. Pilih Buka sumber daya untuk masuk ke halaman Azure Data Factory.

  10. Pilih Buka Azure Data Factory Studio untuk meluncurkan UI Data Factory di tab terpisah.

Menggunakan Azure Integration Runtime di Jaringan Virtual Terkelola Data Factory

Dalam langkah ini, Anda membuat runtime integrasi Azure dan mengaktifkan Jaringan Virtual Terkelola Data Factory.

  1. Di portal Data Factory, buka Kelola, dan pilih Baru untuk membuat Azure Integration Runtime baru.

    Screenshot yang memperlihatkan pembuatan Azure IR baru.

  2. Pada halaman Penyetelan runtime integrasi, pilih runtime integrasi apa yang akan dibuat berdasarkan kapabilitas yang diperlukan. Dalam tutorial ini, pilih Azure, Dihost sendiri lalu klik Kontinue.

  3. Pilih Azure lalu klik Kontinue untuk membuat runtime integrasi Azure.

    Screenshot yang menunjukkan Azure IR baru.

  4. Di bawah Konfigurasi jaringan virtual (Pratinjau), pilih Aktifkan.

    Cuplikan layar yang menunjukkan pengaktifan Azure IR baru.

  5. Pilih Buat.

Buat alur dengan aktivitas aliran data

Dalam langkah ini, Anda akan membuat alur yang berisi aktivitas aliran data.

  1. Pada beranda Azure Data Factory, pilih Orchestrate.

    Cuplikan layar yang memperlihatkan beranda pabrik data dengan tombol Orchestrate disorot.

  2. Di panel properti untuk alur, masukkan TransformMovies untuk nama alur.

  3. Di panel Aktivitas, luaskan Pindahkan dan Transformasi. Seret aktivitas Data Flow dari panel ke kanvas alur.

  4. Di pop-up Tambahkan data flow, pilih Buat data flow baru lalu pilih Pemetaan Data Flow. Pilih OK saat sudah selesai.

    Screenshot yang memperlihatkan Pemetaan Aliran Data.

  5. Beri nama aliran data Anda TransformMovies di panel properti.

  6. Di bilah atas kanvas pipeline, geser penggeser Data Flow debug ke posisi aktif. Mode debug memungkinkan pengujian interaktif logika transformasi terhadap kluster Spark langsung. Data Flow kluster membutuhkan waktu 5-7 menit untuk pemanasan dan pengguna disarankan untuk mengaktifkan debug terlebih dahulu jika mereka berencana untuk melakukan pengembangan Data Flow. Untuk informasi selengkapnya, lihat Mode Debug.

    Cuplikan layar yang menunjukkan penggeser debug aliran data.

Bangun logika transformasi di kanvas aliran data

Setelah membuat aliran data, Anda akan dikirim secara otomatis ke kanvas aliran data. Dalam langkah ini, Anda akan membangun aliran data yang mengambil file moviesDB.csv dari penyimpanan Data Lake dan menghitung rata-rata peringkat komedi dari tahun 1910 hingga 2000. Anda kemudian akan menulis file ini kembali ke Data Lake Storage.

Tambahkan transformasi sumber

Dalam langkah ini, Anda menyiapkan Data Lake Storage Gen2 sebagai sumber.

  1. Di kanvas aliran data, tambahkan sumber dengan memilih kotak Tambahkan Sumber.

  2. Beri nama sumber Anda MoviesDB. Klik Baru untuk membuat himpunan data sumber baru.

  3. Pilih Azure Data Lake Storage Gen2, lalu pilih Kontinue.

  4. Pilih DelimitedText, lalu pilih Lanjutkan.

  5. Beri nama himpunan data Anda MoviesDB. Di menu tarik-turun layanan terkait, pilih Baru.

  6. Di layar pembuatan layanan tertaut, beri nama layanan tertaut Data Lake Storage Gen2 Anda ADLSGen2 dan tentukan metode autentikasi Anda. Lalu masukkan informasi masuk koneksi Anda. Dalam tutorial ini, kami menggunakan Kunci akun untuk terhubung ke akun penyimpanan kami.

  7. Pastikan Anda mengaktifkan Penulisan interaktif. Mungkin perlu waktu satu menit untuk diaktifkan.

    Cuplikan layar yang memperlihatkan Penulisan interaktif.

  8. Pilih Pengujian koneksi. Ini harus gagal karena akun penyimpanan tidak mengaktifkan akses ke dalamnya tanpa pembuatan dan persetujuan titik akhir pribadi. Dalam pesan kesalahan, Anda akan melihat tautan untuk membuat titik akhir privat yang bisa Anda ikuti untuk membuat titik akhir privat terkelola. Alternatifnya adalah langsung masuk ke tab Kelola dan ikuti instruksi di bagian ini untuk membuat titik akhir privat terkelola.

  9. Biarkan kotak dialog terbuka, lalu buka akun penyimpanan Anda.

  10. Ikuti instruksi di bagian ini untuk menyetujui tautan pribadi.

  11. Kembali ke kotak dialog. Pilih Pengujian koneksi lagi, dan pilih Buat untuk menyebarkan layanan tertaut.

  12. Di layar pembuatan himpunan data, masukkan lokasi file Anda di bawah bidang Jalur file. Dalam tutorial ini, file moviesDB.csv terletak di sampel-data kontainer. Karena file memiliki tajuk, pilih kotak centang Baris pertama sebagai tajuk. Pilih Dari koneksi/penyimpanan untuk mengimpor skema header langsung dari file dalam penyimpanan. Pilih OK saat sudah selesai.

    Cuplikan layar yang memperlihatkan jalur sumber.

  13. Jika kluster debug Anda telah dimulai, buka tab Pratinjau Data dari transformasi sumber dan pilih Refresh untuk mendapatkan rekam jepret data. Anda dapat menggunakan pratinjau data untuk memverifikasi transformasi Anda dikonfigurasi dengan benar.

    Cuplikan layar memperlihatkan tab Pratinjau Data.

Buat titik akhir privat terkelola

Jika Anda tidak memilih hyperlink saat menguji koneksi, ikuti jalurnya. Sekarang Anda perlu membuat titik akhir privat terkelola yang akan Anda sambungkan ke layanan tertaut yang Anda buat.

  1. Masuk ke tab Kelola.

    Catatan

    Tab Kelola mungkin tidak tersedia untuk semua instans Azure Data Factory. Jika Anda tidak melihatnya, Anda dapat mengakses titik akhir privat dengan memilih Titik Akhir Privat>Koneksi>Pembuat.

  2. Masuk ke bagian Titik akhir pribadi terkelola.

  3. Pilih + Baru di bawah Titik akhir privat terkelola.

    Cuplikan layar yang memperlihatkan tombol Baru Titik Akhir Privat Terkelola.

  4. Pilih petak Azure Data Lake Storage Gen2 dari daftar, dan pilih Kontinue.

  5. Masukkan nama akun penyimpanan yang Anda buat.

  6. Pilih Buat.

  7. Setelah beberapa detik, Anda akan melihat bahwa tautan pribadi yang dibuat memerlukan persetujuan.

  8. Pilih titik akhir privat yang Anda buat. Anda bisa melihat hyperlink yang memungkinkan Anda untuk menyetujui private endpoint di tingkat akun penyimpanan.

    Cuplikan layar yang memperlihatkan panel Mengelola titik akhir privat.

  1. Di akun penyimpanan, buka Koneksi titik akhir privat di bawah bagianPengaturan.

  2. Pilih kotak centang untuk titik akhir privat yang Anda buat, dan pilih Setujui.

    Cuplikan layar yang memperlihatkan tombol Setujui untuk titik akhir privat.

  3. Tambahkan deskripsi, dan pilih ya.

  4. Kembali ke bagian Titik akhir privat terkelola pada tab Kelola di Data Factory.

  5. Setelah sekitar satu menit, Anda akan melihat persetujuan muncul untuk titik akhir privat Anda.

Tambahkan transformasi filter

  1. Di samping simpul sumber Anda pada kanvas aliran data, klik ikon plus untuk menambahkan transformasi baru. Transformasi pertama yang Anda tambahkan adalah Filter.

    Cuplikan layar yang memperlihatkan penambahan filter.

  2. Beri nama filter transformasi Anda FilterYears. Klik pada kotak ekspresi di samping Filter untuk membuka penyusun ekspresi. Di sini Anda akan menentukan kondisi pemfilteran Anda.

    Cuplikan layar yang memperlihatkan FilterYears.

  3. Penyusun ekspresi aliran data memungkinkan Anda membangun ekspresi secara interaktif yang digunakan dalam berbagai transformasi. Ekspresi dapat menyertakan fungsi bawaan, kolom dari skema input, dan parameter yang ditentukan pengguna. Untuk informasi selengkapnya tentang cara menyusun ekspresi, lihat Penyusun ekspresi Aliran Data.

    • Dalam tutorial ini, Anda ingin memfilter film komedi genre yang keluar antara tahun 1910 dan 2000. Karena tahun saat ini adalah untai (karakter), Anda perlu mengonversinya menjadi bilangan bulat menggunakan toInteger() fungsi. Gunakan operator yang lebih besar dari atau sama dengan (>=) dan lebih kecil atau sama dengan (<=) untuk membandingkan dengan nilai tahun literal 1910 dan 2000. Gabungkan ekspresi-ekspresi ini dengan operator and (&&). Ekspresi akan keluar sebagai:

      toInteger(year) >= 1910 && toInteger(year) <= 2000

    • Untuk menemukan film mana yang merupakan komedi, Anda dapat menggunakan rlike()fungsi untuk menemukan pola 'Komedi' dalam genre kolom. Satukan ekspresi rlike dengan perbandingan tahun untuk mendapatkan:

      toInteger(year) >= 1910 && toInteger(year) <= 2000 && rlike(genres, 'Comedy')

    • Jika kluster debug aktif, Anda dapat memverifikasi logika dengan mengeklik Refresh untuk melihat output ekspresi dibandingkan dengan input yang digunakan. Ada lebih dari satu jawaban yang tepat tentang bagaimana Anda dapat menyelesaikan logika ini menggunakan bahasa pemrograman ekspresi aliran data.

      Cuplikan layar yang memperlihatkan ekspresi filter.

    • Pilih Simpan dan selesaikan setelah Anda selesai dengan ekspresi Anda.

  4. Ambil Pratinjau Data untuk memverifikasi bahwa filter berfungsi dengan benar.

    Cuplikan layar memperlihatkan Pratinjau Data yang difilter.

Tambahkan transformasi agregat

  1. Transformasi berikutnya yang akan Anda tambahkan adalah transformasi Agregat di bawah pengubah Skema.

    Cuplikan layar yang memperlihatkan penambahan agregat.

  2. Beri nama transformasi agregat Anda AggregateComedyRating. Di tab Kelompokkan menurut, pilih tahun dari menu drop-down untuk mengelompokkan agregasi menurut tahun film yang telah keluar.

    Cuplikan layar yang memperlihatkan grup agregat.

  3. Masuk ke tab Agregat. Di kotak teks kiri, beri nama kolom agregat AverageComedyRating. Pilih kotak ekspresi kanan untuk memasukkan ekspresi agregat melalui pembuat ekspresi.

    Cuplikan layar yang memperlihatkan nama kolom agregat.

  4. Untuk mendapatkan rata-rata kolom Peringkat, gunakan avg() fungsi agregat. Karena Peringkat adalah untai (karakter) dan avg() mengambil input numerik, kita harus mengonversi nilai ke angka melalui toInteger() fungsi. Ekspresi ini terlihat seperti:

    avg(toInteger(Rating))

  5. Pilih Simpan dan selesai setelah Anda selesai.

    Cuplikan layar yang memperlihatkan penyimpanan agregat.

  6. Masuk ke tab Pratinjau Data untuk melihat output transformasi. Perhatikan hanya dua kolom yang ada di sana, tahun dan AverageComedyRating.

Tambahkan transformasi sink

  1. Selanjutnya, Anda ingin menambahkan transformasi Sink di bawah Tujuan.

    Cuplikan layar yang memperlihatkan penambahan sink.

  2. Beri nama sink Anda Sink. Klik Baru untuk membuat himpunan data sink Anda.

    Cuplikan layar yang memperlihatkan pembuatan sink.

  3. Pada halaman Himpunan data baru, pilih Azure Data Lake Storage Gen2 lalu pilih Kontinue.

  4. Pada halaman Pilih format, pilih DelimitedText lalu pilih Lanjutkan.

  5. Beri nama set data sink Anda MoviesSink. Untuk layanan tertaut, pilih layanan tertaut ADLSGen2 sama yang Anda buat untuk transformasi sumber. Masukkan folder output untuk menulis data Anda. Dalam tutorial ini, kita menulis ke folder output dalam kontainer sample-data. Folder tidak perlu ada sebelumnya dan dapat dibuat secara dinamis. Pilih kotak centang Baris pertama sebagai header, dan pilih Tidak Ada untuk Mengimpor skema. Pilih OK.

    Cuplikan layar yang memperlihatkan jalur sink.

Sekarang Anda sudah selesai membangun aliran data Anda. Anda siap untuk menjalankannya pada alur kerja pipeline.

Jalankan dan pantau aliran data

Anda dapat men-debug alur sebelum memublikasikannya. Dalam langkah ini, Anda akan memicu proses debug dari alur aliran data. Meskipun pratinjau data tidak menulis data, proses debug akan menulis data ke tujuan target sink Anda.

  1. Pergi ke kanvas alur. Klik Debug untuk memicu eksekusi debug.

  2. Debug alur aktivitas aliran data menggunakan kluster debug aktif tetapi masih membutuhkan waktu setidaknya satu menit untuk menginisialisasi. Anda dapat melacak kemajuan melalui tab Output. Setelah eksekusi berhasil, pilih ikon kacamata untuk detail eksekusi.

  3. Pada halaman detail, Anda dapat melihat jumlah baris dan waktu yang dihabiskan untuk setiap langkah transformasi.

    Cuplikan layar yang memperlihatkan sesi pemantauan.

  4. Klik transformasi untuk mendapatkan informasi terperinci tentang kolom dan pemartisian data.

Jika Anda mengikuti tutorial ini dengan benar, Anda harus menulis 83 baris dan 2 kolom ke dalam folder sink Anda. Anda dapat memverifikasi bahwa data sudah benar dengan memeriksa penyimpanan blob Anda.

Ringkasan

Dalam tutorial ini, Anda menggunakan UI Data Factory untuk membuat alur yang menyalin dan mengubah data dari sumber Data Lake Storage Gen2 ke sink Data Lake Storage Gen2 (keduanya memungkinkan akses ke hanya jaringan yang dipilih) dengan menggunakan aliran data pemetaan di Data Factory Managed Virtual Network.

  • Last updated on