Menyalin data dan mengirim pemberitahuan email tentang keberhasilan dan kegagalan

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Dalam tutorial ini, Anda membuat alur Data Factory yang menampilkan beberapa fitur aliran kontrol. Alur ini melakukan penyalinan sederhana dari penampung di Azure Blob Storage ke kontainer lain di akun penyimpanan yang sama. Jika aktivitas penyalinan berhasil, alur akan mengirimkan detail pengoperasian penyalinan yang berhasil (seperti jumlah data yang ditulis) dalam email yang berhasil. Jika aktivitas salin gagal, alur akan mengirimkan detail kegagalan salin (seperti pesan kesalahan) di email kegagalan. Sepanjang tutorial, Anda akan melihat cara melewati parameter.

Gambaran umum tingkat tinggi tentang skenario:

Anda akan melakukan langkah-langkah berikut dalam tutorial ini:

• Membuat pabrik data.
• Buat layanan tertaut Azure Storage.
• Buat himpunan data Azure Blob
• Buat alur yang berisi Aktivitas penyalinan dan Aktivitas web
• Mengirim output aktivitas ke aktivitas berikutnya
• Gunakan parameter passing dan variabel sistem
• Mulai eksekusi alur
• Pantau eksekusi alur dan aktivitas

Tutorial ini menggunakan portal Microsoft Azure. Anda dapat menggunakan mekanisme lain untuk berinteraksi dengan Azure Data Factory, lihat "Mulai Cepat" di daftar isi.

Prasyarat

• Langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.
• Akun Azure Storage. Anda menggunakan penyimpanan blob sebagai penyimpanan data sumber. Jika Anda tidak memiliki akun penyimpanan Azure, lihat artikel Buat akun penyimpanan untuk mengetahui langkah-langkah membuatnya.
• Microsoft Azure SQL database. Anda menggunakan database sebagai penyimpanan data sink. Jika Anda tidak memiliki database di Azure SQL Database, lihat artikel Buat database di Azure SQL Database untuk mengetahui langkah-langkah membuatnya.

Buat tabel blob

1. Luncurkan Notepad. Salin teks berikut dan simpan sebagai file input.txt di disk Anda.

   John,Doe
   Jane,Doe
   

2. Gunakan alat seperti Azure Storage Explorer untuk melakukan langkah-langkah berikut:

   1. Buat kontainer adfv2branch.
   2. Buat folder input di kontaineradfv2branch.
   3. Unggah file input.txt ke kontainer.

Buat titik akhir alur kerja email

Untuk memicu pengiriman email dari alur, Anda menggunakan Azure Logic Apps untuk menentukan alur kerja. Untuk informasi selengkapnya tentang membuat alur kerja aplikasi logika, lihat Membuat contoh alur kerja aplikasi logika Konsumsi.

Alur kerja email berhasil

Buat alur kerja aplikasi logika Konsumsi bernama CopySuccessEmail. Tambahkan pemicu Permintaan bernama Saat permintaan HTTP diterima, dan tambahkan tindakan Office 365 Outlook bernama Kirim email. Jika diminta, masuk ke akun Office 365 Outlook Anda.

Untuk pemicu Permintaan, isi kotak Skema JSON Isi Permintaan dengan JSON berikut:

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

Pemicu Permintaan di perancang alur kerja akan terlihat seperti gambar berikut:

Untuk tindakan Kirim email, kustomisasi bagaimana Anda ingin memformat email, menggunakan properti yang diteruskan dalam skema JSON Isi permintaan. Berikut adalah contoh:

Simpan alur kerja. Catat URL permintaan Posting HTTP Anda untuk alur kerja email sukses Anda:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Alur kerja email gagal

Ikuti langkah yang sama untuk membuat alur kerja aplikasi logika lain bernama CopyFailEmail. Dalam pemicu Permintaan, nilai skema JSON Isi Permintaan sama. Ubah format email Anda seperti Subject untuk menyesuaikan dengan email yang gagal. Berikut adalah contoh:

Simpan alur kerja. Catat URL permintaan Posting HTTP Anda untuk alur kerja email gagal Anda:

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Anda sekarang harus memiliki dua URL alur kerja:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Membuat pabrik data

1. Luncurkan browser web Microsoft Edge atau Google Chrome. Saat ini, antarmuka pengguna Data Factory hanya didukung di browser web Microsoft Edge dan Google Chrome.

2. Perluas menu di kiri atas dan pilih Buat sumber daya. Lalu pilih >Integration>Data Factory:

   

   

3. Di halaman Pabrik data baru, masukkan ADFTutorialDataFactory untuk nama.

   

   Nama pabrik data Azure harus bersifat unik secara global. Jika Anda menerima kesalahan berikut, ubah nama pabrik data (contohnya, yournameADFTutorialDataFactory) dan coba buat lagi. Lihat artikel Azure Data Factory - Aturan Penamaan untuk aturan penamaan artefak Azure Data Factory.

   Nama pabrik data “ADFTutorialDataFactory” tidak tersedia.

4. Pilih langganan Azure tempat Anda ingin membuat pabrik data tersebut.

5. Untuk Grup Sumber Daya, lakukan salah satu langkah berikut:

   • Pilih Gunakan yang ada, lalu pilih grup sumber daya yang ada dari menu drop-down.

   • Pilih Buat baru, lalu masukkan nama grup sumber daya.

     Untuk mempelajari tentang grup sumber daya, lihat Menggunakan grup sumber daya untuk mengelola sumber daya Azure Anda.

6. Pilih V2 untuk versinya.

7. Pilih lokasi untuk pabrik data tersebut. Hanya lokasi yang didukung yang ditampilkan di daftar drop-down. Penyimpanan data (Azure Storage, Azure SQL Database, dll.) dan komputasi (HDInsight, dll.) yang digunakan oleh pabrik data dapat berada di wilayah lain.

8. Pilih Sematkan ke dasbor.

9. Klik Buat.

10. Setelah pembuatan selesai, Anda akan melihat halaman Azure Data Factory seperti yang ditunjukkan di gambar.

    

11. Klik petak peta Buka Azure Data Factory Studio untuk meluncurkan antarmuka pengguna (UI) Azure Data Factory di tab terpisah.

Buat alur

Pada langkah ini, Anda membuat alur dengan satu aktivitas Salin dan dua aktivitas Web. Anda menggunakan fitur berikut untuk membuat alur:

• Parameter untuk alur yang diakses oleh set data.
• Aktivitas web untuk menjalankan alur kerja aplikasi logika untuk mengirim email sukses/gagal.
• Menghubungkan satu aktivitas dengan aktivitas lain (saat berhasil dan gagal)
• Menggunakan output dari suatu kegiatan sebagai input untuk kegiatan selanjutnya

1. Di halaman beranda UI Azure Data Factory, klik petak Orkestra.

   

2. Di jendela properti untuk alur, alihkan ke tab Parameter, dan gunakan tombol Baru untuk menambahkan tiga parameter tipe String berikut: sourceBlobContainer, sinkBlobContainer, dan receiver.

   • sourceBlobContainer - parameter di alur yang digunakan oleh set data blob sumber.
   • sinkBlobContainer - parameter dalam alur yang digunakan oleh himpunan data blob sink
   • penerima - parameter ini digunakan oleh dua aktivitas Web dalam alur yang mengirim email keberhasilan atau kegagalan ke penerima yang alamat emailnya ditentukan oleh parameter ini.

   

3. Di kotak alat Aktivitas , cari Salin dan seret-letakkan aktivitas Salin ke permukaan perancang alur.

   

4. Pilih aktivitas Salin yang Anda seret ke permukaan perancang alur. Di jendela Properti untuk aktivitas Salin di bagian bawah, alihkan ke tab Sumber, dan klik + Baru. Anda membuat set data sumber untuk aktivitas penyalinan pada langkah ini.

   

5. Di jendela Himpunan Data Baru, pilih tab Azure di bagian atas, lalu pilih Azure Blob Storage, dan pilih Lanjutkan.

   

6. Di jendela Pilih format , pilih DelimitedText dan pilih Lanjutkan.

   

7. Anda melihat tab baru berjudul Atur properti. Ubah nama set data menjadi SourceBlobDataset. Pilih menu dropdown Layanan Tertaut, dan pilih +Baru untuk membuat layanan tertaut baru ke himpunan data sumber Anda.

   

8. Anda akan melihat jendela Layanan tertaut baru tempat Anda dapat mengisi properti yang diperlukan untuk layanan tertaut.

   

9. Di jendela Layanan Tertaut baru, lakukan langkah-langkah berikut:

   1. Masukkan AzureStorageLinkedService untuk Nama.
   2. Pilih akun penyimpanan Azure Anda untuk Nama akun penyimpanan.
   3. Klik Buat.

10. Pada jendela Atur properti yang muncul berikutnya, pilih Buka himpunan data ini untuk memasukkan nilai parameter untuk nama file.

    

11. Masukkan @pipeline().parameters.sourceBlobContaineruntuk folder danemp.txt untuk nama file.

    

12. Beralih kembali ke tab alur (atau klik alur di treeview di sebelah kiri), dan pilih aktivitas Salin pada perancang. Konfirmasikan bahwa himpunan data baru Anda dipilih untuk Himpunan Data Sumber.

    

13. Di jendela properti, alihkan ke tab Sink, dan klik + Baru untuk Set data sink. Anda membuat set data sink untuk aktivitas penyalinan pada langkah ini, sama seperti cara Anda membuat set data sumber.

    

14. Di jendela Himpunan Data Baru, pilih Azure Blob Storage, dan klik Lanjutkan, lalu pilih DelimitedText lagi pada jendela Pilih format dan klik Lanjutkan lagi.

15. Di halaman Atur properti untuk himpunan data, masukkan SinkBlobDataset untuk Nama, dan pilih AzureStorageLinkedService untuk LinkedService.

16. Perluas bagian Tingkat Lanjut dari halaman properti dan pilih Buka himpunan data ini.

17. Pada tab Koneksi himpunan data, edit jalur File. Masukkan @pipeline().parameters.sinkBlobContainer untuk folder, dan @concat(pipeline().RunId, '.txt') untuk nama file. Ekspresi tersebut menggunakan ID dari alur saat ini untuk nama file. Untuk daftar variabel dan ekspresi sistem yang didukung, lihat Variabel sistem dan Bahasa ekspresi.

    

18. Beralih kembali ke tab alur di bagian atas. Cari Web di kotak pencarian, dan seret-letakkan aktivitas Web ke permukaan perancang alur. Tetapkan nama aktivitas ke SendSuccessEmailActivity. Aktivitas Web memungkinkan panggilan ke titik akhir REST mana pun. Untuk informasi selengkapnya tentang aktivitas, lihat Aktivitas Web. Alur ini menggunakan Aktivitas Web untuk memanggil alur kerja email Aplikasi Logika.

    

19. Alihkan ke tab Pengaturan dari tab Umum, dan lakukan langkah-langkah berikut:

    1. Untuk URL, tentukan URL untuk alur kerja aplikasi logika yang mengirimkan email sukses.

    2. Pilih POSTING untuk Metode.

    3. Klik tautan + Tambahkan header di bagian Header.

    4. Tambahkan header Jenis Konten dan setel ke aplikasi/json.

    5. Tentukan JSON berikut untuk Isi.

       {
           "message": "@{activity('Copy1').output.dataWritten}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       Isi pesan berisi properti berikut:

       • Pesan - Meneruskan nilai .@{activity('Copy1').output.dataWritten Mengakses properti aktivitas salin sebelumnya dan meneruskan nilai dataWritten. Untuk kasus kegagalan, teruskan output kesalahan alih-alih @{activity('CopyBlobtoBlob').error.message.

       • Nama Data Factory - Nilai passing Ini @{pipeline().DataFactory} adalah variabel sistem, memungkinkan Anda mengakses nama pabrik data yang sesuai. Untuk daftar variabel sistem, lihat artikel Variabel Sistem.

       • Nama Alur - Meneruskan nilai .@{pipeline().Pipeline} Ini juga merupakan variabel sistem, memungkinkan Anda mengakses nama alur yang sesuai.

       • Penerima - Meneruskan nilai "@pipeline().parameters.receiver"). Mengakses parameter alur.

         

20. Sambungkan aktivitas Salin ke aktivitas Web dengan menyeret tombol kotak centang hijau di samping aktivitas Salin dan jatuhkan pada aktivitas Web.

    

21. Tarik-lepas aktivitas Web lainnya dari kotak alat Aktivitas ke permukaan perancang alur, dan setel nama menjadi SendFailureEmailActivity.

    

22. Alihkan ke tab Pengaturan, dan lakukan langkah-langkah berikut:

    1. Untuk URL, tentukan URL untuk alur kerja aplikasi logika yang mengirimkan email kegagalan.

    2. Pilih POSTING untuk Metode.

    3. Klik tautan + Tambahkan header di bagian Header.

    4. Tambahkan header Jenis Konten dan setel ke aplikasi/json.

    5. Tentukan JSON berikut untuk Isi.

       {
           "message": "@{activity('Copy1').error.message}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       

23. Pilih tombol X merah di sisi kanan aktivitas Salin di perancang alur dan seret dan letakkan ke SendFailureEmailActivity yang baru saja Anda buat.

    

24. Untuk memvalidasi alur, klik tombol Validasi pada bar alat. Tutup jendela Output Validasi Alur dengan mengklik tombol >>.

    

25. Untuk memublikasikan entitas (set data, alur, dll.) ke layanan Data Factory, pilih Publikasikan Semua. Tunggu hingga Anda melihat pesan Berhasil diterbitkan.

    

Memicu proses alur yang berhasil

1. Untuk memicu proses alur, klik Picu di bar alat, dan klik Picu Sekarang.

   

2. Di jendela Proses alur, lakukan langkah-langkah berikut:

   1. Masukkan adftutorial/adfv2branch/input untuk parameter sourceBlobContainer.

   2. Masukkan adftutorial/adfv2branch/output untuk parameter sinkBlobContainer.

   3. Masukkan alamat emailpenerima.

   4. Klik Selesai

      

Pantau proses alur yang berhasil

1. Untuk memantau proses alur, alihkan ke tab Monitor di sebelah kiri. Anda melihat proses alur yang Anda picu secara manual. Gunakan tombol Refresh untuk menyegarkan daftar.

   

2. Untuk melihat proses aktivitas yang terkait dengan proses alur ini, klik tautan pertama di kolom Tindakan. Anda dapat beralih kembali ke tampilan sebelumnya dengan mengklik Alur di bagian atas. Gunakan tombol Refresh untuk menyegarkan daftar.

   

Picu proses alur yang gagal

1. Alihkan ke tab Edit di sebelah kiri.

2. Untuk memicu proses alur, klik Picu di bar alat, dan klik Picu Sekarang.

3. Di jendela Proses alur, lakukan langkah-langkah berikut:

   1. Masukkan adftutorial/dummy/input untuk parameter sourceBlobContainer. Pastikan folder dummy tidak ada di kontainer adftutorial.
   2. Masukkan adftutorial/dummy/output untuk parameter sinkBlobContainer.
   3. Masukkan alamat emailpenerima.
   4. Klik Selesai.

Pantau proses alur yang gagal

1. Untuk memantau proses alur, alihkan ke tab Monitor di sebelah kiri. Anda melihat proses alur yang Anda picu secara manual. Gunakan tombol Refresh untuk menyegarkan daftar.

   

2. Klik tautan Kesalahan untuk proses alur untuk melihat detail tentang kesalahan tersebut.

   

3. Untuk melihat proses aktivitas yang terkait dengan proses alur ini, klik tautan pertama di kolom Tindakan. Gunakan tombol Refresh untuk menyegarkan daftar. Perhatikan bahwa aktivitas Salin di alur gagal. Aktivitas Web berhasil mengirim email yang gagal ke penerima yang ditentukan.

   

4. Klik tautan Kesalahan di kolom Tindakan untuk melihat detail tentang kesalahan.

   

Konten terkait

Anda melakukan langkah-langkah berikut dalam tutorial ini:

• Membuat pabrik data.
• Buat layanan tertaut Azure Storage.
• Buat himpunan data Azure Blob
• Buat alur yang berisi aktivitas salin dan aktivitas web
• Mengirim output aktivitas ke aktivitas berikutnya
• Gunakan parameter passing dan variabel sistem
• Mulai eksekusi alur
• Pantau eksekusi alur dan aktivitas

Sekarang Anda dapat melanjutkan ke bagian Konsep untuk informasi selengkapnya tentang Azure Data Factory.

Alur dan aktivitas