Memantau Azure Data Factory

Artikel ini menjelaskan:

  • Jenis data pemantauan yang dapat Anda kumpulkan untuk layanan ini.
  • Cara menganalisis data tersebut.

Note

Jika Anda sudah terbiasa dengan layanan ini dan/atau Azure Monitor dan hanya ingin tahu cara menganalisis data pemantauan, lihat bagian Analisis di dekat akhir artikel ini.

Ketika Anda memiliki aplikasi penting dan proses bisnis yang mengandalkan sumber daya Azure, Anda perlu memantau dan mendapatkan pemberitahuan untuk sistem Anda. Layanan Azure Monitor mengumpulkan dan menggabungkan metrik dan log dari setiap komponen sistem Anda. Azure Monitor memberi Anda tampilan ketersediaan, performa, dan ketahanan, serta memberi tahu Anda tentang masalah. Anda dapat menggunakan pustaka portal Azure, PowerShell, Azure CLI, REST API, atau klien untuk menyiapkan dan melihat data pemantauan.

Metode pemantauan

Ada beberapa cara untuk memantau Azure Data Factory.

Azure Data Factory Studio

Anda dapat memantau semua alur Data Factory yang berjalan secara asli di Azure Data Factory Studio. Untuk membuka pengalaman pemantauan, pilih Luncurkan Studio dari halaman Data Factory Anda di portal Azure, dan di Azure Data Factory Studio, pilih Pantau dari menu sebelah kiri.

Untuk informasi selengkapnya tentang pemantauan di Azure Data Factory Studio, lihat artikel berikut ini:

portal Azure

Anda juga dapat memantau Azure Data Factory langsung dari portal Azure. Beberapa grafik metrik muncul di halaman Gambaran Umum portal Azure untuk Data Factory Anda. Di menu bilah sisi kiri, Anda dapat mengakses log Aktivitas Azure, atau memilih Pemberitahuan, Metrik, Pengaturan diagnostik, atau Log dari bagian Pemantauan.

Memantau secara terprogram

Anda dapat memantau alur Data Factory secara terprogram dengan menggunakan .NET, PowerShell, Python, atau REST API. Untuk informasi lebih lanjut, baca artikel berikut:

Jenis sumber daya

Azure menggunakan konsep jenis sumber daya dan ID untuk mengidentifikasi semuanya dalam langganan. Jenis sumber daya juga merupakan bagian dari ID sumber daya untuk setiap sumber daya yang berjalan di Azure. Misalnya, satu jenis sumber daya untuk komputer virtual adalah Microsoft.Compute/virtualMachines. Untuk daftar layanan dan jenis sumber daya terkait, lihat Penyedia sumber daya.

Azure Monitor juga mengatur data pemantauan inti ke dalam metrik dan log berdasarkan tipe sumber daya, yang disebut namespace. Metrik dan log yang berbeda tersedia untuk berbagai jenis sumber daya. Layanan Anda mungkin dikaitkan dengan lebih dari satu jenis sumber daya.

Untuk informasi selengkapnya tentang jenis sumber daya untuk Azure Data Factory, lihat Referensi data pemantauan Data Factory.

Penyimpanan data

Untuk Azure Monitor:

  • Data metrik disimpan dalam database metrik Azure Monitor.
  • Data log disimpan di penyimpanan log Azure Monitor. Log Analytics adalah alat di portal Azure yang dapat mengkueri penyimpanan ini.
  • Log aktivitas Azure adalah penyimpanan terpisah dengan antarmuka tersendiri di portal Azure.

Anda dapat merutekan metrik dan data log aktivitas ke penyimpanan log Azure Monitor jika diinginkan. Anda kemudian dapat menggunakan Analitik Log untuk mengkueri data dan menghubungkannya dengan data log lainnya.

Banyak layanan dapat menggunakan pengaturan diagnostik untuk mengirim metrik dan data log ke lokasi penyimpanan lain di luar Azure Monitor. Contohnya termasuk Azure Storage, sistem mitra yang dihosting, dan sistem mitra non-Azure, dengan menggunakan Azure Event Hubs.

Untuk informasi terperinci tentang cara Azure Monitor menyimpan data, lihat Platform data Azure Monitor.

Menyimpan data jalur proses Data Factory

Data Factory menyimpan data jalannya alur selama 45 hari saja. Gunakan Azure Monitor untuk merutekan log diagnostik jika Anda ingin menyimpan data lebih lama.

Arahkan data ke Log Analytics jika Anda ingin menganalisisnya dengan kueri kompleks, membuat pemberitahuan kustom, atau memantau antar pabrik data. Anda dapat merutekan data dari beberapa pabrik data ke satu ruang kerja Analitik Log.

Anda dapat menggunakan akun penyimpanan atau namespace pusat aktivitas yang tidak berada dalam langganan sumber daya yang memancarkan log. Pengguna yang mengonfigurasi pengaturan harus memiliki akses kontrol akses berbasis peran Azure (Azure RBAC) yang sesuai ke kedua langganan.

Metrik platform dari Azure Monitor

Azure Monitor menyediakan metrik platform untuk sebagian besar layanan. Metrik ini adalah:

  • Didefinisikan secara individual untuk setiap ruang nama.
  • Disimpan dalam database metrik rangkaian waktu Azure Monitor.
  • Ringan dan mampu mendukung peringatan hampir real-time.
  • Digunakan untuk melacak performa sumber daya dari waktu ke waktu.

Koleksi: Azure Monitor mengumpulkan metrik platform secara otomatis. Tidak diperlukan konfigurasi.

Perutean: Anda juga dapat merutekan beberapa metrik platform ke Log Azure Monitor / Analitik Log sehingga Anda dapat mengkuerinya dengan data log lainnya. Periksa pengaturan ekspor DS untuk setiap metrik guna menentukan apakah Anda dapat menggunakan pengaturan diagnostik untuk merutekan metrik tersebut ke Azure Monitor Logs atau Log Analytics.

Untuk daftar semua metrik yang mungkin dikumpulkan untuk semua sumber daya di Azure Monitor, lihat Metrik yang didukung di Azure Monitor.

Untuk daftar metrik yang tersedia untuk Data Factory, lihat Referensi data pemantauan untuk Data Factory.

Log sumber daya di Azure Monitor

Log sumber daya memberikan wawasan tentang operasi yang dilakukan oleh sumber daya Azure. Log dihasilkan secara otomatis, tetapi Anda harus merutekannya ke log Azure Monitor untuk menyimpan atau mengkuerinya. Log diatur dalam kategori. Namespace tertentu mungkin memiliki beberapa kategori log sumber daya.

Koleksi: Log sumber daya tidak dikumpulkan dan disimpan hingga Anda membuat pengaturan diagnostik dan merutekan log ke satu atau beberapa lokasi. Saat membuat pengaturan diagnostik, Anda menentukan kategori log yang akan dikumpulkan. Ada beberapa cara untuk membuat dan memelihara setting diagnostik, termasuk melalui portal Azure, secara pemrograman, dan melalui Azure Policy.

Pengarahan: Pengaturan bawaan yang disarankan adalah mengarahkan log sumber daya ke Log Azure Monitor agar Anda dapat melakukan kueri dengan data log lainnya. Lokasi lain seperti Azure Storage, Azure Event Hubs, dan mitra pemantauan Microsoft tertentu juga tersedia. Untuk informasi lebih lanjut, lihat log sumber daya Azure dan tujuan log sumber daya.

Untuk informasi terperinci tentang mengumpulkan, menyimpan, dan merutekan log sumber daya, lihat Pengaturan diagnostik di Azure Monitor.

Untuk daftar semua kategori log sumber daya yang tersedia di Azure Monitor, lihat Log sumber daya yang didukung di Azure Monitor.

Semua log sumber daya di Azure Monitor memiliki bidang header yang sama, diikuti oleh bidang khusus layanan. Skema umum diuraikan dalam skema log sumber daya Azure Monitor.

Log aktivitas Azure

Log aktivitas berisi peristiwa tingkat langganan yang melacak operasi untuk setiap sumber daya Azure seperti yang terlihat dari luar sumber daya tersebut; misalnya, membuat sumber daya baru atau memulai komputer virtual.

Pengumpulan: Peristiwa dalam log aktivitas dihasilkan dan dikumpulkan secara otomatis dalam penyimpanan terpisah untuk dilihat di portal Azure.

Pengarahan: Anda dapat mengirim data log aktivitas ke Azure Monitor Logs sehingga Anda dapat menganalisisnya bersama data log lainnya. Lokasi lain seperti Azure Storage, Azure Event Hubs, dan mitra pemantauan Microsoft tertentu juga tersedia. Untuk informasi selengkapnya tentang cara merutekan log aktivitas, lihat Gambaran Umum log aktivitas Azure.

Memantau lingkungan eksekusi integrasi

Integrasi Runtime adalah infrastruktur komputasi yang digunakan Data Factory untuk menyediakan kapabilitas integrasi data di berbagai lingkungan jaringan. Data Factory menawarkan beberapa jenis runtime integrasi:

  • Runtime integrasi Azure
  • Runtime integrasi yang dihosting sendiri
  • Runtime integrasi Azure-SQL Server Integration Services (SSIS)
  • Runtime integrasi Apache Airflow

Azure Monitor mengumpulkan metrik dan log diagnostik untuk semua jenis runtime integrasi. Untuk instruksi terperinci tentang memantau runtime integrasi, lihat artikel berikut ini:

Menganalisis data pemantauan

Ada banyak alat untuk menganalisis data pemantauan.

Perangkat Azure Monitor

Azure Monitor mendukung alat dasar berikut:

Alat yang memungkinkan visualisasi yang lebih kompleks meliputi:

  • Dasbor yang memungkinkan Anda menggabungkan berbagai jenis data ke dalam satu panel di portal Azure.
  • Buku kerja, laporan yang dapat disesuaikan yang bisa Anda buat di portal Azure. Buku kerja dapat menyertakan kueri teks, metrik, dan log.
  • Grafana, alat platform terbuka yang unggul di dasbor operasional. Anda dapat menggunakan Grafana untuk membuat dasbor yang menyertakan data dari beberapa sumber selain Azure Monitor.
  • Power BI, layanan analitik bisnis yang menyediakan visualisasi interaktif di berbagai sumber data. Anda dapat mengonfigurasi Power BI untuk mengimpor data log secara otomatis dari Azure Monitor untuk memanfaatkan visualisasi ini.

Alat ekspor Azure Monitor

Anda bisa mendapatkan data dari Azure Monitor ke alat lain dengan menggunakan metode berikut:

  • Metrik: Gunakan REST API untuk metrik untuk mengekstrak data metrik dari database metrik Azure Monitor. API mendukung ekspresi filter untuk menyempurnakan data yang diambil. Untuk informasi selengkapnya, lihat Referensi REST API Azure Monitor.

  • Log: Gunakan REST API atau pustaka klien terkait.

  • Opsi lain adalah ekspor data ruang kerja.

Untuk mulai menggunakan REST API Azure Monitor, lihat Panduan langkah REST API pemantauan Azure.

Untuk petunjuk terperinci tentang mengonfigurasi log diagnostik dengan menggunakan REST API, lihat Menyiapkan log diagnostik melalui REST API Azure Monitor.

Kusto kueri

Anda dapat menganalisis data pemantauan di Azure Monitor Logs / Log Analytics store dengan menggunakan bahasa kueri Kusto (KQL).

Important

Saat Anda memilih Logs dari menu layanan di portal, Log Analytics terbuka dengan cakupan kueri yang sudah diatur ke layanan saat ini. Cakupan ini berarti bahwa kueri log hanya akan menyertakan data dari jenis sumber daya tersebut. Jika Anda ingin menjalankan kueri yang menyertakan data dari layanan Azure lainnya, pilih Log dari menu Azure Monitor . Lihat Cakupan kueri log dan rentang waktu di Azure Monitor Log Analytics untuk lebih jelasnya.

Untuk daftar kueri umum untuk layanan apa pun, lihat antarmuka kueri Analitik Log.

Misalnya kueri, pilih Log di bawah Pemantauan di navigasi kiri halaman Data Factory Anda di portal Azure, lalu pilih tab Kueri. Berikut adalah beberapa contoh kueri:

Ketersediaan PipelineRuns: Memberikan ketersediaan eksekusi alur.

ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count())  by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart

5 kegagalan utama dalam menjalankan aktivitas: Menampilkan lima aktivitas teratas yang gagal dengan kesalahan sistem.

ADFActivityRun 
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName  in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart

Status terbaru pemrosesan pipeline: Mengembalikan status terbaru pemrosesan pipeline.

ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId

Alerts

Pemberitahuan Azure Monitor secara proaktif memberi tahu Anda saat kondisi tertentu ditemukan di data pemantauan Anda. Pemberitahuan memungkinkan Anda mengidentifikasi dan mengatasi masalah di sistem Anda sebelum pelanggan Anda memperhatikannya. Untuk informasi selengkapnya, lihat Pemberitahuan Azure Monitor.

Ada banyak sumber pemberitahuan umum untuk sumber daya Azure. Untuk contoh peringatan umum untuk sumber daya Azure, lihat Contoh kueri peringatan log. Situs Azure Monitor Baseline Alerts (AMBA) menyediakan metode semi-otomatis untuk menerapkan pemberitahuan, dasbor, dan panduan metrik platform penting. Situs ini berlaku untuk subset layanan Azure yang terus berkembang, termasuk semua layanan yang merupakan bagian dari Zona Pendaratan Azure (ALZ).

Skema peringatan umum menstandarkan konsumsi notifikasi peringatan Azure Monitor. Untuk informasi selengkapnya, lihat Skema pemberitahuan umum.

Jenis peringatan

Anda dapat memperingatkan metrik atau sumber data log apa pun di platform data Azure Monitor. Ada banyak jenis pemberitahuan yang berbeda tergantung pada layanan yang Anda pantau dan data pemantauan yang Anda kumpulkan. Berbagai jenis pemberitahuan memiliki berbagai manfaat dan kelemahan. Untuk informasi selengkapnya, lihat Memilih jenis pemberitahuan pemantauan yang tepat.

Daftar berikut ini menjelaskan jenis pemberitahuan Azure Monitor yang bisa Anda buat:

  • Peringatan metrik mengevaluasi metrik sumber daya secara berkala. Metrik dapat berupa metrik platform, metrik kustom, log dari Azure Monitor yang dikonversi ke metrik, atau metrik Application Insights. Pemberitahuan metrik juga dapat menerapkan beberapa kondisi dan ambang batas dinamis.
  • Pemberitahuan log memungkinkan pengguna menggunakan kueri Analitik Log untuk mengevaluasi log sumber daya pada frekuensi yang telah ditentukan sebelumnya.
  • Peringatan log aktivitas dipicu saat peristiwa log aktivitas baru terjadi yang sesuai dengan kondisi yang ditentukan. Pemberitahuan Resource Health dan pemberitahuan Service Health adalah pemberitahuan log aktivitas yang melaporkan layanan dan kesehatan sumber daya Anda.

Beberapa layanan Azure juga mendukung pemberitahuan deteksi pintar, pemberitahuan Prometheus, atau aturan pemberitahuan yang direkomendasikan.

Untuk beberapa layanan, Anda dapat memantau dalam skala besar dengan menerapkan aturan pemberitahuan metrik yang sama ke beberapa sumber daya dengan jenis yang sama yang ada di wilayah Azure yang sama. Pemberitahuan individual dikirim untuk setiap sumber daya yang dipantau. Untuk layanan dan cloud Azure yang didukung, lihat Memantau beberapa sumber daya dengan satu aturan peringatan.

Aturan peringatan Data Factory

Untuk membuat dan mengelola pemberitahuan, pilih Pemberitahuan di bawah Pemantauan di navigasi kiri halaman Data Factory Anda di portal Azure.

Tabel berikut ini mencantumkan aturan pemberitahuan populer untuk Data Factory. Ini hanya daftar yang direkomendasikan. Anda dapat menyetel pemberitahuan untuk metrik, entri log, atau entri log aktivitas apa pun yang tercantum dalam Data Factory monitoring data reference.

Jenis pemberitahuan Condition Description
Metric Metrik eksekusi alur yang gagal Kapan pun jumlah total metrik pengoperasian pipeline yang gagal lebih besar dari 0
Metric Jumlah total entitas Setiap kali jumlah Total entitas maksimum lebih besar dari 1700000
Metric Jumlah entitas maksimum yang diizinkan Setiap kali ukuran total pabrik maksimum (unit GB) lebih besar dari 6

Notifikasi memberikan peringatan proaktif selama atau setelah eksekusi pipeline.

Rekomendasi Penasehat

Untuk beberapa layanan, jika kondisi penting atau perubahan segera terjadi selama operasi sumber daya, pemberitahuan ditampilkan di halaman Gambaran Umum layanan di portal. Anda dapat menemukan informasi selengkapnya dan perbaikan yang direkomendasikan untuk pemberitahuan di rekomendasi Advisor di bawah Pemantauan di menu sebelah kiri. Selama operasi normal, tidak ada rekomendasi advisor yang ditampilkan.

Untuk informasi selengkapnya tentang Azure Advisor, lihat Gambaran umum Azure Advisor.

Konten terkait

  • Last updated on