Memantau Azure HDInsight

Artikel ini menjelaskan:

  • Jenis data pemantauan yang dapat Anda kumpulkan untuk layanan ini.
  • Cara menganalisis data tersebut.

Catatan

Jika Anda sudah familiar dengan layanan ini dan/atau Azure Monitor dan hanya ingin tahu cara menganalisis data pemantauan, lihat bagian Analisis di dekat akhir artikel ini.

Ketika Anda memiliki aplikasi penting dan proses bisnis yang mengandalkan sumber daya Azure, Anda perlu memantau dan mendapatkan pemberitahuan untuk sistem Anda. Layanan Azure Monitor mengumpulkan dan menggabungkan metrik dan log dari setiap komponen sistem Anda. Azure Monitor memberi Anda tampilan ketersediaan, performa, dan ketahanan, serta memberi tahu Anda tentang masalah. Anda dapat menggunakan portal Azure, PowerShell, Azure CLI, REST API, atau pustaka klien untuk mengatur dan melihat data pemantauan.

Opsi pemantauan HDInsight

Metrik dan log tertentu yang tersedia untuk kluster HDInsight Anda bergantung pada jenis dan alat kluster Anda. Azure HDInsight menawarkan jenis kluster Apache Hadoop, Spark, Kafka, HBase, dan Interactive Query. Anda dapat memantau kluster Anda melalui UI web Apache Ambari atau di portal Microsoft Azure dengan mengaktifkan integrasi Azure Monitor.

Pemantauan Apache Ambari

Apache Ambari menyederhanakan manajemen, konfigurasi, dan pemantauan kluster HDInsight dengan menyediakan UI web dan REST API. Ambari disertakan pada semua kluster HDInsight berbasis Linux. Untuk menggunakan Ambari, pilih beranda Ambari di halaman Gambaran Umum kluster HDInsight Anda di portal Microsoft Azure.

Untuk informasi tentang cara menggunakan Ambari untuk pemantauan, lihat artikel berikut ini:

Integrasi Azure Monitor

Anda juga dapat memantau kluster HDInsight langsung di Azure. Integrasi Azure Monitor baru, sekarang dalam pratinjau, memungkinkan Anda mengakses Insights, Log, dan Workbooks dari kluster HDInsight Anda tanpa perlu mengakses ruang kerja Log Analytics.

Untuk menggunakan integrasi Azure Monitor baru, aktifkan dengan memilih Integrasi monitor dari bagian Pemantauan di menu kiri halaman portal MICROSOFT Azure HDInsight Anda. Anda juga dapat menggunakan PowerShell atau Azure CLI untuk mengaktifkan dan berinteraksi dengan integrasi pemantauan baru. Untuk informasi selengkapnya, lihat artikel berikut ini:

Wawasan

Beberapa layanan di Azure memiliki dasbor pemantauan bawaan di portal Azure yang menyediakan titik awal untuk memantau layanan Anda. Dasbor ini disebut wawasan, dan Anda dapat menemukannya di Insights Hub Azure Monitor di portal Azure.

Integrasi portal kluster Insights

Setelah mengaktifkan integrasi Azure Monitor, Anda dapat memilih Wawasan (Pratinjau) di menu kiri halaman portal MICROSOFT Azure HDInsight Anda untuk melihat dasbor visualisasi log dan metrik yang diisi secara otomatis khusus untuk jenis kluster Anda. Dasbor wawasan menggunakan Azure Workbook bawaan yang memiliki bagian untuk setiap jenis kluster, YARN, metrik sistem, dan log komponen.

Cuplikan layar yang memperlihatkan dasbor visualisasi.

Grafik dan visualisasi terperinci ini memberi Anda wawasan mendalam tentang performa dan kesehatan kluster Anda. Untuk informasi selengkapnya, lihat Menggunakan HdInsight out-of-box Insights untuk memantau satu kluster.

Jenis sumber daya

Azure menggunakan konsep jenis sumber daya dan ID untuk mengidentifikasi semua yang ada dalam sebuah langganan. Jenis sumber daya juga merupakan bagian dari ID sumber daya untuk setiap sumber daya yang berjalan di Azure. Misalnya, salah satu jenis sumber daya untuk mesin virtual adalah Microsoft.Compute/virtualMachines. Untuk daftar layanan dan jenis sumber daya terkait, lihat Penyedia sumber daya.

Azure Monitor juga mengatur data pemantauan inti ke dalam metrik dan log berdasarkan tipe sumber daya, yang juga disebut namespace. Metrik dan log yang berbeda tersedia untuk berbagai jenis sumber daya. Layanan Anda mungkin terkait dengan lebih dari satu jenis sumber daya.

Untuk informasi selengkapnya tentang jenis sumber daya untuk Azure HDInsight, lihat Referensi data pemantauan HDInsight.

Penyimpanan data

Untuk Azure Monitor:

  • Data metrik disimpan dalam basis data metrik Azure Monitor.
  • Data log disimpan di penyimpanan log Azure Monitor. Log Analytics adalah alat di portal Azure yang dapat mengkueri penyimpanan ini.
  • Catatan aktivitas Azure adalah penyimpanan terpisah dengan antarmuka sendiri di portal Azure.

Anda dapat memilih untuk mengarahkan data metrik dan log aktivitas ke penyimpanan log Azure Monitor. Anda kemudian dapat menggunakan Log Analytics untuk melakukan kueri pada data dan menghubungkannya dengan data log lainnya.

Banyak layanan dapat menggunakan pengaturan diagnostik untuk mengirim data metrik dan log ke lokasi penyimpanan lain di luar Azure Monitor. Contohnya meliputi Azure Storage, sistem mitra yang dihosting, dan sistem mitra non-Azure, dengan menggunakan Event Hubs.

Untuk informasi lebih lanjut tentang cara Azure Monitor menyimpan data, lihat Azure Monitor data platform.

HDInsight menyimpan file lognya baik di sistem file kluster maupun di Azure Storage. Karena jumlah dan ukuran file log yang besar, penting untuk mengoptimalkan penyimpanan log dan pengarsipan untuk membantu manajemen biaya. Untuk informasi selengkapnya, lihat Mengelola log untuk kluster HDInsight.

Metrik platform pada Azure Monitor

Azure Monitor menyediakan metrik platform untuk sebagian besar layanan. Metrik-metrik ini adalah:

  • Didefinisikan secara individual untuk setiap namespace.
  • Disimpan dalam database metrik rangkaian waktu Azure Monitor.
  • Ringan dan mampu mendukung peringatan mendekati waktu nyata.
  • Digunakan untuk melacak kinerja sumber daya dari waktu ke waktu.

Koleksi: Azure Monitor mengumpulkan metrik platform secara otomatis. Tidak diperlukan konfigurasi.

Routing: Anda juga dapat merutekan beberapa metrik platform ke Azure Monitor Logs / Log Analytics sehingga Anda dapat melakukan query dengan data log lainnya. Periksa pengaturan ekspor DS untuk setiap metrik guna menentukan apakah Anda dapat menggunakan pengaturan diagnostik untuk merutekan metrik tersebut ke Azure Monitor Logs atau Log Analytics.

Untuk daftar semua metrik yang mungkin dikumpulkan untuk semua sumber daya di Azure Monitor, lihat Metrik yang didukung di Azure Monitor.

Untuk daftar metrik yang dikumpulkan secara otomatis untuk HDInsight, lihat Referensi data pemantauan HDInsight.

Catatan sumber daya Azure Monitor

Log sumber daya memberikan wawasan tentang operasi yang dilakukan oleh sumber daya Azure. Log dihasilkan secara otomatis, tetapi Anda harus merutekannya ke log Azure Monitor untuk menyimpan atau mengkuerinya. Log diatur dalam kategori. Namespace tertentu mungkin memiliki beberapa kategori log sumber daya.

Koleksi: Log sumber daya tidak dikumpulkan dan disimpan hingga Anda membuat setelan diagnostik dan mengarahkan log ke satu atau beberapa lokasi. Ketika Anda membuat pengaturan diagnostik, Anda menentukan kategori log mana yang akan dikumpulkan. Ada beberapa cara untuk membuat dan memelihara pengaturan diagnostik, termasuk melalui portal Azure, secara programatik, dan melalui Azure Policy.

Routing: Pengaturan bawaan yang dianjurkan adalah merutekan log sumber daya ke Azure Monitor Logs agar Anda dapat melakukan kueri terhadapnya bersama dengan data log lainnya. Lokasi lain seperti Azure Storage, Azure Event Hubs, dan mitra pemantauan Microsoft tertentu juga tersedia. Untuk informasi selengkapnya, lihat Log sumber daya Azure dan Tujuan log sumber daya.

Untuk informasi rinci tentang mengumpulkan, menyimpan, dan mengarahkan log sumber daya, lihat Pengaturan diagnostik di Azure Monitor.

Untuk daftar semua kategori log sumber daya yang tersedia di Azure Monitor, lihat Log sumber daya yang didukung di Azure Monitor.

Semua log sumber daya di Azure Monitor memiliki bidang header yang sama, diikuti oleh bidang spesifik layanan. Skema umum diuraikan dalam skema log sumber daya Azure Monitor.

Log yang dikumpulkan oleh agen

HDInsight tidak menghasilkan log sumber daya dengan metode biasa. Sebaliknya, ia mengumpulkan log dari dalam kluster HDInsight dan mengirimkannya ke tabel Azure Monitor Logs / Log Analytics menggunakan Log Analytics Agent.

Kluster HDInsight menghasilkan banyak file log, seperti:

  • Log eksekusi pekerjaan
  • File log Resource Manager YARN
  • Log tindakan skrip
  • Status pemberitahuan kluster Ambari
  • Metrik sistem Ambari
  • Log keamanan
  • Aktivitas Hadoop dicatat ke file log pengontrol, stderr, dan syslog

Log tertentu yang tersedia bergantung pada kerangka kerja dan alat kluster Anda. Setelah mengaktifkan integrasi Azure Monitor untuk kluster, Anda dapat melihat dan mengkueri salah satu log ini.

Pengelogan selektif

Kluster HDInsight dapat mengumpulkan banyak log verbose. Untuk membantu menghemat biaya pemantauan dan penyimpanan, Anda dapat mengaktifkan fitur pengelogan selektif dengan menggunakan tindakan skrip untuk HDInsight di portal Microsoft Azure. Pengelogan selektif memungkinkan Anda mengaktifkan dan menonaktifkan berbagai log dan sumber metrik yang tersedia melalui Analitik Log. Dengan fitur ini, Anda hanya perlu membayar apa yang Anda gunakan.

Anda dapat mengonfigurasi pengumpulan dan analisis log untuk mengaktifkan atau menonaktifkan tabel di ruang kerja Analitik Log dan menyesuaikan jenis sumber untuk setiap tabel. Untuk instruksi mendetail, lihat Menggunakan pengelogan selektif dengan tindakan skrip di Azure HDInsight.

Log aktivitas Azure

Log aktivitas berisi peristiwa tingkat langganan yang melacak operasi untuk setiap sumber daya Azure seperti yang terlihat dari luar sumber daya tersebut; misalnya, membuat sumber daya baru atau memulai komputer virtual.

Koleksi: Peristiwa dalam log aktivitas dihasilkan secara otomatis dan dikumpulkan di penyimpanan terpisah untuk ditampilkan di portal Azure.

Routing: Anda dapat mengirim data log aktivitas ke Azure Monitor Logs agar Anda dapat menganalisisnya bersama data log lainnya. Lokasi lain seperti Azure Storage, Azure Event Hubs, dan mitra pemantauan Microsoft tertentu juga tersedia. Untuk informasi selengkapnya tentang cara merutekan log aktivitas, lihat gambaran umum log aktivitas Azure.

Menganalisis data pemantauan

Ada banyak alat untuk menganalisis data pemantauan.

Perangkat Azure Monitor

Azure Monitor mendukung alat dasar berikut:

Alat yang memungkinkan visualisasi yang lebih kompleks meliputi:

  • Dasbor yang memungkinkan Anda menggabungkan berbagai jenis data ke dalam satu panel di portal Azure.
  • Buku kerja, laporan yang dapat disesuaikan yang bisa Anda buat di portal Microsoft Azure. Buku kerja dapat mencakup teks, metrik, dan kueri log.
  • Grafana, sebuah alat platform terbuka yang unggul dalam dashboard operasional. Anda dapat menggunakan Grafana untuk membuat dasbor yang menyertakan data dari berbagai sumber selain Azure Monitor.
  • Power BI, sebuah layanan analitik bisnis yang menyediakan visualisasi interaktif dari berbagai sumber data. Anda dapat mengonfigurasi Power BI untuk secara otomatis mengimpor data log dari Azure Monitor guna memanfaatkan visualisasi ini.

Azure Monitor Logs mengumpulkan data dari sumber daya kluster HDInsight Anda dan dari alat pemantauan lainnya, dan menggunakan data untuk memberikan analisis dari berbagai sumber.

Alat untuk Mengekspor dari Azure Monitor

Anda dapat mengeluarkan data dari Azure Monitor ke alat lain dengan menggunakan metode berikut:

Untuk memulai dengan REST API untuk Azure Monitor, lihat Panduan penggunaan REST API pemantauan Azure.

Kusto kueri

Anda dapat menganalisis data pemantauan di Azure Monitor Logs / Log Analytics store dengan menggunakan bahasa kueri Kusto (KQL).

Penting

Saat Anda memilih Logs dari menu layanan di portal, Log Analytics terbuka dengan cakupan kueri yang disesuaikan dengan layanan saat ini. Cakupan ini berarti bahwa kueri log hanya akan menyertakan data dari jenis sumber daya tersebut. Jika Anda ingin menjalankan kueri yang menyertakan data dari layanan Azure lainnya, pilih Log dari menu Azure Monitor . Lihat Lingkup kueri log dan rentang waktu di Azure Monitor Log Analytics untuk detailnya.

Untuk daftar pertanyaan umum untuk layanan apa pun, lihat antarmuka kueri Log Analytics.

Setelah mengaktifkan integrasi Azure Monitor, Anda dapat memilih Log (pratinjau) di navigasi kiri untuk halaman portal HDInsight Anda, lalu pilih tab Kueri untuk melihat contoh kueri untuk kluster Anda. Misalnya, kueri berikut mencantumkan semua komputer yang tidak mengirim sinyal hidup dalam lima jam terakhir.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

Kueri berikut mendapatkan 10 kueri intensif sumber daya teratas, berdasarkan konsumsi CPU, dalam 24 jam terakhir.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Penting

Integrasi Azure Monitor baru mengimplementasikan tabel baru di ruang kerja Analitik Log. Untuk menghapus ambiguitas sebanyak mungkin, ada lebih sedikit skema, dan pemformatan skema lebih terorganisir dan lebih mudah dipahami.

Integrasi pemantauan baru di portal Microsoft Azure menggunakan tabel baru, tetapi Anda harus mengerjakan ulang kueri dan dasbor yang lebih lama untuk menggunakan tabel baru. Untuk pemetaan tabel log dari integrasi Azure Monitor klasik ke tabel baru, lihat Pemetaan tabel log.

Peringatan

Peringatan Azure Monitor secara proaktif memberi tahu Anda ketika kondisi tertentu ditemukan dalam data pemantauan Anda. Peringatan memungkinkan Anda untuk mengidentifikasi dan menangani masalah di sistem Anda sebelum pelanggan Anda menyadarinya. Untuk informasi selengkapnya, lihat Pemberitahuan Azure Monitor.

Ada banyak sumber peringatan umum untuk sumber daya Azure. Untuk contoh peringatan umum untuk sumber daya Azure, lihat Contoh kueri peringatan log. Situs Azure Monitor Baseline Alerts (AMBA) menyediakan metode semi-otomatis untuk menerapkan pemberitahuan, dasbor, dan panduan metrik platform penting. Situs ini berlaku untuk subset layanan Azure yang terus berkembang, termasuk semua layanan yang merupakan bagian dari Zona Pendaratan Azure (ALZ).

Skema peringatan umum menstandarisasi konsumsi notifikasi peringatan Azure Monitor. Untuk informasi selengkapnya, lihat Skema pemberitahuan umum.

Jenis peringatan

Anda dapat memberikan peringatan pada sumber data metrik atau log apa pun di platform data Azure Monitor. Ada banyak jenis peringatan yang berbeda tergantung pada layanan yang Anda pantau dan data pemantauan yang Anda kumpulkan. Jenis-jenis peringatan yang berbeda memiliki berbagai manfaat dan kelemahan. Untuk informasi selengkapnya, lihat Memilih jenis pemberitahuan pemantauan yang tepat.

Daftar berikut menjelaskan jenis-jenis peringatan Azure Monitor yang dapat Anda buat.

  • Notifikasi metrik mengevaluasi metrik sumber daya pada interval yang teratur. Metrik dapat berupa metrik platform, metrik khusus, log dari Azure Monitor yang diubah menjadi metrik, atau metrik Application Insights. Pemberitahuan metrik juga dapat menerapkan beberapa kondisi dan ambang batas dinamis.
  • Log alerts memungkinkan pengguna untuk menggunakan kueri Log Analytics untuk mengevaluasi log sumber daya pada frekuensi yang telah ditentukan sebelumnya.
  • Peringatan log aktivitas dipicu ketika terjadi peristiwa log aktivitas baru yang sesuai dengan kondisi yang telah ditentukan. Peringatan Kesehatan Sumber Daya dan peringatan Kesehatan Layanan adalah peringatan log aktivitas yang melaporkan kesehatan layanan dan sumber daya Anda.

Beberapa layanan Azure juga mendukung peringatan deteksi pintar, peringatan Prometheus, atau aturan peringatan yang direkomendasikan.

Untuk beberapa layanan, Anda dapat memantau secara besar-besaran dengan menerapkan aturan peringatan metrik yang sama pada beberapa sumber daya dengan tipe yang sama yang berada di wilayah Azure yang sama. Pemberitahuan individual dikirimkan untuk setiap sumber daya yang dipantau. Untuk layanan dan cloud Azure yang didukung, lihat Mengawasi beberapa sumber daya dengan satu aturan peringatan.

Aturan peringatan HDInsight

Setelah mengaktifkan integrasi Azure Monitor, Anda dapat memilih Pemberitahuan di navigasi kiri untuk halaman portal HDInsight Anda, lalu pilih Buat aturan pemberitahuan untuk mengonfigurasi pemberitahuan. Anda dapat mendasarkan pemberitahuan pada kueri Analitik Log apa pun, atau menggunakan sinyal dari metrik atau log aktivitas.

Tabel berikut ini menjelaskan beberapa aturan pemberitahuan untuk HDInsight. Pemberitahuan ini hanyalah contoh. Anda dapat mengatur pemberitahuan untuk metrik, entri log, atau entri log aktivitas apa pun yang tercantum dalam referensi data pemantauan HDInsight.

Jenis pemberitahuan Kondisi Deskripsi
Metrik CPU dalam status tertunda Setiap kali CPU maksimum yang tertunda lebih besar atau kurang dari ambang batas dinamis
Catatan Aktivitas Menghapus kluster Setiap kali Log Aktivitas memiliki peristiwa dengan Kategori='Admnistratif', Nama Sinyal='Hapus Kluster (Kluster HDInsight)'

Untuk contoh yang memperlihatkan cara membuat pemberitahuan, lihat Pemberitahuan Azure Monitor.

Rekomendasi Penasehat

Untuk beberapa layanan, jika kondisi penting atau perubahan segera terjadi selama operasi sumber daya, pemberitahuan ditampilkan di halaman Gambaran Umum layanan di portal. Anda dapat menemukan informasi lebih lanjut dan perbaikan yang direkomendasikan untuk peringatan di Rekomendasi Penasehat di bawah Pemantauan pada menu sebelah kiri. Selama operasi normal, tidak ada rekomendasi penasihat yang ditampilkan.

Untuk informasi selengkapnya tentang Azure Advisor, lihat Gambaran umum Azure Advisor.

Konten terkait

  • Last updated on