Bagikan melalui

Analisis log untuk Apache Kafka di HDInsight

  • Artikel

Pelajari cara menggunakan Azure Monitor untuk menganalisis log yang dihasilkan oleh Apache Kafka pada Microsoft Azure HDInsight.

Catatan

Artikel ini baru-baru ini diperbarui untuk menggunakan istilah log Azure Monitor alih-alih Analitik Log. Data log masih disimpan di ruang kerja Analitik Log dan masih dikumpulkan dan dianalisis oleh layanan Analitik Log yang sama. Kami memperbarui terminologi untuk mencerminkan peran log di Azure Monitor dengan lebih baik. Lihat Perubahan terminologi Azure Monitor untuk detailnya.

Lokasi log

Apache Kafka log di kluster terletak di /var/log/kafka. Log Kafka tidak disimpan atau bertahan di seluruh siklus hidup kluster, terlepas dari apakah disk yang dikelola digunakan. Tabel berikut ini memperlihatkan log yang tersedia.

Log Deskripsi
kafka.out stdout dan stderr dari proses Kafka. Anda akan menemukan startup Kafka dan log pematian dalam file ini.
server.log Log server Kafka utama. Semua log broker Kafka berakhir di sini.
controller.log Pengontrol log jika broker bertindak sebagai pengontrol.
statechange.log Semua peristiwa perubahan status ke broker dicatat dalam file ini.
kafka-gc.log Statistik Pengumpulan Sampah Kafka.

Aktifkan log Azure Monitor untuk Apache Kafka

Langkah-langkah untuk mengaktifkan log Azure Monitor untuk Microsoft Azure HDInsight sama untuk semua kluster Microsoft Azure HDInsight. Gunakan tautan berikut untuk memahami cara membuat dan mengonfigurasi layanan yang diperlukan:

  1. Membuat ruang kerja Log Analytics. Untuk informasi selengkapnya, lihat dokumen Log di Azure Monitor.

  2. Apache Kafka pada kluster Microsoft Azure HDInsight. Untuk informasi selengkapnya, lihat Mulai dengan Apache Kafka di Microsoft Azure HDInsight.

  3. Konfigurasikan klaster Kafka untuk menggunakan log Azure Monitor. Untuk informasi selengkapnya, lihat log Gunakan Azure Monitor untuk memantau dokumen Microsoft Azure HDInsight.

Penting

Mungkin perlu waktu sekitar 20 menit sebelum data tersedia untuk log Azure Monitor.

Log kueri

  1. Di portal Microsoft Azure, pilih ruang kerja Analitik Log.

  2. Dari menu sebelah kiri, dari opsi Umum, pilih Log. Dari sini, Anda dapat mencari data yang dikumpulkan dari Kafka. Masukkan kueri di jendela kueri lalu pilih Jalankan. Berikut ini adalah beberapa contoh penelusuran:

  • Penggunaan disk:

    Perf
| where ObjectName == "Logical Disk" and CounterName == "Free Megabytes" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
| summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)

  • Penggunaan CPU:

    Perf 
| where CounterName == "% Processor Time" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
| summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)

  • Pesan yang masuk per detik: (Ganti your_kafka_cluster_name dengan nama kluster Anda.)

    metrics_kafka_CL 
| where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-MessagesInPerSec-Count" 
| summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_MessagesInPerSec_Count_value_d) by HostName_s, bin(TimeGenerated, 1h)

  • Byte yang masuk per detik: (Ganti wn0-kafka dengan nama host simpul pekerja.)

    metrics_kafka_CL 
| where HostName_s == "wn0-kafka" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesInPerSec-Count" 
| summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesInPerSec_Count_value_d) by bin(TimeGenerated, 1h)

  • Pesan yang masuk per detik: (Ganti your_kafka_cluster_name dengan nama kluster Anda.)

    metrics_kafka_CL 
| where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesOutPerSec-Count" 
| summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesOutPerSec_Count_value_d) by bin(TimeGenerated, 1h)

    Anda juga dapat masuk * untuk mencari semua jenis yang dicatat. Untuk daftar log yang tersedia untuk kueri, lihat Beban kerja Kafka.

    Penggunaan cpu analitik log Apache kafka.

Langkah berikutnya

Untuk informasi selengkapnya tentang Azure Monitor, lihat Gambaran umum Azure Monitor, dan log Kueri Azure Monitor untuk memantau kluster Microsoft Azure HDInsight.

Untuk informasi selengkapnya tentang bekerja dengan Apache Kafka, lihat dokumen berikut ini: