Analysera loggar för Apache Kafka i HDInsight

Lär dig hur du använder Azure Monitor-loggar för att analysera loggar som genererats av Apache Kafka i HDInsight.

Kommentar

Den här artikeln uppdaterades nyligen för att använda termen Azure Monitor-loggar i stället för Log Analytics. Loggdata lagras fortfarande på en Log Analytics-arbetsyta och samlas fortfarande in och analyseras av samma Log Analytics-tjänst. Vi uppdaterar terminologin för att bättre återspegla loggarnas roll i Azure Monitor. Mer information finns i Terminologiändringar i Azure Monitor.

Loggplats

Apache Kafka-loggar i klustret finns på /var/log/kafka. Kafka-loggar sparas inte eller sparas inte i klusterlivscykler, oavsett om hanterade diskar används. I följande tabell visas tillgängliga loggar.

Loggas	beskrivning
kafka.out	stdout och stderr av Kafka-processen. Du hittar Kafka-start- och avstängningsloggar i den här filen.
server.log	Huvudloggen för Kafka-servern. Alla Kafka broker loggar hamnar här.
controller.log	Kontrollantloggar om koordinatorn fungerar som styrenhet.
statechange.log	Alla tillståndsändringshändelser till koordinatorer loggas i den här filen.
kafka-gc.log	Kafka Skräpinsamlingsstatistik.

Aktivera Azure Monitor-loggar för Apache Kafka

Stegen för att aktivera Azure Monitor-loggar för HDInsight är desamma för alla HDInsight-kluster. Använd följande länkar för att förstå hur du skapar och konfigurerar de tjänster som krävs:

1. Skapa en Log Analytics-arbetsyta. Mer information finns i dokumentet Loggar i Azure Monitor .

2. Skapa en Kafka på HDInsight-kluster. Mer information finns i dokumentet Start with Apache Kafka on HDInsight (Starta med Apache Kafka i HDInsight ).

3. Konfigurera Kafka-klustret så att det använder Azure Monitor-loggar. Mer information finns i dokumentet Använda Azure Monitor-loggar för att övervaka HDInsight .

Viktigt!

Det kan ta cirka 20 minuter innan data är tillgängliga för Azure Monitor-loggar.

Frågeloggar

1. Från Azure-portalen väljer du din Log Analytics-arbetsyta.

2. Välj Loggar under Allmänt på den vänstra menyn. Härifrån kan du söka i data som samlats in från Kafka. Ange en fråga i frågefönstret och välj sedan Kör. Följande är några exempelsökningar:

• Diskanvändning:

  Perf
  | where ObjectName == "Logical Disk" and CounterName == "Free Megabytes" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
  | summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)
  

• CPU-användning:

  Perf 
  | where CounterName == "% Processor Time" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
  | summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)
  

• Inkommande meddelanden per sekund: (Ersätt your_kafka_cluster_name med klustrets namn.)

  metrics_kafka_CL 
  | where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-MessagesInPerSec-Count" 
  | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_MessagesInPerSec_Count_value_d) by HostName_s, bin(TimeGenerated, 1h)
  

• Inkommande byte per sekund: (Ersätt wn0-kafka med ett värdnamn för arbetsnoden.)

  metrics_kafka_CL 
  | where HostName_s == "wn0-kafka" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesInPerSec-Count" 
  | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesInPerSec_Count_value_d) by bin(TimeGenerated, 1h)
  

• Utgående byte per sekund: (Ersätt your_kafka_cluster_name med klustrets namn.)

  metrics_kafka_CL 
  | where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesOutPerSec-Count" 
  | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesOutPerSec_Count_value_d) by bin(TimeGenerated, 1h)
  

  Du kan också ange * för att söka efter alla typer som loggas. För närvarande är följande loggar tillgängliga för frågor:

  Loggtyp	beskrivning
  log_kafkaserver_CL	Kafka broker server.log
  log_kafkacontroller_CL	Kafka broker controller.log
  metrics_kafka_CL	Kafka JMX-mått

  

Nästa steg

Mer information om Azure Monitor finns i Översikt över Azure Monitor och Fråga Azure Monitor-loggar för att övervaka HDInsight-kluster.

Mer information om hur du arbetar med Apache Kafka finns i följande dokument:

• Spegla Apache Kafka mellan HDInsight-kluster
• Öka skalan för Apache Kafka i HDInsight
• Använda Apache Spark-strömning (DStreams) med Apache Kafka
• Använda Apache Spark-strukturerad direktuppspelning med Apache Kafka