Análisis de registros para Apache Kafka en HDInsight

Aprenda a usar registros de Azure Monitor para analizar registros generados por Apache Kafka en HDInsight.

Nota:

Este artículo se ha actualizado recientemente para usar el término registros de Azure Monitor en lugar de Log Analytics. Los datos de registro siguen almacenándose en un área de trabajo de Log Analytics y siguen recopilándose y analizándose por el mismo servicio de Log Analytics. Estamos actualizando la terminología para reflejar mejor el rol de los registros de Azure Monitor. Consulte Azure Monitor terminology changes (Cambios en la terminología de Azure Monitor) para obtener más información.

Ubicación de los registros

Los registros de Apache Kafka del clúster se encuentran en /var/log/kafka. Los registros de Kafka no se guardan ni se conservan entre ciclos de vida del clúster, con independencia de si se usan discos administrados. En la siguiente tabla se muestran los registros disponibles.

Log	Descripción
kafka.out	stdout y stderr del proceso de Kafka. Encontrará los registros de inicio y cierre de Kafka en este archivo.
server.log	El registro principal del servidor de Kafka. Todos los registros del agente de Kafka terminan aquí.
controller.log	Registros de controlador si el agente actúa como controlador.
statechange.log	Todos los eventos de cambio de estado en los agentes se registran en este archivo.
kafka-gc.log	Estadísticas de recolección de elementos no utilizados de Kafka.

Habilitar registros de Azure Monitor para Apache Kafka

Los pasos para habilitar registros de Azure Monitor para HDInsight son los mismos que para todos los clústeres de HDInsight. Use los vínculos siguientes para aprender a crear y configurar los servicios necesarios:

1. Cree un área de trabajo de Log Analytics. Para obtener más información, vea el documento Registros en Azure Monitor.

2. Cree Kafka en un clúster de HDInsight. Para obtener más información, consulte el documento Introducción a Apache Kafka (versión preliminar) en HDInsight.

3. Configure el clúster de Kafka para usar registros de Azure Monitor. Para obtener más información, vea el documento Uso de registros de Azure Monitor para supervisar HDInsight.

Importante

Pueden pasar unos 20 minutos hasta que los datos estén disponibles para los registros de Azure Monitor.

Registros de consultas

1. En Azure Portal, seleccione el área de trabajo de Log Analytics.

2. En el menú izquierdo, en General, seleccione Registros. Aquí podrá buscar los datos recopilados de Kafka. Escriba una consulta en la ventana de consulta y seleccione Ejecutar. A continuación se presentan algunos ejemplos de búsqueda:

• Uso de disco:

  Perf
  | where ObjectName == "Logical Disk" and CounterName == "Free Megabytes" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
  | summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)
  

• Uso de CPU:

  Perf 
  | where CounterName == "% Processor Time" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
  | summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)
  

• Mensajes entrantes por segundo: (reemplace your_kafka_cluster_name por el nombre del clúster).

  metrics_kafka_CL 
  | where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-MessagesInPerSec-Count" 
  | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_MessagesInPerSec_Count_value_d) by HostName_s, bin(TimeGenerated, 1h)
  

• Bytes entrantes por segundo: (reemplace wn0-kafka por un nombre de host del nodo de trabajo).

  metrics_kafka_CL 
  | where HostName_s == "wn0-kafka" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesInPerSec-Count" 
  | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesInPerSec_Count_value_d) by bin(TimeGenerated, 1h)
  

• Bytes de salida por segundo: (reemplace your_kafka_cluster_name por el nombre del clúster).

  metrics_kafka_CL 
  | where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesOutPerSec-Count" 
  | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesOutPerSec_Count_value_d) by bin(TimeGenerated, 1h)
  

  También puede escribir * para buscar todos los tipos registrados. Para obtener una lista de los registros disponibles para las consultas, consulte Carga de trabajo de Kafka.

  

Pasos siguientes

Para obtener más información sobre Azure Monitor, vea Introducción a Azure Monitor y Uso de consultas con registros de Azure Monitor.

Para información sobre cómo trabajar con Apache Kafka, consulte los documentos siguientes:

• Uso de MirrorMaker para replicar temas de Apache Kafka con Kafka en HDInsight
• Aumento de la escala de Apache Kafka en HDInsight
• Ejemplo de streaming de Apache Spark (DStream) con Apache Kafka en HDInsight
• Tutorial: Uso de Apache Spark Structured Streaming con Apache Kafka en HDInsight