Azure Data Explorer Clusters Insights

Azure Data Explorer Clusters Insights proporciona una supervisión completa de los clústeres al ofrecer una vista unificada del rendimiento, las operaciones, el uso y los errores del clúster.

Ofrece lo siguiente:

• Perspectiva a gran escala. Muestra una instantánea de las métricas principales de los clústeres, con el fin de realizar un seguimiento sencillo del rendimiento de las consultas, la ingesta y las operaciones de exportación.
• Análisis en profundidad. Puede analizar en profundidad un clúster determinado de Azure Data Explorer para poder realizar análisis detallados.
• Personalización. Esta opción le permite cambiar las métricas que quiere ver y modificar, o establecer umbrales en consonancia con sus límites y guardar sus propios libros personalizados. Los gráficos de un libro se pueden anclar a los paneles de Azure.

Este artículo le ayudará a comprender cómo incorporar y usar Azure Data Explorer Clusters Insights.

Vista desde Azure Monitor (perspectiva a gran escala)

Desde Azure Monitor, puede ver las métricas de rendimiento principales del clúster. Estas métricas incluyen información sobre las consultas, la ingesta y las operaciones de exportación de varios clústeres de la suscripción. Asimismo, pueden ayudarle a identificar problemas de rendimiento.

Para ver el rendimiento de los clústeres en todas las suscripciones, realice los pasos siguientes:

1. Inicie sesión en Azure Portal.

2. A continuación, seleccione Supervisar en el panel izquierdo. En Centro de conclusiones, seleccione Clústeres de Azure Data Explorer.

Pestaña Información general de la suscripción

En la pestaña Información general de la suscripción seleccionada, la tabla muestra las métricas interactivas de los clústeres de Azure Data Explorer agrupadas dentro de la suscripción. Puede filtrar los resultados en función de las opciones que seleccione en las siguientes listas desplegables:

• Suscripciones: solo se enumeran las suscripciones que tienen clústeres de Azure Data Explorer.

• Clústeres de Azure Data Explorer: de forma predeterminada, solo se preseleccionan hasta cinco clústeres. Si selecciona todos los clústeres o varios de ellos en el selector de ámbitos, se devolverán como máximo 200 clústeres.

• Intervalo de tiempo: de forma predeterminada, la tabla muestra las últimas 24 horas de información en función de las selecciones correspondientes realizadas.

El icono de contador, que se encuentra bajo la lista desplegable, acumula el número total de clústeres de Azure Data Explorer de las suscripciones seleccionadas y refleja cuántas están seleccionadas. Hay codificaciones de color condicionales para las columnas: Mantener activo, CPU, Uso de ingesta y Uso de caché. Las celdas con codificación naranja tienen valores que no son sostenibles para el clúster.

Para comprender mejor lo que representa cada una de estas métricas, se recomienda leer la documentación sobre las métricas de Azure Data Explorer.

Pestaña Rendimiento de las consultas

En la pestaña Rendimiento de consultas se muestra la duración de las consultas, el número total de consultas simultáneas y el número total de consultas limitadas.

Pestaña Ingestion Performance (Rendimiento de ingesta)

En esta pestaña Rendimiento de la ingesta se muestra la latencia de la ingesta, los resultados de ingesta correctos, los resultados de ingesta con errores, el volumen de ingesta y los eventos procesados para los centros de IoT o de eventos.

Pestaña Streaming Ingest Performance (Rendimiento de ingesta de streaming)

La pestaña Rendimiento de la ingesta de streaming proporciona información sobre la velocidad de datos media, la duración media y la tasa de solicitudes.

Pestaña Export Performance (Rendimiento de exportación)

La pestaña Rendimiento de exportación proporciona información sobre los registros exportados, la demora, el recuento pendiente y el porcentaje de uso de las operaciones de exportación continua.

Vista de un recurso de clúster de Azure Data Explorer (análisis en profundidad)

Para acceder directamente a Azure Data Explorer Clusters Insights desde un clúster de Azure Data Explorer:

1. En Azure Portal, seleccione Clústeres de Azure Data Explorer.

2. En la lista, elija un clúster de Azure Data Explorer. En la sección Supervisión, seleccione Conclusiones.

También puede acceder a estas vistas si selecciona el nombre del recurso de un clúster de Azure Data Explorer desde la vista Información de Azure Monitor.

Nota

Azure Data Explorer Clusters Insights combina registros y métricas para proporcionar una solución de supervisión global. La inclusión de visualizaciones basadas en registros requiere que los usuarios habiliten el registro de diagnóstico de su clúster de Azure Data Explorer y lo envíen a un área de trabajo de Log Analytics. Los registros de diagnóstico que deben habilitarse son Comando, Consulta, SucceededIngestion, FailedIngestion, IngestionBatching, TableDetails y TableUsageStatistics. (tenga en cuenta que habilitar los registros SucceededIngestion puede ser costoso. Por ello, habilítelos solo si necesita supervisar las ingestas correctas).

Pestaña Información general

La pestaña Información general muestra:

• Iconos de métricas que resaltan la disponibilidad y el estado general del clúster para realizar una evaluación rápida del estado.

• Un resumen del estado activo de las recomendaciones de Azure Advisor y del estado de los recursos.

• Gráficos que muestran los consumidores principales de CPU y memoria y el número de usuarios únicos a lo largo del tiempo.

Pestaña de Métricas clave

La pestaña de Métricas clave muestra una vista unificada de algunas de las métricas del clúster. Se agrupan en métricas generales, métricas relacionadas con consultas, métricas relacionadas con la ingesta y métricas relacionadas con la ingesta de streaming.

Pestaña Uso

La pestaña Uso permite a los usuarios profundizar en el rendimiento de los comandos y las consultas del clúster. En esta pestaña, puede:

• Ver qué grupos de cargas de trabajo, usuarios y aplicaciones envían la mayoría de las consultas o consumen la mayor parte de la CPU y la memoria. A continuación, puede comprender qué cargas de trabajo envían las consultas más pesadas para que el clúster las procese.
• Identificar los grupos de cargas de trabajo, usuarios y aplicaciones principales por consultas con error.
• Identificar los cambios recientes en el número de consultas, en comparación con la media diaria histórica (en los últimos 16 días), por grupo de cargas de trabajo, usuario y aplicación.
• Identificar las tendencias y los picos en el número de consultas y el consumo de memoria y CPU por grupo de cargas de trabajo, usuario, aplicación y tipo de comando.

La pestaña Uso incluye acciones que los usuarios realizan directamente. Las operaciones internas del clúster no se incluyen en esta pestaña.

Pestaña Tablas

En la pestaña Tablas se muestran las propiedades históricas y más recientes de las tablas del clúster. Puede ver qué tablas consumen más espacio. Asimismo, también puede realizar un seguimiento del historial de crecimiento por tamaño de tabla, los datos de acceso frecuente y el número de filas a lo largo del tiempo.

Pestaña Caché

La pestaña Caché permite a los usuarios analizar los patrones de la ventana de recuperación de las consultas reales y compararlos con la directiva de caché configurada (para cada tabla). Puede identificar las tablas que usan la mayoría de las consultas y aquellas que no se consultan nunca, y adaptar la directiva de caché en consecuencia.

Puede obtener recomendaciones de directivas de caché en tablas específicas en Azure Advisor. Actualmente, las recomendaciones de caché solo están disponibles en el panel principal de Azure Advisor. Se basan en la ventana de búsqueda de consultas reales de los últimos 30 días y en una directiva de caché sin optimizar para, al menos, el 95 % de las consultas.

Existen recomendaciones de reducción de la caché en Azure Advisor para los clústeres que están "limitados por datos". Eso significa que el clúster tiene un uso bajo de CPU y de ingesta, pero que, debido a su elevada capacidad de datos, no ha podido reducirse horizontal ni verticalmente).

Pestaña Límites del clúster

La pestaña Límites del clúster muestra los límites del clúster en función de su uso. En esta pestaña puede inspeccionar el uso de la CPU, la ingesta y la caché. Los valores de estas métricas pueden ser Baja, Media o Alta. Estas métricas y valores son importantes a la hora de decidir el número óptimo de SKU e instancias para el clúster. Asimismo, se tienen en cuenta en las recomendaciones de SKU o tamaño de Azure Advisor.

En esta pestaña puede seleccionar el icono de una métrica y profundizar para conocer su tendencia y cómo se decide su puntuación. También puede ver la recomendación de tamaño y SKU de Azure Advisor del clúster. Por ejemplo, en la siguiente imagen, puede ver que todas las métricas se puntúan como Baja. El clúster recibe una recomendación de costos que le permitirá reducirlos horizontalmente o verticalmente así y ahorrar dinero.

Pestaña Ingesta (pestaña vista previa)

La pestaña Ingesta permite supervisar el estado de las operaciones de ingesta en cola en el clúster.

En el proceso de ingesta en cola , la ingesta de datos está optimizada para un alto rendimiento. Para ello, se agrupan pequeños fragmentos de datos entrantes en lotes en función de una directiva de procesamiento por lotes de ingesta configurable.

La pestaña Ingesta proporciona información detallada sobre lo siguiente:

• Resultado de la ingesta en cola, por granularidad de base de datos o tabla.
• Detalles del error de ingesta por tabla.
• La cantidad de datos ingeridos.
• Latencia de la ingesta en cola y dónde se produce.
• El propio proceso de procesamiento por lotes, incluida la información de supervisión sobre la directiva de procesamiento por lotes de ingesta y cómo se sellaron los lotes.
• Para ingestas de Event Hubs, Event Grid e IoT Hub: el número de eventos recibidos en el clúster y el número de eventos enviados para la ingesta real.

Anclar a un panel de Azure

Cualquiera de las secciones de métricas (de la perspectiva "a gran escala") se puede anclar a un panel de Azure; para ello, seleccione el icono con forma de chincheta que se encuentra en la parte superior derecha de la sección.

Personalización de Azure Data Explorer Clusters Insights

Puede editar el libro para personalizarlo en función de sus necesidades de análisis de datos:

• Definir el ámbito del libro para seleccionar siempre una suscripción o unos clústeres de Azure Data Explorer determinados.
• Cambiar las métricas de la cuadrícula.
• Cambiar los umbrales o la representación o codificación del color.

Puede iniciar las personalizaciones; para ello, seleccione el botón Personalizar de la barra de herramientas superior.

Las personalizaciones se guardan en un libro personalizado para evitar sobrescribir la configuración predeterminada del libro publicado. Los libros se guardan en un recurso compartido, bien en la sección Mis informes o en la sección Informes compartidos accesibles a cualquiera con acceso al grupo de recursos. Después de guardar el libro personalizado, vaya a la galería de libros para abrirlo.

Solución de problemas

Para obtener instrucciones generales sobre la solución de problemas, consulte Solución de problemas de conclusiones basadas en libros.

Las secciones siguientes le ayudarán a diagnosticar y solucionar algunos de los problemas comunes que pueden surgir al usar Azure Data Explorer Clusters Insights.

¿Por qué veo todas mis suscripciones en el selector de suscripciones?

muestra solo las suscripciones que contienen clústeres de Azure Data Explorer seleccionados en el filtro de suscripción seleccionado. Seleccione un filtro de suscripción en Directorio y suscripción en Azure Portal.

¿Por qué no veo ningún dato del clúster de Azure Data Explorer en las secciones Uso, Tablas o Caché?

Para ver los datos basados en registros, debe habilitar los registros de diagnóstico para cada uno de los clústeres de Azure Data Explorer que quiera supervisar. Esto puede realizarse en la configuración de diagnóstico de cada clúster. Asimismo, tendrá que enviar los datos a un área de trabajo de Log Analytics. Los registros de diagnóstico que se deben habilitar son: Command, Query, TableDetails y TableUsageStatistics.

Ya he habilitado los registros del clúster de Azure Data Explorer. ¿Por qué todavía no puedo ver mis datos en las secciones Comandos y Consultas?

Actualmente, los registros de diagnóstico no funcionan con carácter retroactivo. Los datos comenzarán a aparecer después de que se hayan realizado acciones en Azure Data Explorer. Por lo tanto, pueden tardar algún tiempo (desde horas hasta un día), en función de la actividad que presente el clúster de Azure Data Explorer.

Nota

En Azure Portal, los datos de las métricas sin procesar de las páginas Métricas e Información se almacenan en Azure Monitor. Las consultas de estas páginas consultan directamente los datos de las métricas sin procesar para proporcionar resultados más precisos. Al usar la característica de configuración de diagnóstico, puede migrar los datos de las métricas sin procesar al área de trabajo de Log Analytics. Durante la migración, se puede perder cierta precisión de datos debido al redondeo; por lo tanto, los resultados de la consulta pueden variar ligeramente de los datos originales. El margen de error es inferior al 1 %.

Contenido relacionado

• Cree informes interactivos con libros de Azure Monitor.