Filtrado y personalización de la recopilación de datos para clústeres de Kubernetes

Los datos que Azure Monitor recopila inicialmente de los clústeres de Kubernetes dependen de las opciones que eligió al habilitar la colección de registros y métricas. Después de esta incorporación inicial, puede personalizar aún más la recopilación de datos para agregar datos que necesita para supervisar correctamente el entorno de Kubernetes o para filtrar los datos que no necesita para reducir los costos de supervisión. Puede optimizar aún más los costos con el filtrado avanzado y el envío de diferentes tipos de datos a un almacenamiento diferente.

En este artículo se describen los distintos tipos de personalización que puede realizar para la recopilación de datos de los clústeres de Kubernetes y los métodos necesarios para implementar cada uno. Los vínculos se proporcionan a instrucciones detalladas para cada método.

Métodos de configuración

Al habilitar la supervisión de un clúster de Kubernetes en Azure Monitor, el agente de Azure Monitor (AMA) se instala en el clúster. Este agente es responsable de recopilar registros y métricas del clúster y enviarlos a Azure Monitor.

Hay dos métodos para definir la configuración que usará el agente para recopilar datos. Cada método controla distintos aspectos de la recopilación de datos, por lo que debe usar ambos métodos juntos para lograr sus requisitos. Aunque tanto los registros como las métricas usan las mismas opciones de configuración, la configuración de cada tipo de datos se realiza por separado.

Método	Description
ConfigMap	ConfigMaps en Kubernetes almacenan los datos de configuración de las aplicaciones que se ejecutan en el clúster. Microsoft proporciona varios ConfigMaps tanto para los registros como para las métricas que lee el agente de Azure Monitor para modificar diferentes aspectos de los datos recopilados por el agente desde el clúster. Modifique estos ConfigMaps y aplíquelos al clúster para personalizar la recopilación de datos para cada tipo de datos.
Regla de recopilación de datos (DCR)	Data collection rules (DCR) en Azure Monitor define qué datos se recopilan de un recurso supervisado y dónde se envían esos datos. Las DCR independientes se crean automáticamente para registros y métricas al habilitar la supervisión del clúster de Kubernetes. El agente lee algunas opciones de configuración del DCR para determinar los datos que recopila el clúster. Otros valores se usan en Azure Monitor para determinar cómo procesar esos datos después de enviarlos desde el clúster. Esto incluye transformations, que proporcionan filtrado avanzado y manipulación de datos antes de ingerirlos en el área de trabajo de Log Analytics.

En la imagen siguiente se muestra cómo se usa cada uno de los métodos de configuración en la colección de datos de los clústeres de Kubernetes. Solo se usa un DCR para la recopilación de registros. Se muestra dos veces en la imagen para ilustrar que el agente usa cierta información en el DCR en el nivel de clúster, mientras que otra información de DCR la usa Azure Monitor después de que se entreguen los datos.

En la tabla siguiente se proporciona una comparación de los dos métodos de configuración. La mayoría de las opciones de configuración solo están disponibles en uno de los métodos, por lo que no tiene la opción de elegir qué método usar. Hay algunas opciones comunes que se pueden configurar con cualquiera de los métodos, pero hay diferencias importantes en cómo funcionan. En esos casos, puede seleccionar el método que mejor cumpla sus requisitos.

Tarea	ConfigMap	Regla de recopilación de datos (DCR)
Recopilación de registros	- Habilitar o deshabilitar los registros de contenedor por separado - Filtrado de espacios de nombres para registros de contenedores - Filtrado de anotaciones - Recopilación de variables de entorno	- Habilitar o deshabilitar todos los registros de contenedor - Filtrado de espacios de nombres para otros registros - Especificar tablas recopiladas - Áreas de trabajo de Log Analytics - Filtrado personalizado con transformaciones
Recopilación de métricas	- Habilitar/deshabilitar destinos - Habilitar o deshabilitar métricas específicas - Extracción basada en anotaciones	- Espacios de trabajo de Azure Monitor
Despliegue	- Aplicar ConfigMap a cada clúster. - Requiere re implementar para realizar cambios.	- Configurar un solo DCR para varios clústeres. - Modifique DCR sin necesidad de reiniciar.

Configuración común

Algunas opciones se pueden configurar con ConfigMap y DCR, pero hay diferencias importantes, como se describe en la tabla siguiente.

Configuración	Recomendación
Registros de contenedor	Los registros de contenedores son registros stdout/stderr del clúster. Para que los registros de contenedor se recopilen, deben estar habilitados en ConfigMap y DCR (flujo ContainerLogV2). ConfigMap permite habilitar por separado los registros stdout y stderr. Si deshabilita cualquiera de los registros en ConfigMap, no se recopilarán.
Filtrado de espacios de nombres	El filtrado de espacios de nombres está configurado tanto en ConfigMap como en DCR, pero para registros diferentes. El filtrado de espacios de nombres en ConfigMap solo se aplica a los registros de contenedor y se puede configurar por separado para los registros stdout y stderr. El filtrado de espacios de nombres en DCR se aplica a todos los demás registros. Para excluir completamente un espacio de nombres de la recopilación de registros, debe excluirlo en ambos lugares.

Configuración de ConfigMap

Se proporcionan configMaps independientes para registros y métricas, tal y como se describe a continuación. Tanto los registros como las métricas tienen aplicada una configuración predeterminada al habilitar la supervisión del clúster. Use estos ConfigMaps para modificar la configuración predeterminada para cumplir sus requisitos.

Data	Description
Registros	ConfigMap usado para la recopilación de registros es container-azm-ms-agentconfig.yaml. Consulte Filtrar la recopilación de registros de contenedor con ConfigMap para obtener una descripción de cada una de las opciones de configuración disponibles y cómo modificar y aplicar este configMap al clúster. La sección ConfigMap settings (Configuración de ConfigMap ) de ese artículo proporciona los valores predeterminados para cada configuración que se usa antes de aplicar un objeto ConfigMap.
Metrics	Consulte Configuración de métricas de Prometheus en Azure Monitor para ver las métricas recopiladas de forma predeterminada desde el clúster. ConfigMap que se usa para modificar esta configuración es ama-metrics-settings-configmap. Consulte Personalización de la recopilación de métricas de Prometheus del clúster de Kubernetes mediante ConfigMap para obtener una descripción de cada una de las opciones de configuración disponibles y cómo modificar y aplicar este configMap al clúster. Otros configMap están disponibles para crear trabajos de extracción personalizados. Consulte Creación de un trabajo personalizado de extracción de Prometheus desde el clúster de Kubernetes mediante ConfigMap para obtener más información sobre cómo usar estos ConfigMaps.

Configuración de DCR

Al habilitar la recopilación de registros para el clúster, los DCR independientes se crean automáticamente para registros y métricas que incluyen la configuración que especificó en el proceso de incorporación. Consulte DCR y recursos relacionados a continuación para obtener más información sobre las DCR y los objetos relacionados que se crean durante la incorporación.

Data	Description
Metrics	El DCR para las métricas se denomina MSProm-<region>-<cluster name>. Incluye el área de trabajo de Azure Monitor, pero se usa mínimamente para definir los detalles de las métricas recopiladas. Use ConfigMap en su lugar para configurar estos detalles. El escenario principal para modificar el DCR es enviar métricas a varias áreas de trabajo de Azure Monitor, como se describe en Send Métricas de Prometheus a varias áreas de trabajo de Azure Monitor.
Registros	El DCR para los registros se denomina MSCI-<region>-<cluster name>. Incluye el área de trabajo de Log Analytics y otra configuración especificada en el proceso de incorporación, como flujos de datos recopilados y filtrado de espacios de nombres. Puede usar los mismos métodos para modificar esta configuración después de la incorporación. Por ejemplo, selecciona un preset de Logs diferente en el portal de Azure para cambiar los flujos recogidos, o ejecuta un comando CLI con un nuevo archivo de configuración de logs para añadir filtrado de espacio de nombres. En estos casos, no es necesario trabajar de forma interactiva con el DCR. Como alternativa, puede modificar el DCR directamente para cambiar esta configuración. También puede modificar directamente el DCR para lograr los escenarios avanzados que se describen a continuación.

Filtrado avanzado

Transformations en DCR permiten aplicar una consulta KQL para filtrar y manipular los datos enviados a Azure Monitor antes de ingerirlos en el área de trabajo de Log Analytics. Esto le permite enriquecer o sanear los datos antes de la ingesta para la optimización de costos y cumplimiento. Entre los ejemplos se incluyen el filtrado de filas y columnas de datos entrantes, el enmascaramiento de campos confidenciales y la creación de nuevos campos calculados. Vea la sección Filtrado y transformaciones avanzadas para registros de Kubernetes en Azure Monitor para obtener detalles sobre cómo implementar transformaciones para los registros recopilados de sus clústeres de Kubernetes.

Nota:

Las transformaciones solo se aplican a los datos enviados a un área de trabajo de Log Analytics, por lo que no se pueden usar para filtrar los datos de métricas que se envían a un área de trabajo de Azure Monitor.

Enviar a varios espacios de trabajo y tablas

El DCR especifica el área de trabajo y la tabla donde se envían los datos. Un DCR para Kubernetes solo puede especificar un único área de trabajo de Log Analytics para los datos de registro y un único área de trabajo de Azure Monitor para los datos de métricas. Sin embargo, puede crear DCR adicionales y asociarlos a su clúster. Por ejemplo, puede tener equipos diferentes responsables de diferentes aplicaciones que se ejecutan en el mismo clúster y cada equipo requiere su propio conjunto de datos. Vea Send Prometheus metrics to multiple Azure Monitor workspaces para un ejemplo detallado que utiliza tanto ConfigMap como DCR.

Log Analytics áreas de trabajo tienen diferentes niveles de datos que proporcionan diferentes funcionalidades y costos. Puede reducir los costos de supervisión mediante el envío de determinados datos a tablas configuradas para reducir el costo. En lugar de configurar una tabla completa para otro nivel, por ejemplo, configurar ContainerLogV2 para registros auxiliares, use transformaciones en el DCR para seleccionar datos para enviar a tablas diferentes configuradas para distintos niveles. Consulte Envío de datos a tablas diferentes para obtener un ejemplo detallado.

Compartir un DCR con varios clústeres

Si tiene varios clústeres que usan la misma configuración, pueden compartir un único DCR. Esta estrategia reduce la sobrecarga de administración y garantiza la coherencia en los clústeres, especialmente al implementar configuraciones complejas, como el uso de transformaciones para el filtrado avanzado. Un único clúster también se puede asociar a varios DCR, cada uno de los cuales define datos diferentes que se van a recopilar.

Para usar un DCR común para varios clústeres, quite la asociación actual de cada clúster con su DCR y cree una nueva asociación con el DCR compartido. Una vez que el clúster esté asociado con el DCR común, puede eliminar el DCR anterior. Consulte Administrar asociaciones de reglas de recopilación de datos en Azure Monitor para ver los distintos métodos para administrar asociaciones dcR.

DCR y recursos relacionados

Los recursos que se crean al habilitar la supervisión de métricas de Prometheus y el registro de contenedores para los clústeres de Kubernetes en el monitor de Azure se describen en las tablas siguientes.

Recopilación de registros

Nombre de recurso	Tipo de recurso	Grupo de recursos	Región o ubicación	Description
MSCI-<aksclusterregion>-<clustername>	Regla de recopilación de datos	Igual que el clúster	Igual que el espacio de trabajo de Log Analytics	Asociado al recurso de clúster de AKS, define la configuración de la recopilación de registros por el agente de Azure Monitor. Este es el DCR para agregar la transformación.

Prometheus administrado

Nombre de recurso	Tipo de recurso	Grupo de recursos	Región o ubicación	Description
MSPROM-<aksclusterregion>-<clustername>	Regla de recopilación de datos	Igual que el clúster	Igual que el espacio de trabajo de Azure Monitor	Asociado al recurso de clúster de AKS, define la configuración de la recopilación de métricas de Prometheus mediante el complemento de métricas.
MSPROM-<aksclusterregion>-<clustername>	Puntos de conexión de recopilación de datos	Igual que el clúster	Igual que el espacio de trabajo de Azure Monitor	Se usa en SCD para ingerir métricas de Prometheus desde el complemento de métricas.

Al crear un área de trabajo de Azure Monitor, se crean los siguientes recursos adicionales.

Nombre de recurso	Tipo de recurso	Grupo de recursos	Región o ubicación	Description
<azuremonitor-workspace-name>	Regla de recopilación de datos	MA_<nombre-del-espacio-de-trabajo-azuremonitor>_<region-del-espacio-de-trabajo-azuremonitor>_gestionado	Igual que Azure Monitor Workspace	DCR se debe usar si se utiliza Remote Write desde un servidor Prometheus.
<azuremonitor-workspace-name>	Puntos de conexión de recopilación de datos	MA_<nombre-del-espacio-de-trabajo-azuremonitor>_<region-del-espacio-de-trabajo-azuremonitor>_gestionado	Igual que Azure Monitor Workspace	DCE debe usarse si usted utiliza la escritura remota desde un servidor Prometheus.

Pasos siguientes

• Consulte Transformaciones de datos en Container Insights para agregar transformaciones a la DCR que filtrarán aún más los datos en función de criterios detallados.