Compartir vía

Habilitación de la supervisión de clústeres de Azure Kubernetes Service (AKS)

Como se describe en Kubernetes en Azure Monitor, varias características de Azure Monitor trabajan conjuntamente para ofrecer una supervisión completa de los clústeres de Azure Kubernetes Service (AKS). En este artículo se describe cómo habilitar las siguientes características para clústeres de AKS:

  • Métricas de Prometheus
  • Grafana Administrado
  • Registro de contenedores
  • Registros del plano de control

Requisitos previos

Importante

Si los clústeres se conectan al área de trabajo de Azure Monitor o al área de trabajo de Log Analytics mediante el enlace privado de Azure, consulte Habilitar enlace privado para supervisar máquinas virtuales y clústeres de Kubernetes en Azure Monitor.

Creación de áreas de trabajo

En la tabla siguiente se describen las áreas de trabajo necesarias para admitir las características de Azure Monitor habilitadas en este artículo. Si aún no tiene un área de trabajo existente de cada tipo, puede crearlas como parte del proceso de incorporación. Consulte Design a Log Analytics workspace architecture para obtener instrucciones sobre el número de áreas de trabajo que se van a crear y dónde deben colocarse.

Característica Área de trabajo Notas
Prometheus administrado Azure Monitor workspace Si no especifica un área de trabajo de Azure Monitor existente al incorporarla, se usa el área de trabajo predeterminada para el grupo de recursos. Si aún no existe un área de trabajo predeterminada en la región del clúster, se crea una con un nombre en el formato DefaultAzureMonitorWorkspace-<mapped_region> en un grupo de recursos con el nombre DefaultRG-<cluster_region>.

Contributor permiso es suficiente para permitir que el complemento envíe datos al área de trabajo de Azure Monitor. Para poder ver las métricas en Azure Managed Grafana, necesita un permiso de nivel Owner para conectar el área de trabajo de Azure Monitor. Esto es necesario porque el usuario que ejecuta el paso de incorporación debe poder proporcionar el rol de identidad del sistema Azure Managed Grafana Monitoring Reader en el área de trabajo de Azure Monitor para consultar las métricas.
Registro de contenedores
Registros del plano de control
Container Insights		 Espacio de trabajo de Log Analytics Puede asociar un clúster a un área de trabajo de Log Analytics en una suscripción de Azure diferente en el mismo inquilino de Microsoft Entra, pero debe usar el CLI de Azure o una plantilla de Azure Resource Manager. Actualmente no puede realizar esta configuración con el portal de Azure.

Si va a conectar un clúster existente a un área de trabajo de Log Analytics en otra suscripción, el Microsoft. ContainerService proveedor de recursos debe registrarse en la suscripción con el área de trabajo de Log Analytics. Para obtener más información, consulte Registro del proveedor de recursos.

Si no especifica un área de trabajo de Log Analytics existente, se usa el área de trabajo predeterminada para el grupo de recursos. Si aún no existe un área de trabajo predeterminada en la región del clúster, se crea con un nombre en el formato DefaultWorkspace-<GUID>-<Region>.

Para obtener una lista de los pares de asignación compatibles para utilizar con el área de trabajo predeterminada, vea Asignaciones de región admitidas por Container Insights. Consulte Configure Azure Monitor with Network Security Perimeter para obtener instrucciones sobre cómo configurar el área de trabajo con perímetro de seguridad de red.
Grafana Administrado Azure Managed Grafana espacio de trabajo Vincular el área de trabajo de Grafana al área de trabajo de Azure Monitor para que las métricas de Prometheus recopiladas del clúster estén disponibles para los paneles de Grafana.

Métricas de Prometheus e información de contenedores

Nota:

El uso de Application Insights para supervisar las aplicaciones que se ejecutan en el clúster de AKS mediante openTelemetry Protocol (OTLP) para la instrumentación y la recopilación de datos está ahora en versión preliminar pública. Consulte Versión preliminar limitada de Supervisión de aplicaciones en AKS con el protocolo OpenTelemetry (OTLP).

Al habilitar Prometheus y Container Insights en un clúster, se instala en el clúster una versión en contenedor del agente Azure Monitor. Puede configurar estas características al mismo tiempo en un clúster nuevo o existente, o habilitar cada característica por separado.

Habilite Grafana administrado para el clúster al mismo tiempo que habilita la extracción de métricas de Prometheus. Consulte Vincular un área de trabajo de Grafana para obtener opciones para conectar el área de trabajo de Azure Monitor y el área de trabajo de Azure Managed Grafana.

Requisitos previos

  • El clúster debe usar la autenticación de identidad administrada.
  • Los siguientes proveedores de recursos deben registrarse en la suscripción del clúster y en el área de trabajo de Azure Monitor:
    • Microsoft. ContainerService
    • Microsoft.Analíticas
    • Microsoft. AlertsManagement
    • Microsoft.Monitor
  • Los siguientes proveedores de recursos deben estar registrados en la suscripción del área de trabajo de Grafana:
    • Microsoft.Cuadro de mandos
  • La autenticación de identidad administrada se realizará de manera predeterminada en la versión CLI 2.49.0 o superior.
  • La aks-preview extensión debe desinstalarse de clústeres de AKS mediante el comando az extension remove --name aks-preview.

Habilitación de las métricas de Prometheus en un clúster de AKS

Habilite las métricas de Prometheus en un clúster de AKS utilizando la opción --enable-azure-monitor-metrics con el comando az aks create para un nuevo clúster o el comando az aks update para un clúster existente. Esta opción usa la configuración descrita en Configuración de métricas de Prometheus de Azure Monitor. Para modificar esta configuración, consulte Personalizar la recopilación de métricas de Prometheus en el servicio gestionado de Azure Monitor para Prometheus.

Comandos de ejemplo:

### Use default Azure Monitor workspace
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group>

### Use existing Azure Monitor workspace
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group> --azure-monitor-workspace-resource-id <workspace-name-resource-id>

### Use an existing Azure Monitor workspace and link with an existing Grafana workspace
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group> --azure-monitor-workspace-resource-id <azure-monitor-workspace-name-resource-id> --grafana-resource-id  <grafana-workspace-name-resource-id>

### Use optional parameters
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group> --ksm-metric-labels-allow-list "namespaces=[k8s-label-1,k8s-label-n]" --ksm-metric-annotations-allow-list "pods=[k8s-annotation-1,k8s-annotation-n]"

Parámetros opcionales

Los comandos de ejemplo permiten los siguientes parámetros opcionales. El nombre del parámetro es diferente para cada uno, pero su uso es el mismo.

Parámetro Nombre y descripción
Claves de anotación --ksm-metric-annotations-allow-list

Lista separada por comas de claves de anotaciones de Kubernetes usadas en la métrica del kube_resource_annotations recurso. Por ejemplo, kube_pod_annotations es la métrica de anotaciones para el recurso pods. De manera predeterminada, la métrica solo contiene etiquetas de nombre y espacio de nombres. Para incluir más anotaciones, proporcione una lista de nombres de recursos en su forma plural y las claves de anotación de Kubernetes que quiera permitir para ellos. Se puede proporcionar un solo carácter * por recurso para permitir cualquier anotación, pero esto tiene graves consecuencias sobre el rendimiento. Por ejemplo, pods=[kubernetes.io/team,...],namespaces=[kubernetes.io/team],....
Claves de etiqueta --ksm-metric-labels-allow-list

Lista separada por comas de más claves de etiquetas de Kubernetes que se usa en las métricas kube_resource_labels y kube_resource_labels del recurso. Por ejemplo, kube_pod_labels es la métrica de etiquetas del recurso pods. De manera predeterminada, esta métrica solo contiene etiquetas de nombre y espacio de nombres. Para incluir más etiquetas, proporcione una lista de nombres de recursos en plural y las claves de etiqueta de Kubernetes que quiera permitir para ellos. Se puede proporcionar un solo valor * para cada recurso para permitir cualquier etiqueta, pero esto tiene graves consecuencias para el rendimiento. Por ejemplo, pods=[app],namespaces=[k8s-label-1,k8s-label-n,...],....
Reglas de grabación --enable-windows-recording-rules

Permite habilitar los grupos de reglas de grabación necesarios para el funcionamiento adecuado de los paneles de Windows.

Nota:

Los parámetros establecidos mediante --ksm-metric-annotations-allow-list y --ksm-metric-labels-allow-list pueden ser reemplazados o, alternativamente, establecidos mediante ama-metrics-settings-configmap.

Habilitación de container Insights y registro en un clúster de AKS

Habilite los conocimientos de contenedores y el registro de contenedores en un clúster de AKS usando la opción --addon monitoring con el comando az aks create para un nuevo clúster o el comando az aks enable-addon para actualizar un clúster existente.

Comandos de ejemplo:

### Use default Log Analytics workspace
az aks enable-addons --addon monitoring --name <cluster-name> --resource-group <cluster-resource-group-name>

### Use existing Log Analytics workspace
az aks enable-addons --addon monitoring --name <cluster-name> --resource-group <cluster-resource-group-name> --workspace-resource-id <workspace-resource-id>

### Use custom log configuration file
az aks enable-addons --addon monitoring --name <cluster-name> --resource-group <cluster-resource-group-name> --workspace-resource-id <workspace-resource-id> --data-collection-settings dataCollectionSettings.json

Archivo de configuración de registro

Para personalizar la configuración de recopilación de registros para el clúster, puede proporcionar la configuración como un archivo JSON con el formato siguiente. Si no proporciona un archivo de configuración, se usan las opciones predeterminadas identificadas en la tabla.

{
  "interval": "1m",
  "namespaceFilteringMode": "Include",
  "namespaces": ["kube-system"],
  "enableContainerLogV2": true, 
  "streams": ["Microsoft-Perf", "Microsoft-ContainerLogV2"]
}

En la tabla siguiente se describe cada una de las opciones del archivo de configuración de registro:

Nombre Descripción
interval Determina la frecuencia con la que el agente recopila datos. Los valores válidos son de 1 m - en intervalos de 1 m Si el valor está fuera del intervalo permitido, el valor predeterminado es 1m.

Valor predeterminado: 1 m.
namespaceFilteringMode Incluir: Recopila solo datos de los valores del campo namespaces.
Excluir: recopila datos de todos los espacios de nombres, excepto los valores del campo Espacios de nombres.
Desactivado: omite las selecciones de Espacio de nombres y recopila datos de todos los espacios de nombres.

Valor predeterminado: Desactivado
namespaces Matriz de espacios de nombres de Kubernetes separados por comas para recopilar los datos de inventario y rendimiento en función del valor de namespaceFilteringMode.
Por ejemplo, namespaces = ["kube-system", "default"] con un valor Include recopila solo estos dos espacios de nombres. Con el valor Excluir, el agente recopilará datos de todos los demás espacios de nombres, excepto kube-system y default. Con el valor Desactivar, el agente recopilará datos de todos los espacios de nombres, incluido kube-system y el valor predeterminado. Se omiten los espacios de nombres no válidos y no reconocidos.

Ninguno.
enableContainerLogV2 Marca booleana para habilitar el esquema de ContainerLogV2. Si se establece en true, los registros de stdout y stderr se ingieren en la tabla containerLogV2. En caso contrario, los registros de contenedor se ingieren en la tabla ContainerLog, a menos que se especifique lo contrario en el elemento ConfigMap. Al especificar las secuencias individuales, debe incluir la tabla correspondiente para ContainerLog o ContainerLogV2.

Valor predeterminado: True
streams Una serie de flujos de datos de tabla para recopilar. Vea Valores de flujo para obtener una lista de los flujos válidos y sus tablas correspondientes.

Valor predeterminado: Microsoft-ContainerInsights-Group-Default

Valores de flujo

Al especificar las tablas que se van a recopilar mediante la CLI o BICEP/ARM, se especifican nombres de secuencia que corresponden a tablas concretas del área de trabajo de Log Analytics. En la tabla siguiente se enumeran los nombres de flujos y sus tablas correspondientes.

Nota:

Si está familiarizado con la estructura de una regla de recopilación de datos, los nombres de secuencia de esta tabla se especifican en la sección Flujos de datos de la DCR.

Flujo Tabla de información de contenedores
Microsoft-ContainerInventory ContainerInventory
Microsoft-ContainerLog ContainerLog
Microsoft-ContainerLogV2 ContainerLogV2
Microsoft-ContainerLogV2-HighScale ContainerLogV2 (modo de escalado alto)1
Microsoft-ContainerNodeInventory InventarioDeNodosDeContenedores
Microsoft-InsightsMetrics InsightsMetrics
Microsoft-KubeEvents KubeEvents
Microsoft-KubeMonAgentEvents KubeMonAgentEvents
Microsoft-KubeNodeInventory KubeNodeInventory
Microsoft-KubePodInventory KubePodInventory
Microsoft-KubePVInventory KubePVInventory
Microsoft-KubeServices KubeServices
Microsoft-Perf Perf
Microsoft-InformaciónSobreContenedores-Grupo-Predeterminado Secuencia de grupo que incluye todas las secuencias anteriores. 2

1 No use Microsoft-ContainerLogV2 y MicrosoftContainerLogV2-HighScale juntos. Esto provocará datos duplicados. 2 Utilice la secuencia de grupo como una abreviatura para especificar todas las secuencias individuales. Si desea recopilar un conjunto específico de secuencias, especifique cada secuencia individualmente en lugar de usar la secuencia de grupo.

Tablas y métricas aplicables

La configuración de la frecuencia de recopilación y el filtrado del espacio de nombres no se aplican a todos los datos de registro. En las tablas siguientes se enumeran las tablas del área de trabajo de Log Analytics junto con la configuración que se aplica a cada una.

Nombre de la tabla ¿Intervalo? ¿Espacios de nombres? Observaciones
ContainerInventory Sí Sí
InventarioDeNodosDeContenedores Sí No La configuración de recopilación de datos para los espacios de nombres no es aplicable, ya que el nodo de Kubernetes no es un recurso con ámbito de espacio de nombres
KubeNodeInventory Sí No La configuración de recopilación de datos para los espacios de nombres no es aplicable porque el nodo de Kubernetes no es un recurso con ámbito de espacio de nombres
KubePodInventory Sí Sí
KubePVInventory Sí Sí
KubeServices Sí Sí
KubeEvents No Sí La configuración de recopilación de datos para el intervalo no es aplicable a los eventos de Kubernetes
Perf Sí Sí La configuración de recopilación de datos para los espacios de nombres no es aplicable a las métricas relacionadas con el nodo Kubernetes, ya que el nodo de Kubernetes no es un objeto con ámbito de espacio de nombres.
InsightsMetrics Sí Sí La configuración de recopilación de datos solo es aplicable a las métricas que recopilan los siguientes espacios de nombres: container.azm.ms/kubestate, container.azm.ms/pvy container.azm.ms/gpu.

Nota:

El filtrado de espacios de nombres no se aplica a los registros del agente ama-logs. Como resultado, incluso si el espacio de nombres kube-system aparece entre los espacios de nombres excluidos, los registros asociados al contenedor del agente ama-logs siguen siendo ingeridos.

Espacio de nombres de métricas ¿Intervalo? ¿Espacios de nombres? Observaciones
Insights.container/nodes Sí No El nodo no es un recurso con ámbito en el espacio de nombres
Insights.container/pods Sí Sí
Insights.container/containers Sí Sí
Insights.container/persistentvolumes Sí Sí

Escenarios especiales

Use los siguientes recursos para los requisitos de configuración para escenarios concretos:

Activar los registros del plano de control en un clúster de AKS

Los registros del plano de control se implementan como registros de resource en Azure Monitor. Para recopilar estos registros, cree una configuración de diagnóstico para el clúster. Envíelos al mismo área de trabajo Log Analytics que los registros de contenedor.

Use el comando az monitor diagnostic-settings create para crear una configuración de diagnóstico con el CLI de Azure. Consulte la documentación de este comando para obtener descripciones de sus parámetros.

En el ejemplo siguiente se crea una configuración de diagnóstico que envía todas las categorías de Kubernetes a un área de trabajo de Log Analytics. Esto incluye modo específico para recursos para enviar los registros a tablas específicas enumeradas en Registros de recursos compatibles para Microsoft.ContainerService/fleets.

az monitor diagnostic-settings create \
--name 'Collect control plane logs' \
--resource  /subscriptions/<subscription ID>/resourceGroups/<resource group name>/providers/Microsoft.ContainerService/managedClusters/<cluster-name> \
--workspace /subscriptions/<subscription ID>/resourcegroups/<resource group name>/providers/microsoft.operationalinsights/workspaces/<log analytics workspace name> \
--logs '[{"category": "karpenter-events","enabled": true},{"category": "kube-audit","enabled": true},
{"category": "kube-apiserver","enabled": true},{"category": "kube-audit-admin","enabled": true},{"category": "kube-controller-manager","enabled": true},{"category": "kube-scheduler","enabled": true},{"category": "cluster-autoscaler","enabled": true},{"category": "cloud-controller-manager","enabled": true},{"category": "guard","enabled": true},{"category": "csi-azuredisk-controller","enabled": true},{"category": "csi-azurefile-controller","enabled": true},{"category": "csi-snapshot-controller","enabled": true},{"category": "fleet-member-agent","enabled": true},{"category": "fleet-member-net-controller-manager","enabled": true},{"category": "fleet-mcs-controller-manager","enabled": true}]'
--metrics '[{"category": "AllMetrics","enabled": true}]' \
--export-to-resource-specific true

Habilitación de métricas de Windows (versión preliminar)

La colección de métricas de Windows está habilitada para los clústeres de AKS a partir de la versión 6.4.0-main-02-22-2023-3ee44b9e del complemento Prometheus administrado. La incorporación al complemento de métricas de Azure Monitor permite que los pods DaemonSet de Windows comiencen a ejecutarse en los conjuntos de nodos. Se admiten tanto Windows Server 2019 como Windows Server 2022. Siga estos pasos para habilitar los pods para que recopilen métricas de los grupos de nodos de Windows.

Nota:

No hay ningún límite de CPU o memoria en windows-exporter-daemonset.yaml para que pueda sobreaprovisionar los nodos de Windows. Para más información, consulte Reserva de recursos.

A medida que implementa cargas de trabajo, establezca los límites de memoria de recursos y CPU en los contenedores. Esto también resta de NodeAllocatable y ayuda al programador de todo el clúster a determinar qué pods colocar en qué nodos. La programación de pods sin límites puede sobreaprovisionar los nodos de Windows y, en casos extremos, hacer que los nodos se vuelvan inestables.

Instalar Windows exportador

Instale manualmente windows-exporter en nodos de AKS para acceder a las métricas de Windows mediante la implementación del archivo YAML windows-exporter-daemonset. Habilite los siguientes recopiladores. Para obtener más recopiladores, consulte Prometheus Exportador de métricas de Windows.

  • [defaults]
    • container
    • memory
    • process
    • cpu_info

Implementar el archivo windows-exporter-daemonset YAML. Si hay alguna tolerancias aplicada en el nodo, debe aplicar las tolerancias adecuadas.

kubectl apply -f windows-exporter-daemonset.yaml

Habilitación de métricas de Windows

Establezca los valores booleanos windowsexporter y windowskubeproxy en true en la instancia ConfigMap de configuración de métricas y aplíquelos al clúster. Vea Personalización de la recopilación de métricas de Prometheus desde el clúster de Kubernetes mediante ConfigMap.

Habilitación de reglas de grabación

Habilite las reglas de grabación necesarias para los paneles de serie:

  • Si se incorpora mediante la CLI, incluya la opción --enable-windows-recording-rules.
  • Si está realizando la incorporación mediante una plantilla de ARM, Bicep o Azure Policy, configure enableWindowsRecordingRules a true en el archivo de parámetros.
  • Si el clúster ya está incorporado, use este plantilla de ARM y este archivo de parámetros para crear los grupos de reglas. Esto agrega las reglas de grabación necesarias y no es una operación de ARM en el clúster y no afecta al estado de supervisión actual del clúster.

Comprobación de la implementación

Use la herramienta de línea de comandos kubectl para verificar que el agente se implementa correctamente.

Prometheus administrado

Comprobar que DaemonSet se implementó correctamente en los grupos de nodos de Linux

kubectl get ds ama-metrics-node --namespace=kube-system

El número de pods debe ser igual al número de nodos de Linux del clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-metrics-node --namespace=kube-system
NAME               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-metrics-node   1         1         1       1            1           <none>          10h

Verifique que los nodos de Windows se desplegaron correctamente

kubectl get ds ama-metrics-win-node --namespace=kube-system

El número de pods debe ser igual al número de nodos de Windows en el clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-metrics-node --namespace=kube-system
NAME                   DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-metrics-win-node   3         3         3       3            3           <none>          10h

Comprobar que se implementaron los dos ReplicaSets para Prometheus

kubectl get rs --namespace=kube-system

La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$kubectl get rs --namespace=kube-system
NAME                            DESIRED   CURRENT   READY   AGE
ama-metrics-5c974985b8          1         1         1       11h
ama-metrics-ksm-5fcf8dffcd      1         1         1       11h

Análisis y registro de contenedores

Comprobar que DaemonSets se implementó correctamente en los grupos de nodos de Linux

kubectl get ds ama-logs --namespace=kube-system

El número de pods debe ser igual al número de nodos de Linux del clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-logs --namespace=kube-system
NAME       DESIRED   CURRENT   READY     UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-logs   2         2         2         2            2           <none>          1d

Verifique que los nodos de Windows se desplegaron correctamente

kubectl get ds ama-logs-windows --namespace=kube-system

El número de pods debe ser igual al número de nodos de Windows en el clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-logs-windows --namespace=kube-system
NAME                   DESIRED   CURRENT   READY     UP-TO-DATE   AVAILABLE   NODE SELECTOR     AGE
ama-logs-windows           2         2         2         2            2       <none>            1d

Comprobación de la implementación de la solución de registro de contenedores

kubectl get deployment ama-logs-rs --namespace=kube-system

La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get deployment ama-logs-rs --namespace=kube-system
NAME          READY   UP-TO-DATE   AVAILABLE   AGE
ama-logs-rs   1/1     1            1           24d

Visualización de la configuración con la CLI

Use el comando aks show para averiguar si la solución está habilitada, el identificador de recurso del área de trabajo de Log Analytics e información de resumen sobre el clúster.

az aks show --resource-group <resourceGroupofAKSCluster> --name <nameofAksCluster>

El comando devuelve información con formato JSON sobre la solución. La sección addonProfiles debe incluir información sobre omsagent como se muestra en el ejemplo siguiente:

"addonProfiles": {
    "omsagent": {
        "config": {
            "logAnalyticsWorkspaceResourceID": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/my-resource-group/providers/microsoft.operationalinsights/workspaces/my-workspace",
            "useAADAuth": "true"
        },
        "enabled": true,
        "identity": null
    },
}

Contenido relacionado

  • Last updated on