Habilitación de la supervisión de clústeres de Kubernetes

Artículo
03/11/2024

En este artículo se describe cómo habilitar la supervisión completa de los clústeres de Kubernetes mediante las siguientes características de Azure Monitor:

Managed Prometheus para la recopilación de métricas
Container Insights para la recopilación de registros
Managed Grafana para la visualización.

Con Azure Portal, puede habilitar todas las características al mismo tiempo. También puede habilitarlas individualmente mediante la CLI de Azure, la plantilla de Azure Resource Manager, Terraform o Azure Policy. Cada uno de estos métodos se describe en este artículo.

Importante

Los clústeres de Kubernetes generan una gran cantidad de datos de registro, lo que puede dar lugar a costos significativos si no haces una selección de los registros que recopilas. Antes de habilitar la supervisión del clúster, consulta los siguientes artículos para asegurarte de que el entorno está optimizado para el costo y que limita la recopilación de registros solo a los datos que necesitas:

Configuración de la recopilación de datos y la optimización de costes en Container Insights mediante la regla de recopilación de datos
Detalles sobre cómo personalizar la recopilación de registros una vez que hayas habilitado la supervisión, incluido el uso de configuraciones de optimización de costos preestablecidas.
Procedimientos recomendados para supervisar Kubernetes con Azure Monitor
Procedimientos recomendados para supervisar clústeres de Kubernetes que organizan los cinco pilares del Marco de buena arquitectura de Azure, incluida la optimización de costos.
Optimización de costos en Azure Monitor
Procedimientos recomendados para configurar todas las características de Azure Monitor a fin de optimizar los costos y limitar la cantidad de datos que recopilas.

Clústeres admitidos

En este artículo se proporcionan instrucciones de incorporación para los siguientes tipos de clústeres. Las diferencias en el proceso para cada tipo se indican en las secciones pertinentes.

Requisitos previos

Permisos

Se necesita al menos acceso de Colaborador al clúster para la incorporación.
Se necesita Lector de supervisión o Colaborador de supervisión para ver los datos una vez habilitada la supervisión.

Requisitos previos de Managed Prometheus

El clúster debe usar la autenticación de identidad administrada.
Los siguientes proveedores de recursos deben estar registrados en la suscripción del clúster de AKS y el área de trabajo de Azure Monitor:
- Microsoft.ContainerService
- Microsoft.Insights
- Microsoft.AlertsManagement
- Microsoft.Monitor
Los siguientes proveedores de recursos deben estar registrados en la suscripción del área de trabajo de Grafana:
- Microsoft.Dashboard

Requisitos previos de los clústeres de Kubernetes habilitados para Arc

Requisitos previos para Extensiones de clúster de Kubernetes habilitado para Azure Arc.
Compruebe los requisitos de firewall además de los requisitos de red de Kubernetes habilitado para Azure Arc.
Si instaló anteriormente la supervisión de AKS, asegúrese de que ha deshabilitado la supervisión antes de continuar para evitar problemas durante la instalación de la extensión.
Si previamente instaló la supervisión en un clúster usando un script sin extensiones de clúster, siga las instrucciones en Deshabilitar la supervisión del clúster de Kubernetes para eliminar este gráfico de Helm.

Nota:

La extensión de Kubernetes habilitada para Arc de Prometheus administrado no admite las siguientes configuraciones:

Distribuciones de Red Hat Openshift
Nodos de Windows

Áreas de trabajo

En la tabla siguiente se describen las áreas de trabajo necesarias para admitir Managed Prometheus y Container Insights. Puede crear cada área de trabajo como parte del proceso de incorporación o usar un área de trabajo existente. Consulte Diseño de una arquitectura de áreas de trabajo de Log Analytics para obtener orientación sobre cuántas áreas de trabajo crear y dónde deberían estar situadas.

Característica	Área de trabajo	Notas
Prometheus administrado	Área de trabajo de Azure Monitor	El permiso `Contributor` es suficiente para permitir que el complemento envíe datos al área de trabajo de Azure Monitor. Necesitará un permiso de nivel `Owner` para vincular su área de trabajo de Azure Monitor para ver las métricas en Azure Managed Grafana. Esto es necesario porque el usuario que ejecuta el paso de incorporación, necesita ser capaz de dar al sistema de Azure Managed Grafana el rol de identidad `Monitoring Reader` en el área de trabajo de Azure Monitor para consultar las métricas.
Container Insights	Área de trabajo de Log Analytics	Puede asociar un clúster de AKS a un área de trabajo de Log Analytics en una suscripción de Azure diferente en el mismo inquilino de Microsoft Entra, pero debe usar la CLI de Azure o una plantilla de Azure Resource Manager. Actualmente no puede realizar esta configuración con Azure Portal. Si va a conectar un clúster de AKS existente a un área de trabajo de Log Analytics en otra suscripción, el proveedor de recursos Microsoft.ContainerService debe estar registrado en la suscripción donde está el área de trabajo de Log Analytics. Para obtener más información, consulte Registro del proveedor de recursos. Para obtener una lista de los pares de asignación compatibles para utilizar con el área de trabajo predeterminada, vea Asignaciones de región admitidas por Container Insights.
Managed Grafana	Área de trabajo de Azure Managed Grafana	Vincule su área de trabajo de Grafana a su área de trabajo de Azure Monitor para que las métricas de Prometheus recopiladas de su clúster estén disponibles en los paneles de Grafana.

Habilitar Prometheus y Grafana

Use uno de los siguientes métodos para habilitar la extracción de métricas de Prometheus de su clúster y permitir que Managed Grafana visualice las métricas. Consulte Vincular un área de trabajo de Grafana para ver las opciones para conectar su área de trabajo de Azure Monitor y su área de trabajo de Azure Managed Grafana.

Si no especifica un área de trabajo de Azure Monitor existente en los siguientes comandos, se usará el área de trabajo predeterminada para el grupo de recursos. Si aún no existe un área de trabajo predeterminada en la región del clúster, se creará una con un nombre en el formato DefaultAzureMonitorWorkspace-<mapped_region> en un grupo de recursos con el nombre DefaultRG-<cluster_region>.

Requisitos previos

Se requiere la versión de Az CLI 2.49.0 o posterior.
La extensión aks-preview debe desinstalarse de los clústeres de AKS usando el comando az extension remove --name aks-preview.
La extensión k8s-extension debe instalarse mediante el comando az extension add --name k8s-extension.
Se requiere la versión 1.4.1 o superior de la extensión k8s.

Clúster de AKS

Use la opción de -enable-azure-monitor-metricsaz aks create o az aks update (dependiendo de si está creando un nuevo clúster o actualizando uno existente) para instalar el complemento de métricas que agrega las métricas de Prometheus.

Comandos de muestra

### Use default Azure Monitor workspace
az aks create/update --enable-azure-monitor-metrics -n <cluster-name> -g <cluster-resource-group>

### Use existing Azure Monitor workspace
az aks create/update --enable-azure-monitor-metrics -n <cluster-name> -g <cluster-resource-group> --azure-monitor-workspace-resource-id <workspace-name-resource-id>

### Use an existing Azure Monitor workspace and link with an existing Grafana workspace
az aks create/update --enable-azure-monitor-metrics -n <cluster-name> -g <cluster-resource-group> --azure-monitor-workspace-resource-id <azure-monitor-workspace-name-resource-id> --grafana-resource-id  <grafana-workspace-name-resource-id>

### Use optional parameters
az aks create/update --enable-azure-monitor-metrics -n <cluster-name> -g <cluster-resource-group> --ksm-metric-labels-allow-list "namespaces=[k8s-label-1,k8s-label-n]" --ksm-metric-annotations-allow-list "pods=[k8s-annotation-1,k8s-annotation-n]"

Clúster habilitado para Arc

### Use default Azure Monitor workspace
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics

## Use existing Azure Monitor workspace
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics --configuration-settings azure-monitor-workspace-resource-id=<workspace-name-resource-id>

### Use an existing Azure Monitor workspace and link with an existing Grafana workspace
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics --configuration-settings azure-monitor-workspace-resource-id=<workspace-name-resource-id> grafana-resource-id=<grafana-workspace-name-resource-id>

### Use optional parameters
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics --configuration-settings azure-monitor-workspace-resource-id=<workspace-name-resource-id> grafana-resource-id=<grafana-workspace-name-resource-id> AzureMonitorMetrics.KubeStateMetrics.MetricAnnotationsAllowList="pods=[k8s-annotation-1,k8s-annotation-n]" AzureMonitorMetrics.KubeStateMetrics.MetricLabelsAllowlist "namespaces=[k8s-label-1,k8s-label-n]"

Cualquiera de los comandos puede usar los siguientes parámetros opcionales:

AKS: --ksm-metric-annotations-allow-list
Arc: --AzureMonitorMetrics.KubeStateMetrics.MetricAnnotationsAllowList
Lista separada por comas de claves de anotaciones de Kubernetes que se usaron en la métrica kube_resource_annotations del recurso. Por ejemplo, kube_pod_annotations es la métrica de anotaciones para el recurso pods. De manera predeterminada, la métrica solo contiene etiquetas de nombre y espacio de nombres. Para incluir más anotaciones, proporcione una lista de nombres de recursos en su forma plural y claves de anotación de Kubernetes para las que quiera que estén permitidos. Se puede proporcionar un solo carácter * por recurso para permitir cualquier anotación, pero esto tiene graves consecuencias sobre el rendimiento. Por ejemplo, pods=[kubernetes.io/team,...],namespaces=[kubernetes.io/team],....
AKS: --ksm-metric-labels-allow-list
Arc: --AzureMonitorMetrics.KubeStateMetrics.MetricLabelsAllowlist
Lista separada por comas de más claves de etiquetas de Kubernetes que se usa en las métricas kube_resource_labels y kube_resource_labels del recurso. Por ejemplo, kube_pod_labels es la métrica de etiquetas del recurso pods. De manera predeterminada, esta métrica solo contiene etiquetas de nombre y espacio de nombres. Para incluir más etiquetas, proporcione una lista de nombres de recursos en plural y las claves de etiqueta de Kubernetes que quiera permitir para ellos. Se puede proporcionar un solo valor * para cada recurso para permitir cualquier etiqueta, pero esto tiene graves consecuencias para el rendimiento. Por ejemplo, pods=[app],namespaces=[k8s-label-1,k8s-label-n,...],....
AKS: --enable-windows-recording-rules permite habilitar los grupos de reglas de registro necesarios para el correcto funcionamiento de los paneles de Windows.

En esta sección se proporcionan plantillas de ARM y Bicep.

Requisitos previos

El área de trabajo de Azure Monitor y la instancia de Azure Managed Grafana ya deben estar creadas.
La plantilla debe implementarse en el mismo grupo de recursos que la instancia de Azure Managed Grafana.
Si la instancia de Azure Managed Grafana está en una suscripción distinta de la suscripción de áreas de trabajo de Azure Monitor, registre la suscripción del área de trabajo de Azure Monitor con el proveedor de recursos Microsoft.Dashboard usando las instrucciones de Registrar proveedor de recursos.
Los usuarios con el rol User Access Administrator en la suscripción del clúster de AKS pueden habilitar directamente el rol Monitoring Reader mediante la implementación de la plantilla.

Nota:

Actualmente en Bicep, no hay ninguna manera de limita" explícitamente la asignación de roles de Monitoring Reader en un parámetro de cadena "id. de recurso" para un área de trabajo de Azure Monitor (como en una plantilla de ARM). Bicep espera un valor de tipo resource | tenant. Tampoco hay ninguna especificación de API de REST para un área de trabajo de Azure Monitor.

Por lo tanto, el ámbito predeterminado del rol de Monitoring Reader está en el grupo de recursos. El rol se aplica en la misma área de trabajo de Azure Monitor (por herencia), que es el comportamiento esperado. Después de implementar esta plantilla de Bicep, a la instancia de Grafana se le conceden permisos de Monitoring Reader para todas las áreas de trabajo de Azure Monitor de ese grupo de recursos.

Recuperación de los valores necesarios para el recurso de Grafana

Si la instancia de Azure Managed Grafana ya está vinculada a un área de trabajo de Azure Monitor, deberá incluir esta lista en la plantilla. En la página de Información general de la instancia de Azure Managed Grafana en el Azure Portal, seleccione Vista JSON y copie el valor de azureMonitorWorkspaceIntegrations, que tendrá un aspecto similar al del ejemplo siguiente. Si no existe, la instancia no se ha vinculado a ningún área de trabajo de Azure Monitor.

"properties": {
    "grafanaIntegrations": {
        "azureMonitorWorkspaceIntegrations": [
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_1"
            },
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_2"
            }
        ]
    }
}

Descarga y edición del archivo de plantilla y de parámetros

Descargue los archivos necesarios para el tipo de clúster de Kubernetes con el que está trabajando.

ARM de clúster de AKS
- Archivo de plantilla: https://aka.ms/azureprometheus-enable-arm-template
- Archivo de parámetros: https://aka.ms/azureprometheus-enable-arm-template-parameters
Bicep de clúster de AKS
- Archivo de plantilla: https://aka.ms/azureprometheus-enable-bicep-template
- Archivo de parámetros: https://aka.ms/azureprometheus-enable-bicep-template-parameters
- Módulo DCRA: https://aka.ms/nested_azuremonitormetrics_dcra_clusterResourceId
- Módulo de perfil: https://aka.ms/nested_azuremonitormetrics_profile_clusterResourceId
ARM de clúster habilitado para ARC
- Archivo de plantilla: https://aka.ms/azureprometheus-arc-arm-template
- Archivo de parámetros: https://aka.ms/azureprometheus-arc-arm-template-parameters

Edite los valores siguientes en el archivo de parámetros. El mismo conjunto de valores se usa para las plantillas de ARM y Bicep. Recoja el id. de recurso de los recursos de la Vista JSON de su página de Información general.

Parámetro	Value
`azureMonitorWorkspaceResourceId`	Identificador de recurso del área de trabajo de Azure Monitor. Recupere el valor desde la vista JSON de la página Información general del área de trabajo de Azure Monitor.
`azureMonitorWorkspaceLocation`	Ubicación del área de trabajo de Azure Monitor. Recupere el valor desde la vista JSON de la página Información general del área de trabajo de Azure Monitor.
`clusterResourceId`	Identificador de recurso del clúster de AKS. Recupere el valor desde la vista JSON de la página Información general del clúster.
`clusterLocation`	Ubicación del clúster de AKS. Recupere el valor desde la vista JSON de la página Información general del clúster.
`metricLabelsAllowlist`	Lista separada por comas de claves de etiquetas de Kubernetes que se usarán en la métrica de etiquetas del recurso.
`metricAnnotationsAllowList`	Lista separada por comas de más claves de etiquetas de Kubernetes que se usarán en la métrica de anotaciones del recurso.
`grafanaResourceId`	Identificador de recurso de la instancia administrada de Grafana. Recupere el valor desde la vista JSON de la página Información general de la instancia de Grafana.
`grafanaLocation`	Ubicación de la instancia administrada de Grafana. Recupere el valor desde la vista JSON de la página Información general de la instancia de Grafana.
`grafanaSku`	SKU de la instancia administrada de Grafana. Recupere el valor desde la vista JSON de la página Información general de la instancia de Grafana. Utilice el elemento sku.name.

Abra el archivo de plantilla y actualice la propiedad grafanaIntegrations al final del archivo con los valores que ha recuperado de la instancia de Grafana. Esto tendrá un aspecto similar al de los ejemplos siguientes. En estos ejemplos, full_resource_id_1 y full_resource_id_2 ya estaban en el JSON de recursos de Azure Managed Grafana. La entrada final azureMonitorWorkspaceResourceId ya está en la plantilla y se usa para vincular al identificador de recurso del área de trabajo de Azure Monitor que se proporciona en el archivo de parámetros.

ARM

{
    "type": "Microsoft.Dashboard/grafana",
    "apiVersion": "2022-08-01",
    "name": "[split(parameters('grafanaResourceId'),'/')[8]]",
    "sku": {
        "name": "[parameters('grafanaSku')]"
    },
    "location": "[parameters('grafanaLocation')]",
    "properties": {
        "grafanaIntegrations": {
        "azureMonitorWorkspaceIntegrations": [
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_1"
            },
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_2"
            },
            {
                "azureMonitorWorkspaceResourceId": "[parameters('azureMonitorWorkspaceResourceId')]"
            }
        ]
        }
    }
}

Bicep

    resource grafanaResourceId_8 'Microsoft.Dashboard/grafana@2022-08-01' = {
        name: split(grafanaResourceId, '/')[8]
        sku: {
            name: grafanaSku
        }
        identity: {
            type: 'SystemAssigned'
        }
        location: grafanaLocation
        properties: {
            grafanaIntegrations: {
                azureMonitorWorkspaceIntegrations: [
                    {
                        azureMonitorWorkspaceResourceId: 'full_resource_id_1'
                    }
                    {
                        azureMonitorWorkspaceResourceId: 'full_resource_id_2'
                    }
                    {
                        azureMonitorWorkspaceResourceId: azureMonitorWorkspaceResourceId
                    }
                ]
            }
        }
    }

Implemente la plantilla con el archivo de parámetros mediante cualquier método válido para implementar plantillas de Resource Manager. Vea Implementación de plantillas de ejemplo para obtener ejemplos de diferentes métodos.

Requisitos previos

El área de trabajo de Azure Monitor y el área de trabajo de Azure Managed Grafana ya deben estar creadas.
La plantilla debe desplegarse en el mismo grupo de recursos que el área de trabajo de Azure Managed Grafana.
Los usuarios con el rol Administrador de acceso de usuario en la suscripción del clúster de AKS pueden habilitar directamente el rol Lector de supervisión mediante la implementación de la plantilla.
Si la instancia de Azure Managed Grafana está en una suscripción distinta de la suscripción de áreas de trabajo de Azure Monitor, registre la suscripción del área de trabajo de Azure Monitor con el Microsoft.Dashboardproveedor de recursos de según lo que se indica en esta documentación.

Recuperación de los valores necesarios para el recurso de Grafana

Desde la página Información general de la instancia de Azure Managed Grafana en el Azure Portal, seleccione la vista JSON.

Si usa una instancia de Azure Managed Grafana existente que ya se vinculó a un área de trabajo de Azure Monitor, necesitará la lista de integraciones de Grafana. Copie el valor del campo azureMonitorWorkspaceIntegrations. Si no existe, la instancia no se ha vinculado a ningún área de trabajo de Azure Monitor. Actualice el bloque azure_monitor_workspace_integrations en main.tf con la lista de integraciones del SSO.

  azure_monitor_workspace_integrations {
    resource_id  = var.monitor_workspace_id[var.monitor_workspace_id1, var.monitor_workspace_id2]
  }

Descarga y edita las plantillas

Si está implementando un nuevo clúster de AKS mediante Terraform con el complemento de Prometheus administrado habilitado, siga estos pasos:

Descargue todos los archivos en AddonTerraformTemplate.
Edite las variables en el archivo variables.tf con los valores de parámetro correctos.
Para inicializar la implementación de Terraform, ejecute terraform init -upgrade.
Para inicializar la implementación de Terraform, ejecute terraform plan -out main.tfplan.
Ejecute terraform apply main.tfplan para aplicar el plan de ejecución a su infraestructura en la nube.

Nota: Pase las variables para las claves annotations_allowed y labels_allowed de main.tf solo cuando existan esos valores. Son bloques opcionales.

Nota:

Edite el archivo main.tf correctamente antes de ejecutar la plantilla de Terraform. Agregue los valores de azure_monitor_workspace_integrations existentes al recurso de Grafana antes de ejecutar la plantilla. De lo contrario, los valores más antiguos se eliminan y se reemplazan por lo que hay en la plantilla durante la implementación. Los usuarios con el rol "Administrador de acceso de usuario" en la suscripción del clúster de AKS pueden habilitar directamente el rol "Lector de supervisión" mediante la implementación de la plantilla. Edite el parámetro grafanaSku si usa una SKU no estándar y, por último, ejecute esta plantilla en el grupo de recursos de Grafana.

Descargue la plantilla de directivas Azure y los archivos de parámetros.
- Archivo de plantilla: https://aka.ms/AddonPolicyMetricsProfile
- Archivo de parámetros: https://aka.ms/AddonPolicyMetricsProfile.parameters
Cree la definición de la directiva usando el siguiente comando de la CLI:

az policy definition create --name "Prometheus Metrics addon" --display-name "Prometheus Metrics addon" --mode Indexed --metadata version=1.0.0 category=Kubernetes --rules AddonPolicyMetricsProfile.rules.json --params AddonPolicyMetricsProfile.parameters.json
Después de crear la definición de la directiva, en Azure Portal, seleccione Directiva y después Definiciones. Seleccione la definición de directiva que ha creado.
Seleccione Asignar y rellene los datos en la pestaña Parámetros. Seleccione Revisar + crear.
Si quiere aplicar la directiva a un clúster existente, cree una Tarea de corrección para ese recurso del clúster a partir de Asignación de directivas.

Una vez asignada la directiva a la suscripción, siempre que cree un clúster que no tenga habilitado Prometheus, la directiva se ejecutará e implementará para habilitar la supervisión de Prometheus.

Habilitación de Container Insights

Use uno de los métodos siguientes para habilitar Container Insights en el clúster. Una vez finalizada esta tarea, consulte Configurar la recopilación de datos del agente para obtener información del contenedor para personalizar su configuración y asegurarse de que no está recopilando más datos de los que necesita.

Use uno de los siguientes comandos para habilitar la supervisión de los clústeres habilitados para AKS y Arc. Si no especifica un área de trabajo de Log Analytics existente, se usará el área de trabajo predeterminada para el grupo de recursos. Si aún no existe un área de trabajo predeterminada en la región del clúster, se creará una con un nombre con el formato DefaultWorkspace-<GUID>-<Region>.

Requisitos previos

CLI de Azure, versión 2.43.0 o superior
La autenticación de identidad administrada se realizará de manera predeterminada en la versión CLI 2.49.0 o superior.
Azure k8s-extension, versión 1.3.7 o superior
La autenticación de identidad administrada es el valor predeterminado en k8s-extension versión 1.43.0 o posterior.
La autenticación de identidad administrada no es compatible con los clústeres de Kubernetes habilitados para Arc con nodos ARO (Azure Red Hat Openshift) o Windows. Use la autenticación heredada.
Para la versión de la CLI 2.54.0 o superior, el esquema de registro se configurará en ContainerLogV2 usando ConfigMap.

Clúster de AKS

### Use default Log Analytics workspace
az aks enable-addons -a monitoring -n <cluster-name> -g <cluster-resource-group-name>

### Use existing Log Analytics workspace
az aks enable-addons -a monitoring -n <cluster-name> -g <cluster-resource-group-name> --workspace-resource-id <workspace-resource-id>

Los

az aks enable-addons -a monitoring -n "my-cluster" -g "my-resource-group" --workspace-resource-id "/subscriptions/my-subscription/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace"

Clúster habilitado para Arc

### Use default Log Analytics workspace
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers

### Use existing Log Analytics workspace
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings logAnalyticsWorkspaceResourceID=<workspace-resource-id>

### Use managed identity authentication (default as k8s-extension version 1.43.0)
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.useAADAuth=true

### Use advanced configuration settings
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings  amalogs.resources.daemonset.limits.cpu=150m amalogs.resources.daemonset.limits.memory=600Mi amalogs.resources.deployment.limits.cpu=1 amalogs.resources.deployment.limits.memory=750Mi

### With custom mount path for container stdout & stderr logs
### Custom mount path not required for Azure Stack Edge version > 2318. Custom mount path must be /home/data/docker for Azure Stack Edge cluster with version <= 2318
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.logsettings.custommountpath=<customMountPath>

Consulte la sección de solicitudes y límites de recursos del gráfico Helm para conocer las opciones de configuración disponibles.

Ejemplo

az k8s-extension create --name azuremonitor-containers --cluster-name "my-cluster" --resource-group "my-resource-group" --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings logAnalyticsWorkspaceResourceID="/subscriptions/my-subscription/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace"

Clúster habilitado para Arc con proxy de reenvío

Si el clúster está configurado con un proxy de reenvío, la configuración del proxy se aplica automáticamente a la extensión. En el caso de un clúster con AMPLS + proxy, se debe omitir la configuración del proxy. Incorpore la extensión con el valor amalogs.ignoreExtensionProxySettings=true de configuración.

az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.ignoreExtensionProxySettings=true

Clúster habilitado para Arc con nodos ARO u OpenShift o Windows

La autenticación de identidad administrada no es compatible con los clústeres de Kubernetes habilitados para Arc con nodos ARO (Azure Red Hat Openshift) u OpenShift o Windows. Use la autenticación heredada especificando amalogs.useAADAuth=false como en el ejemplo siguiente.

az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.useAADAuth=false

Eliminación de una instancia de extensión

El siguiente comando solo elimina la instancia de la extensión, pero no elimina el área de trabajo de Log Analytics. Los datos del recurso de Log Analytics permanecen intactos.

az k8s-extension delete --name azuremonitor-containers --cluster-type connectedClusters --cluster-name <cluster-name> --resource-group <resource-group>

En esta sección se proporcionan plantillas de ARM y Bicep.

Requisitos previos

La plantilla debe implementarse en el mismo grupo de recursos que el clúster.

Descarga e instalación de la plantilla

Descarga y edición del archivo de plantilla y de parámetros

ARM de clúster de AKS
- Archivo de plantilla: https://aka.ms/aks-enable-monitoring-msi-onboarding-template-file
- Archivo de parámetros: https://aka.ms/aks-enable-monitoring-msi-onboarding-template-parameter-file
Bicep de clúster de AKS
- Archivo de plantilla (Syslog): https://aka.ms/enable-monitoring-msi-syslog-bicep-template
- Archivo de parámetros (sin Syslog): https://aka.ms/enable-monitoring-msi-syslog-bicep-parameters
- Archivo de plantilla (sin Syslog): https://aka.ms/enable-monitoring-msi-bicep-template
- Archivo de parámetros (sin Syslog): https://aka.ms/enable-monitoring-msi-bicep-parameters
Clúster habilitado para Arc
- Archivo de plantilla: https://aka.ms/arc-k8s-azmon-extension-msi-arm-template
- Archivo de parámetros: https://aka.ms/arc-k8s-azmon-extension-msi-arm-template-params
- Archivo de plantilla (autenticación heredada): https://aka.ms/arc-k8s-azmon-extension-arm-template
- Archivo de parámetros (autenticación heredada): https://aka.ms/arc-k8s-azmon-extension-arm-template-params

Parámetro	Descripción
AKS: `aksResourceId` Arc: `clusterResourceId`	Identificador de recurso del clúster.
AKS: `aksResourceLocation` Arc: `clusterRegion`	Ubicación del clúster.
AKS: `workspaceResourceId` Arc: `workspaceResourceId`	Identificador de recurso del área de trabajo de Log Analytics.
Arc: `workspaceRegion`	Región del área de trabajo de Log Analytics.
Arc: `workspaceDomain`	Dominio del área de trabajo de Log Analytics. `opinsights.azure.com` para la nube pública de Azure `opinsights.azure.us` para AzureUSGovernment.
AKS: `resourceTagValues`	Valores de etiqueta especificados para la regla de recopilación de datos (DCR) de extensión de contenedor existente del clúster y el nombre de la DCR. El nombre será `MSCI-<clusterName>-<clusterRegion>` y este recurso creado en un grupo de recursos de clústeres de AKS. Para una incorporación por primera vez, puede establecer valores de etiqueta arbitrarios.

Implemente la plantilla con el archivo de parámetros mediante cualquier método válido para implementar plantillas de Resource Manager. Vea Implementación de plantillas de ejemplo para obtener ejemplos de diferentes métodos.

Nuevo clúster de AKS

Descargue el archivo de plantilla de Terraform en función de si desea habilitar la recopilación de Syslog.

Syslog
- https://aka.ms/enable-monitoring-msi-syslog-terraform
Sin Syslog
- https://aka.ms/enable-monitoring-msi-terraform
Ajuste el recurso azurerm_kubernetes_cluster en main.tf en función de la configuración del clúster.

Actualice los parámetros de variables.tf para reemplazar los valores de "<>"

Parámetro	Descripción
`aks_resource_group_name`	Use los valores de la página de información general de AKS para el grupo de recursos.
`resource_group_location`	Use los valores de la página de información general de AKS para el grupo de recursos.
`cluster_name`	Defina el nombre del clúster que desea crear.
`workspace_resource_id`	Use el id. de recurso del área de trabajo de Log Analytics.
`workspace_region`	Use la ubicación del área de trabajo de Log Analytics.
`resource_tag_values`	Empareje los valores de etiqueta existentes especificados para la regla de recopilación de datos (DCR) de la extensión existente de Container Insights del clúster y el nombre de la DCR. El nombre coincidirá con `MSCI-<clusterName>-<clusterRegion>`, y este recurso se creará en el mismo grupo de recursos que los clústeres de AKS. Para una incorporación por primera vez, puede establecer los valores de etiqueta arbitrarios.
`enabledContainerLogV2`	Establezca este valor de parámetro en true para usar el ContainerLogV2 predeterminado recomendado.
Parámetros de optimización de costos	Consulte los Parámetros de recopilación de datos

Para inicializar la implementación de Terraform, ejecute terraform init -upgrade.
Para inicializar la implementación de Terraform, ejecute terraform plan -out main.tfplan.
Ejecute terraform apply main.tfplan para aplicar el plan de ejecución a su infraestructura en la nube.

Clúster de AKS existente

Importe primero el recurso del clúster existente con el comando: terraform import azurerm_kubernetes_cluster.k8s <aksResourceId>

Agregue el perfil de complemento oms_agent al recurso azurerm_kubernetes_cluster existente.

oms_agent {
    log_analytics_workspace_id = var.workspace_resource_id
    msi_auth_for_monitoring_enabled = true
  }

Copia de los recursos DCR y DCRA de las plantillas de Terraform
Ejecute terraform plan -out main.tfplan y asegúrese de que el cambio agregue la propiedad oms_agent. Nota: Si el recurso azurerm_kubernetes_cluster definido es diferente durante el plan de Terraform, el clúster existente se destruirá y se volverá a crear.
Ejecute terraform apply main.tfplan para aplicar el plan de ejecución a su infraestructura en la nube.

Sugerencia

Edite el archivo main.tf correctamente antes de ejecutar la plantilla de Terraform.
Los datos comenzarán a fluir después de 10 minutos, ya que el clúster debe estar listo primero.
WorkspaceID debe coincidir con el formato /subscriptions/12345678-1234-9876-4563-123456789012/resourceGroups/example-resource-group/providers/Microsoft.OperationalInsights/workspaces/workspaceValue.
Si el grupo de recursos ya existe, ejecute terraform import azurerm_resource_group.rg /subscriptions/<Subscription_ID>/resourceGroups/<Resource_Group_Name> antes del plan de Terraform.

Azure Portal

Desde la pestaña Definiciones del menú Directiva de Azure Portal, cree una definición de directiva con los siguientes detalles.
- Ubicación de definición: suscripción a Azure en la que se debe almacenar la definición de directiva.
- Nombre: AKS-Monitoring-Addon
- Descripción: directiva personalizada de Azure para habilitar el complemento de supervisión en clústeres de Azure Kubernetes.
- Categoría: seleccione Usar existente y seleccione Kubernetes en la lista desplegable.
- Regla de directiva: reemplace el JSON de muestra existente por el contenido de https://aka.ms/aks-enable-monitoring-custom-policy.
Seleccione la nueva definición de directiva Complemento de supervisión de AKS.
Seleccione Asignar y especifique un Ámbito en el que se debe asignar la directiva.
Seleccione Siguiente y proporcione el identificador de recurso del área de trabajo de Log Analytics.
Cree una tarea de corrección en caso de que quiera aplicar la directiva a los clústeres de AKS existentes en el ámbito seleccionado.
Seleccione Revisar y crear para crear la asignación de directiva.

CLI de Azure

Descargue la plantilla de directivas Azure y los archivos de parámetros.
- Archivo de plantilla: https://aka.ms/enable-monitoring-msi-azure-policy-template
- Archivo de parámetros: https://aka.ms/enable-monitoring-msi-azure-policy-parameters

Cree la definición de la directiva usando el siguiente comando de la CLI:

az policy definition create --name "AKS-Monitoring-Addon-MSI" --display-name "AKS-Monitoring-Addon-MSI" --mode Indexed --metadata version=1.0.0 category=Kubernetes --rules azure-policy.rules.json --params azure-policy.parameters.json

Cree la definición de la directiva usando el siguiente comando de la CLI:

az policy assignment create --name aks-monitoring-addon --policy "AKS-Monitoring-Addon-MSI" --assign-identity --identity-scope /subscriptions/<subscriptionId> --role Contributor --scope /subscriptions/<subscriptionId> --location <location> --role Contributor --scope /subscriptions/<subscriptionId> -p "{ \"workspaceResourceId\": { \"value\":  \"/subscriptions/<subscriptionId>/resourcegroups/<resourceGroupName>/providers/microsoft.operationalinsights/workspaces/<workspaceName>\" } }"

Habilitación de la supervisión completa con Azure Portal

Con Azure Portal, puede habilitar al mismo tiempo Managed Prometheus y Container Insights.

Nota:

Si quiere habilitar Managed Prometheus sin Container Insights, habilítelo desde el área de trabajo de Azure Monitor como se describe a continuación.

Nuevo clúster de AKS (Prometheus y Container Insights)

Al crear un nuevo clúster de AKS en Azure Portal, puede habilitar Prometheus, Container Insights y Grafana en la pestaña Integraciones. En la sección Azure Monitor, seleccione Configuración predeterminada o Configuración personalizada si desea especificar qué áreas de trabajo usar. Puede realizar una configuración adicional una vez creado el clúster.

Clúster existente (Prometheus y Container Insights)

Esta opción habilita Container Insights y, opcionalmente, Prometheus y Grafana en un clúster de AKS existente.

Seleccione Información en el menú del clúster O seleccione Contenedores en el menú Supervisión, pestaña Clústeres no supervisados y haga clic en Habilitar junto a un clúster.
1. Si Container Insights no está habilitado para el clúster, se le mostrará una pantalla que identifica cuál de las características se ha habilitado. Haga clic en Configurar supervisión.
1. Si Container Insights ya se ha habilitado en el clúster, seleccione el botón Configuración de supervisión para modificar la configuración.
Se habilitará Container Insights. Active las casillas Habilitar métricas de Prometheus y Habilitar Grafana si también quiere habilitarlas para el clúster. Si ya tiene un área de trabajo de Azure Monitor y un área de trabajo de Grafana, se seleccionarán automáticamente.
Haga clic en Configuración avanzada para seleccionar áreas de trabajo alternativas o crear nuevas. La configuración Valores preestablecidos de costo permite modificar los detalles de recopilación predeterminados para reducir los costos de supervisión. Consulte Habilitar la configuración de optimización de costos en Container Insights para obtener más información.
Haga clic en Configurar para guardar la configuración.

Clúster existente (solo Prometheus)

Esta opción habilita las métricas de Prometheus en un clúster sin habilitar Container Insights.

Abra el menú Áreas de trabajo de Azure Monitor en Azure Portal y seleccione su área de trabajo.
Seleccione Clústeres supervisados en la sección Prometheus administrado para mostrar una lista de los clústeres de AKS.
Seleccione Configurar junto al clúster que desea habilitar.

Clúster existente (agregar Prometheus)

Seleccione Contenedores en el menú Supervisión, en la pestaña Contenedores supervisados y haga clic en Configurar junto a un contenedor en la columna Managed Prometheus.

Habilitación de la recopilación de métricas de Windows (versión preliminar)

Nota:

No hay ningún límite de CPU/memoria en windows-exporter-daemonset.yaml por lo que puede sobreaprovisionar los nodos de Windows.
Para más información, consulte Reserva de recursos.

A medida que implementa cargas de trabajo, establezca los límites de memoria de recursos y CPU en los contenedores. Esto también resta de NodeAllocatable y ayuda al programador de todo el clúster a determinar qué pods colocar en qué nodos. La programación de pods sin límites puede sobreaprovisionar los nodos de Windows y, en casos extremos, puede hacer que los nodos sean incorrectos.

A partir de la versión 6.4.0-main-02-22-2023-3ee44b9e del contenedor de complementos de Prometheus administrado (prometheus_collector), la colección de métricas de Windows se ha habilitado para los clústeres de AKS. La incorporación al complemento Métricas de Azure Monitor permite que los pods de Windows DaemonSet empiecen a ejecutarse en los grupos de nodos. Se admiten Windows Server 2019 y Windows Server 2022. Siga los pasos que se indican a continuación para permitir que los pods recopilen métricas de los grupos de nodos de Windows.

Instale manualmente el exportador de Windows en los nodos de AKS para acceder a las métricas de Windows. Habilite los siguientes recopiladores:
- [defaults]
- container
- memory
- process
- cpu_info
Para obtener más recopiladores, consulte exportador de Prometheus para métricas de Windows.

Implementar el archivo windows-exporter-daemonset YAML:
```
    kubectl apply -f windows-exporter-daemonset.yaml
```
Aplique ama-metrics-settings-configmap al clúster. Establezca los valores booleanos windowsexporter y windowskubeproxy en true. Para obtener más información, consulte Configmap de configuración del complemento de métricas.
Habilite las reglas de grabación necesarias para los paneles de serie:
- Si se incorpora mediante la CLI, incluya la opción --enable-windows-recording-rules.
- Si se incorpora mediante la plantilla ARM, Bíceps o Azure Policy, establezca enableWindowsRecordingRules en true en el archivo de parámetros.
- Si el clúster ya está integrado, utilice esta plantilla de ARM y este archivo de parámetros para crear los grupos de reglas.

Comprobación de la implementación

Use la herramienta de línea de comandos kubectl para verificar que el agente se implementa correctamente.

Prometheus administrado

Comprobar que DaemonSet se implementó correctamente en los grupos de nodos de Linux

kubectl get ds ama-metrics-node --namespace=kube-system

El número de pods debe ser igual al número de nodos de Linux del clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-metrics-node --namespace=kube-system
NAME               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-metrics-node   1         1         1       1            1           <none>          10h

Comprobar que los nodos de Windows se han implementado correctamente

kubectl get ds ama-metrics-win-node --namespace=kube-system

El número de pods debe ser igual al número de nodos de Windows del clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-metrics-node --namespace=kube-system
NAME                   DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-metrics-win-node   3         3         3       3            3           <none>          10h

Comprobar que se implementaron los dos ReplicaSets para Prometheus

kubectl get rs --namespace=kube-system

La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$kubectl get rs --namespace=kube-system
NAME                            DESIRED   CURRENT   READY   AGE
ama-metrics-5c974985b8          1         1         1       11h
ama-metrics-ksm-5fcf8dffcd      1         1         1       11h

Container Insights

Comprobar que DaemonSets se implementó correctamente en los grupos de nodos de Linux

kubectl get ds ama-logs --namespace=kube-system

El número de pods debe ser igual al número de nodos de Linux del clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-logs --namespace=kube-system
NAME       DESIRED   CURRENT   READY     UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-logs   2         2         2         2            2           <none>          1d

Comprobar que los nodos de Windows se han implementado correctamente

kubectl get ds ama-logs-windows --namespace=kube-system

El número de pods debe ser igual al número de nodos de Windows del clúster. La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get ds ama-logs-windows --namespace=kube-system
NAME                   DESIRED   CURRENT   READY     UP-TO-DATE   AVAILABLE   NODE SELECTOR     AGE
ama-logs-windows           2         2         2         2            2       <none>            1d

Comprobar la implementación de la solución Container Insights

kubectl get deployment ama-logs-rs --namespace=kube-system

La salida debería ser similar al ejemplo siguiente:

User@aksuser:~$ kubectl get deployment ama-logs-rs --namespace=kube-system
NAME          READY   UP-TO-DATE   AVAILABLE   AGE
ama-logs-rs   1/1     1            1           24d

Visualización de la configuración con la CLI

Use el comando aks show para averiguar si la solución está habilitada, el id. de recurso del área de trabajo de Log Analytics y la información de resumen sobre el clúster.

az aks show -g <resourceGroupofAKSCluster> -n <nameofAksCluster>

El comando devolverá información con formato JSON sobre la solución. La sección addonProfiles debe incluir información sobre omsagent como se muestra en el ejemplo siguiente:

"addonProfiles": {
    "omsagent": {
        "config": {
            "logAnalyticsWorkspaceResourceID": "/subscriptions/00000000-0000-0000-0000-000000000000/resourcegroups/my-resource-group/providers/microsoft.operationalinsights/workspaces/my-workspace",
            "useAADAuth": "true"
        },
        "enabled": true,
        "identity": null
    },
}

Recursos aprovisionados

Al habilitar la supervisión, se crean los siguientes recursos en la suscripción:

Nombre de recurso	Tipo de recurso	Grupo de recursos	Región o ubicación	Descripción
`MSCI-<aksclusterregion>-<clustername>`	Regla de recopilación de datos	Igual que el clúster	Igual que el área de trabajo de Log Analytics	Esta regla de recopilación de datos es para la recopilación de registros por el agente de Azure Monitor, que usa el área de trabajo de Log Analytics como destino y está asociada al recurso de clúster de AKS.
`MSPROM-<aksclusterregion>-<clustername>`	Regla de recopilación de datos	Igual que el clúster	Igual que el área de trabajo de Azure Monitor	Esta regla de recopilación de datos es para la recopilación de métricas de Prometheus mediante el complemento de métricas, que tiene como destino el área de trabajo de Azure Monitor elegida, y también está asociada al recurso de clúster de AKS
`MSPROM-<aksclusterregion>-<clustername>`	Puntos de conexión de recopilación de datos	Igual que el clúster	Igual que el área de trabajo de Azure Monitor	Esta regla de recopilación de datos usa este punto de conexión de recopilación de datos para ingerir métricas de Prometheus desde el complemento de métricas

Al crear un área de trabajo nueva de Azure Monitor, se crean los siguientes recursos adicionales como parte de ella

Nombre de recurso	Tipo de recurso	Grupo de recursos	Región o ubicación	Descripción
`<azuremonitor-workspace-name>`	Regla de recopilación de datos	MA_<azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	Igual que el área de trabajo de Azure Monitor	DCR creado cuando se usa el servidor de OSS Prometheus para Escribir remotamente en el área de trabajo de Azure Monitor.
`<azuremonitor-workspace-name>`	Puntos de conexión de recopilación de datos en Azure Monitor	MA_<azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	Igual que el área de trabajo de Azure Monitor	DCE creado cuando se usa el servidor de OSS Prometheus para Escribir remotamente en el área de trabajo de Azure Monitor.

Diferencias entre los clústeres de Windows y Linux

Entre las principales diferencias al supervisar un clúster de Windows Server y un clúster de Linux se encuentran:

Windows no tiene una métrica RSS de memoria. Por lo tanto, no está disponible para los nodos y contenedores de Windows. La métrica de espacio de trabajo está disponible.
La información sobre la capacidad de almacenamiento del disco no está disponible para los nodos de Windows.
Solo se supervisan los entornos de pods, no los entornos de Docker.
Con la versión preliminar, se admite un máximo de 30 contenedores de Windows Server. Esta limitación no se aplica a los contenedores de Linux.

Nota

Container Insights es compatible con el sistema operativo Windows Server 2022 y está en versión preliminar.

El agente de Linux en contenedores (pod de ReplicaSet) hace llamadas API a todos los nodos de Windows del puerto seguro Kubelet (10250) en el clúster para recopilar métricas relacionadas con el rendimiento de los nodos y los contenedores. El puerto seguro de Kubelet (:10250) debe estar abierto en la red virtual del clúster para que la recopilación de métricas relacionadas con el rendimiento de los contenedores y nodos de Windows funcione.

Si tiene un clúster de Kubernetes con nodos de Windows, revise y configure el grupo de seguridad de red y las directivas de red para asegurarse de que el puerto seguro de Kubelet (:10250) se abre tanto para la entrada como para la salida en la red virtual del clúster.

Pasos siguientes

Si experimenta problemas al intentar incorporar la solución, consulte la Guía de solución de problemas.
Con la supervisión habilitada para recopilar el estado y la utilización de recursos del clúster de AKS y las cargas de trabajo que se ejecutan en estos, aprenda cómo usar Container Insights.

Habilitación de la supervisión de clústeres de Kubernetes

Clústeres admitidos

Requisitos previos

Áreas de trabajo

Habilitar Prometheus y Grafana

Requisitos previos

Clúster de AKS

Clúster habilitado para Arc

Habilitación de Container Insights

Requisitos previos

Clúster de AKS

Clúster habilitado para Arc

Habilitación de la supervisión completa con Azure Portal

Nuevo clúster de AKS (Prometheus y Container Insights)

Clúster existente (Prometheus y Container Insights)

Clúster existente (solo Prometheus)

Clúster existente (agregar Prometheus)

Habilitación de la recopilación de métricas de Windows (versión preliminar)

Comprobación de la implementación

Prometheus administrado

Container Insights

Recursos aprovisionados

Diferencias entre los clústeres de Windows y Linux

Pasos siguientes

Recursos adicionales