啟用 Kubernetes 叢集的監視

發行項
10/15/2024

本文說明如何使用下列 Azure 監視器功能，啟用 Kubernetes 叢集的完整監視：

使用 Azure 入口網站，您可以同時啟用所有功能。您也可以使用 Azure CLI、Azure Resource Manager 範本、Terraform 或 Azure 原則個別啟用。本文說明每個方式。

重要

Kubernetes 叢集會產生大量記錄資料，如果您對收集的記錄未多加選擇，可能會導致大量成本。啟用叢集監視之前，請參閱下列文章以確保您的環境已針對成本進行最佳化，而且您將記錄收集限制為僅需要的資料：

使用資料收集規則在容器深入解析中設定資料收集和成本最佳化
啟用監視之後自訂記錄收集的詳細資料，包括使用預設成本最佳化組態。
使用 Azure 監視器監視 Kubernetes 的最佳做法
監視 Kubernetes 叢集的最佳做法，是按照 Azure Well-Architected Framework 五大要素進行整理，包括成本最佳化。
Azure 監視器中的成本最佳化 (部分機器翻譯)
設定 Azure 監視器所有功能的最佳做法，以將成本最佳化，並限制您收集的資料量。

支援的叢集

本文提供下列叢集類型的上線指引。相關區段中會指出每個類型之程式的任何差異。

必要條件

權限

您至少需要參與者存取叢集才能上線。
您需要監視讀取器或監視參與者，才能在啟用監視之後檢視資料。

受控 Prometheus 必要條件

叢集必須使用受控識別驗證。
下列資源提供者必須在 AKS 叢集和 Azure 監視器工作區的訂用帳戶中註冊：
- Microsoft.ContainerService
- Microsoft.Insights
- Microsoft.AlertsManagement
- Microsoft.Monitor
下列資源提供者必須在 Grafana 工作區訂用帳戶中註冊：
- Microsoft.Dashboard

已啟用 Arc 的 Kubernetes 叢集必要條件

已啟用 Azure Arc 的 Kubernetes 叢集擴充功能的必要條件。
- 除了已啟用 Azure Arc 的 Kubernetes 網路需求之外，請確認防火牆需求。
- 如果您先前已安裝適用於 AKS 的監視，請先確定您已停用監視，再繼續以避免在延伸模組安裝期間發生問題。
- 如果您先前使用不含叢集延伸模組的腳本在叢集上安裝監視，請遵循停用 Kubernetes 叢集監視的指示，刪除此 Helm 圖表。

注意

受控 Prometheus 已啟用 Arc 的 Kubernetes 延伸模組不支援下列組態：

Red Hat Openshift 散發套件，包括 Azure Red Hat OpenShift (ARO)
Windows 節點

工作區

下表描述支援 Managed Prometheus 和容器深入解析所需的工作區。您可以將每個工作區建立為上線程式的一部分，或使用現有的工作區。請參閱設計Log Analytics工作區架構，以取得要建立的工作區數目和放置位置的指引。

功能	工作區	備註
Managed Prometheus	Azure 監視器工作區	`Contributor` 權限足以讓附加元件將資料傳送至 Azure 監視器工作區。連結 Azure 監視器工作區以檢視 Azure 受控 Grafana 中的計量時，您將需要 `Owner` 層級權限。這是必要的，因為執行上線步驟的使用者必須能夠提供 Azure 受控 Grafana 系統識別 `Monitoring Reader` 角色在 Azure 監視器工作區上查詢計量。
容器深入解析	Log Analytics 工作區	您可以將 AKS 叢集連結至相同 Microsoft Entra 租用戶中不同 Azure 訂用帳戶中的 Log Analytics 工作區，但您必須使用 Azure CLI 或 Azure Resource Manager 範本。您目前無法使用 Azure 入口網站執行此設定。若您要將現有 AKS 叢集連線至另一個訂閱中的 Log Analytics 工作區，則必須在具有 Log Analytics 工作區的訂閱中註冊 Microsoft.ContainerService 資源提供者。如需更多資訊，請參閱註冊資源業者。如需要用於預設工作區的支援對應配對，請參閱容器深入解析支援的區域對應。
受控 Grafana	Azure 受控 Grafana 工作區	將 Grafana 工作區連結至 Azure 監視器工作區，讓從叢集收集的 Prometheus 計量可供 Grafana 儀表板使用。

啟用 Prometheus 和 Grafana

使用下列其中一種方法，從叢集抓取 Prometheus 計量，並讓受控 Grafana 將計量可視化。如需連結 Azure 監視器工作區和 Azure 受控 Grafana 工作區的選項，請參閱連結 Grafana 工作區。

注意

如果您有私人連結的單一 Azure 監視器資源，則如果 AKS 叢集和 Azure 監視器工作區位於不同區域，Prometheus 啟用將無法運作。 Prometheus 附加元件所需的組態因為私人連結條件約束而無法跨區域使用。若要解決此問題，請在 AKS 叢集位置中建立新的 DCE，並在相同的 AKS 叢集區域中建立新的 DCRA (關聯)。將新的 DCE 與 AKS 叢集產生關聯，並將新關聯 (DCRA) 命名為 configurationAccessEndpoint。如需如何設定與 Azure 監視器工作區相關聯的 DCE 以使用 Private Link 進行資料擷取的完整指示，請參閱在 Azure 監視器中啟用 Kubernetes 監視的私人連結。

使用 CLI 啟用

如果您未在下列命令中指定現有的 Azure 監視器工作區，則會使用資源群組的預設工作區。若叢集區域中還沒有預設工作區，則名稱格式為 DefaultAzureMonitorWorkspace-<mapped_region> 的工作區將在名稱為 DefaultRG-<cluster_region> 的資源群組建立。

必要條件

Az CLI 2.49.0 版或更新版本。
必須使用命令 az extension remove --name aks-preview 來從 AKS 叢集解除安裝 aks-preview 擴充功能。
必須使用命令 az extension add --name k8s-extension 安裝 k8s-extension 擴充功能。
需要 k8s 延伸版本 1.4.1 版或更新版本。

AKS cluster

使用 -enable-azure-monitor-metrics 選項 az aks create 或 az aks update (視您要建立新的叢集或更新現有叢集而定) 來安裝會抓取 Prometheus 計量的計量附加元件。

範例命令

### Use default Azure Monitor workspace
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group>

### Use existing Azure Monitor workspace
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group> --azure-monitor-workspace-resource-id <workspace-name-resource-id>

### Use an existing Azure Monitor workspace and link with an existing Grafana workspace
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group> --azure-monitor-workspace-resource-id <azure-monitor-workspace-name-resource-id> --grafana-resource-id  <grafana-workspace-name-resource-id>

### Use optional parameters
az aks create/update --enable-azure-monitor-metrics --name <cluster-name> --resource-group <cluster-resource-group> --ksm-metric-labels-allow-list "namespaces=[k8s-label-1,k8s-label-n]" --ksm-metric-annotations-allow-list "pods=[k8s-annotation-1,k8s-annotation-n]"

已啟用 Arc 的叢集

### Use default Azure Monitor workspace
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics

## Use existing Azure Monitor workspace
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics --configuration-settings azure-monitor-workspace-resource-id=<workspace-name-resource-id>

### Use an existing Azure Monitor workspace and link with an existing Grafana workspace
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics --configuration-settings azure-monitor-workspace-resource-id=<workspace-name-resource-id> grafana-resource-id=<grafana-workspace-name-resource-id>

### Use optional parameters
az k8s-extension create --name azuremonitor-metrics --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers.Metrics --configuration-settings azure-monitor-workspace-resource-id=<workspace-name-resource-id> grafana-resource-id=<grafana-workspace-name-resource-id> AzureMonitorMetrics.KubeStateMetrics.MetricAnnotationsAllowList="pods=[k8s-annotation-1,k8s-annotation-n]" AzureMonitorMetrics.KubeStateMetrics.MetricLabelsAllowlist "namespaces=[k8s-label-1,k8s-label-n]"

任何命令都可使用下列選擇性參數：

AKS: --ksm-metric-annotations-allow-list
Arc: --AzureMonitorMetrics.KubeStateMetrics.MetricAnnotationsAllowList
在資源 kube_resource_annotations 計量中使用的 Kubernetes 註釋索引碼的逗號分隔清單。例如，kube_pod_annotations 是 Pod 資源的註釋計量。根據預設，計量只包含名稱和命名空間標籤。若要包含更多註釋，請對於您會想要允許的註釋提供其複數形式和 Kubernetes 註釋索引碼的資源名稱清單。您可以改為對於每個資源提供單一 *，允許任何註釋，但會產生嚴重的效能影響。例如： pods=[kubernetes.io/team,...],namespaces=[kubernetes.io/team],... 。
AKS: --ksm-metric-labels-allow-list
Arc: --AzureMonitorMetrics.KubeStateMetrics.MetricLabelsAllowlist
以逗號分隔的更多 Kubernetes 標籤索引鍵清單，用於資源的 kube_resource_labels 計量 kube_resource_labels 計量。例如，kube_pod_labels 是 Pod 資源的註釋計量。根據預設此計量只包含名稱和命名空間標籤。若要包含更多標籤，請以複數形式提供資源名稱清單，以及您想要允許它們的 Kubernetes 標籤索引鍵：每個資源都可以提供單一 * 以允許任何標籤，但這具有嚴重的效能影響。例如： pods=[app],namespaces=[k8s-label-1,k8s-label-n,...],... 。
AKS：--enable-windows-recording-rules 讓您啟用 Windows 儀表板正常運作所需的錄製規則群組。

使用ARM樣本啟用

必要條件

必須已建立 Azure 監視器工作區和 Azure 受控 Grafana 執行個體。
範本需要部署在 Azure 受控 Grafana 執行個體所在的資源群組。
如果 Azure 受控 Grafana 執行個體位於 Azure 監視器工作區訂用帳戶以外的訂用帳戶中，請使用註冊資源提供者的指引透過 Microsoft.Dashboard 資源提供者註冊 Azure 監視器工作區訂用帳戶。
AKS 叢集訂用帳戶中具有「User Access Administrator」角色的使用者，可以藉由部署範本，直接啟用 Monitoring Reader 角色。

注意

目前在 Bicep 中，無法明確界定 Azure 監視器工作區字串參數「resource ID」上 Monitoring Reader 角色指派的範圍，例如 ARM 範本中。 Bicep 預期為 resource | tenant 類型的值。 Azure 監視器工作區也沒有 REST API 規格。

因此，Monitoring Reader 角色的預設範圍是在資源群組上。角色會套用在相同的 Azure 監視器工作區上，這是預期的行為。部署此 Bicep 範本之後，會將 Grafana 執行個體授與該資源群組中所有 Azure 監視器工作區 Monitoring Reader 權限。

擷取 Grafana 資源的必要值

如果 Azure 受控 Grafana 執行個體已連結至 Azure 監視器工作區，則必須將此列表包含在範本中。在 Azure 入口網站中 Azure 受控 Grafana 執行個體的概觀頁面上，選取 [JSON 檢視]，然後複製 azureMonitorWorkspaceIntegrations 的值，如下所示。如果不存在，則執行個體尚未與任何 Azure 監視器工作區連結。

"properties": {
    "grafanaIntegrations": {
        "azureMonitorWorkspaceIntegrations": [
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_1"
            },
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_2"
            }
        ]
    }
}

下載和編輯範本和參數檔案

下載您所使用 Kubernetes 叢集類型所需的檔案。

AKS 叢集 ARM
- 範本檔案：https://aka.ms/azureprometheus-enable-arm-template
- 參數檔案：https://aka.ms/azureprometheus-enable-arm-template-parameters
AKS 叢集
- 範本檔案：https://aka.ms/azureprometheus-enable-bicep-template
- 參數檔案：https://aka.ms/azureprometheus-enable-bicep-template-parameters
- DCRA 模組：https://aka.ms/nested_azuremonitormetrics_dcra_clusterResourceId
- 設定檔案模組：https://aka.ms/nested_azuremonitormetrics_profile_clusterResourceId
- Azure 受控 Grafana 角色指派模組：https://aka.ms/nested_grafana_amw_role_assignment
已啟用 Arc 的叢集 ARM
- 範本檔案：https://aka.ms/azureprometheus-arc-arm-template
- 參數檔案：https://aka.ms/azureprometheus-arc-arm-template-parameters

在參數檔案中編輯下列值。 ARM 和 Bicep 範本都使用同一組值。從 JSON 檢視中擷取資源的資源識別碼概觀頁面。

參數	值
`azureMonitorWorkspaceResourceId`	Azure 監視器工作區的資源識別碼。從 Azure 監視器工作區 [概觀] 頁面上的 [JSON 檢視] 擷取。
`azureMonitorWorkspaceLocation`	Azure 監視器工作區的位置。從 Azure 監視器工作區 [概觀] 頁面上的 [JSON 檢視] 擷取。
`clusterResourceId`	AKS 叢集的資源識別碼。從叢集 [概觀] 頁面上的 [JSON 檢視] 擷取。
`clusterLocation`	AKS 叢集的位置。從叢集 [概觀] 頁面上的 [JSON 檢視] 擷取。
`metricLabelsAllowlist`	Kubernetes 標籤索引碼的逗號分隔清單，要在資源的標籤計量中使用。
`metricAnnotationsAllowList`	更多 Kubernetes 標籤索引碼的逗號分隔清單，將在資源的批注計量中使用。
`grafanaResourceId`	受控 Grafana 執行個體的資源識別碼。從 Grafana 執行個體 [概觀] 頁面上的 [JSON 檢視] 擷取。
`grafanaLocation`	受控 Grafana 執行個體的位置。從 Grafana 執行個體 [概觀] 頁面上的 [JSON 檢視] 擷取。
`grafanaSku`	受控 Grafana 執行個體的 SKU。從 Grafana 執行個體 [概觀] 頁面上的 [JSON 檢視] 擷取。使用 sku.name。

開啟範本檔案，並使用您從 Grafana 執行個體擷取的值，更新 grafanaIntegrations 檔案結尾處的屬性。這看起來會類似以下範例。在這些樣本中，full_resource_id_1 和 full_resource_id_2 已在 Azure 受控 Grafana 資源 JSON 中。最後的 azureMonitorWorkspaceResourceId 項目已經在範本中，用來連結至參數檔案中提供的 Azure 監視器工作區資源識別碼。

ARM

{
    "type": "Microsoft.Dashboard/grafana",
    "apiVersion": "2022-08-01",
    "name": "[split(parameters('grafanaResourceId'),'/')[8]]",
    "sku": {
        "name": "[parameters('grafanaSku')]"
    },
    "location": "[parameters('grafanaLocation')]",
    "properties": {
        "grafanaIntegrations": {
        "azureMonitorWorkspaceIntegrations": [
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_1"
            },
            {
                "azureMonitorWorkspaceResourceId": "full_resource_id_2"
            },
            {
                "azureMonitorWorkspaceResourceId": "[parameters('azureMonitorWorkspaceResourceId')]"
            }
        ]
        }
    }
}

Bicep

    resource grafanaResourceId_8 'Microsoft.Dashboard/grafana@2022-08-01' = {
        name: split(grafanaResourceId, '/')[8]
        sku: {
            name: grafanaSku
        }
        identity: {
            type: 'SystemAssigned'
        }
        location: grafanaLocation
        properties: {
            grafanaIntegrations: {
                azureMonitorWorkspaceIntegrations: [
                    {
                        azureMonitorWorkspaceResourceId: 'full_resource_id_1'
                    }
                    {
                        azureMonitorWorkspaceResourceId: 'full_resource_id_2'
                    }
                    {
                        azureMonitorWorkspaceResourceId: azureMonitorWorkspaceResourceId
                    }
                ]
            }
        }
    }

使用任何有效的方法來部署 Resource Manager 範本，以參數檔案部署範本。如需不同方法的範例，請參閱部署樣本範本。

使用 Terraform 啟用

必要條件

必須已建立 Azure 監視器工作區和 Azure 受控 Grafana 工作區。
範本必須部署在 Azure 受控 Grafana 工作區所在的資源群組。
AKS 叢集訂用帳戶中具有「使用者存取系統管理員」角色的使用者，可以藉由部署範本，直接啟用監視讀取者角色。
如果 Azure 受控 Grafana 執行個體位於 Azure 監視器工作區訂用帳戶以外的訂用帳戶中，請遵循本文件，向 Microsoft.Dashboard 資源提供者註冊 Azure 監視器工作區訂用帳戶。

擷取 Grafana 資源的必要值

在 Azure 入口網站中 Azure 受控 Grafana 執行個體的 [概觀] 頁面，選取 [JSON 檢視]。

如果您使用連結至 Azure 監視器工作區的現有 Azure 受控 Grafana 執行個體，則需要 Grafana 整合清單。複製 azureMonitorWorkspaceIntegrations 欄位的值。如果不存在，執行個體尚未與任何 Azure 監視器工作區連結。使用 grafana 整合清單更新 main.tf 中的 azure_monitor_workspace_integrations 區塊。

  azure_monitor_workspace_integrations {
    resource_id  = var.monitor_workspace_id[var.monitor_workspace_id1, var.monitor_workspace_id2]
  }

下載並編輯範本

如果您要使用已啟用 Managed Prometheus 附加元件的 Terraform 來部署新的 AKS 叢集，請遵循下列步驟：

下載 AddonTerraformTemplate 底下的所有檔案。
使用正確的參數值編輯 variables.tf 檔案中的變數。
執行 terraform init -upgrade 來初始化 Terraform 部署。
執行 terraform plan -out main.tfplan 來初始化 Terraform 部署。
執行 terraform apply main.tfplan 將執行計畫套用至您的雲端基礎結構。

注意：只有在這些值存在時，才會在 main.tf 中傳遞 annotations_allowed 和 labels_allowed 索引鍵的變數。這些是選擇性區塊。

注意

在執行 terraform 範本之前，請先適當地編輯 main.tf 檔案。在執行範本之前，將任何現有的 azure_monitor_workspace_integrations 值新增至 grafana 資源。否則，較舊的值會遭到刪除，並取代為部署期間範本中的內容。 AKS 叢集訂用帳戶中具有「使用者存取系統管理員」角色的使用者，可以藉由部署範本，直接啟用「監視讀取者」角色。如果您使用非標準 SKU，請編輯 grafanaSku 參數，最後在 Grafana 資源的資源群組中執行此範本。

使用 Azure 原則啟用

下載 Azure 原則的範本檔案和參數檔案。
- 範本檔案：https://aka.ms/AddonPolicyMetricsProfile
- 參數檔案：https://aka.ms/AddonPolicyMetricsProfile.parameters
使用下列 CLI 命令建立原則定義：

az policy definition create --name "Prometheus Metrics addon" --display-name "Prometheus Metrics addon" --mode Indexed --metadata version=1.0.0 category=Kubernetes --rules AddonPolicyMetricsProfile.rules.json --params AddonPolicyMetricsProfile.parameters.json
建立原則定義之後，請在 Azure 入口網站中，選取 [原則]再來是 [定義]。選取您建立的原則定義。
選取 [指派]，然後填入 [參數] 索引標籤的詳細資料。選取 [檢閱 + 建立]。
如果您想要將原則套用至現有的叢集，請從原則指派為該叢集資源建立補救工作。

將原則指派給訂用帳戶之後，每當您建立未啟用 Prometheus 的新叢集時，原則就會執行並部署以啟用 Prometheus 監視。

啟用容器深入解析

使用下列其中一種方法，在您的叢集上啟用容器深入解析。完成之後，請參閱設定容器深入解析的代理程序資料收集來自訂設定，以確保您不會收集比所需的更多資料。

使用下列其中一個命令來監視 AKS 和已啟用 Arc 的叢集。如果您未指定現有的 Log Analytics 工作區，則會使用資源群組的預設工作區。若叢集區域中還沒有預設工作區，則會使用格式為 DefaultWorkspace-<GUID>-<Region> 的名稱建立一個工作區。

必要條件

Azure CLI 版本 2.43.0 版或更新版本
CLI 2.49.0 版或更高版本中預設有受控識別驗證。
Azure k8s 延伸版本 1.3.7 版或更新版本
受控識別驗證在 k8s-extension 1.43.0 版或更高版本中為預設。
已啟用 Arc 的 Kubernetes 叢集不支援使用 ARO(Azure Red Hat Openshift) 或 Windows 節點的受控識別驗證。使用舊版驗證。
針對 CLI 2.54.0 版或更新版本，記錄結構描述將會使用 ConfigMap 設定為 ContainerLogV2。

注意

您可以使用叢集的資料收集規則 (DCR) 或 ConfigMap，為叢集啟用 ContainerLogV2 結構描述。如果啟用這兩個設定，則 ConfigMap 會優先使用。當 DCR 和 ConfigMap 明確設定為關閉時，Stdout 和 stderr 記錄只會內嵌至 ContainerLog 表格。

AKS cluster

### Use default Log Analytics workspace
az aks enable-addons --addon monitoring --name <cluster-name> --resource-group <cluster-resource-group-name>

### Use existing Log Analytics workspace
az aks enable-addons --addon monitoring --name <cluster-name> --resource-group <cluster-resource-group-name> --workspace-resource-id <workspace-resource-id>

### Use legacy authentication
az aks enable-addons --addon monitoring --name <cluster-name> --resource-group <cluster-resource-group-name> --workspace-resource-id <workspace-resource-id> --enable-msi-auth-for-monitoring false

範例

az aks enable-addons --addon monitoring --name "my-cluster" --resource-group "my-resource-group" --workspace-resource-id "/subscriptions/my-subscription/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace"

已啟用 Arc 的叢集

### Use default Log Analytics workspace
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers

### Use existing Log Analytics workspace
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings logAnalyticsWorkspaceResourceID=<workspace-resource-id>

### Use managed identity authentication (default as k8s-extension version 1.43.0)
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.useAADAuth=true

### Use advanced configuration settings
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings  amalogs.resources.daemonset.limits.cpu=150m amalogs.resources.daemonset.limits.memory=600Mi amalogs.resources.deployment.limits.cpu=1 amalogs.resources.deployment.limits.memory=750Mi

### With custom mount path for container stdout & stderr logs
### Custom mount path not required for Azure Stack Edge version > 2318. Custom mount path must be /home/data/docker for Azure Stack Edge cluster with version <= 2318
az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.logsettings.custommountpath=<customMountPath>

檢視 Helm 圖表的資源要求和限制區段，以取得可用的組態設定。

範例

az k8s-extension create --name azuremonitor-containers --cluster-name "my-cluster" --resource-group "my-resource-group" --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings logAnalyticsWorkspaceResourceID="/subscriptions/my-subscription/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace"

具有正向 Proxy 的已啟用 Arc 的叢集

如果已將叢集設為正向 Proxy，則 Proxy 設定會自動套用至延伸模組。如果是具有 AMPLS + Proxy 的叢集，應該忽略 Proxy 設定。使用組態設定 amalogs.ignoreExtensionProxySettings=true 將延伸模組上線。

az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.ignoreExtensionProxySettings=true

具有 ARO 或 OpenShift 或 Windows 節點的已啟用 Arc 的叢集

已啟用 Arc 的 Kubernetes 叢集不支援使用 ARO (Azure Red Hat OpenShift) 或 OpenShift 或 Windows 節點的受控識別驗證。藉由指定 amalogs.useAADAuth=false 來使用舊版驗證，如下列範例所示。

az k8s-extension create --name azuremonitor-containers --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --extension-type Microsoft.AzureMonitor.Containers --configuration-settings amalogs.useAADAuth=false

刪除延伸模組執行個體

下列命令只會刪除延伸模組執行個體，但不會刪除 Log Analytics 工作區。 Log Analytics 資源內的資料會保持不變。

az k8s-extension delete --name azuremonitor-containers --cluster-type connectedClusters --cluster-name <cluster-name> --resource-group <resource-group>

本節提供 ARM 和 Bicep 範本。

必要條件

必須將範本部署在與叢集相同的資源群組中。

下載並安裝範本

下載和編輯範本和參數檔案

AKS 叢集 ARM
- 範本檔案：https://aka.ms/aks-enable-monitoring-msi-onboarding-template-file
- 參數檔案：https://aka.ms/aks-enable-monitoring-msi-onboarding-template-parameter-file
AKS 叢集
- 範本檔案 (Syslog)：https://aka.ms/enable-monitoring-msi-syslog-bicep-template
- 參數檔案 (無 Syslog)：https://aka.ms/enable-monitoring-msi-syslog-bicep-parameters
- 範本檔案 (無 Syslog)：https://aka.ms/enable-monitoring-msi-bicep-template
- 參數檔案 (無 Syslog)：https://aka.ms/enable-monitoring-msi-bicep-parameters
已啟用 Arc 的叢集 ARM
- 範本檔案：https://aka.ms/arc-k8s-azmon-extension-msi-arm-template
- 參數檔案：https://aka.ms/arc-k8s-azmon-extension-msi-arm-template-params
- 範本檔案 (舊版驗證)：https://aka.ms/arc-k8s-azmon-extension-arm-template
- 參數檔案 (舊版驗證)：https://aka.ms/arc-k8s-azmon-extension-arm-template-params

在參數檔案中編輯下列值。 ARM 和 Bicep 範本都使用同一組值。從 JSON 檢視中擷取資源的資源識別碼概觀頁面。

參數	描述
AKS: `aksResourceId` Arc: `clusterResourceId`	叢集的資源識別碼。
AKS: `aksResourceLocation` Arc: `clusterRegion`	叢集的位置。
AKS: `workspaceResourceId` Arc: `workspaceResourceId`	Log Analytics 工作區的資源識別碼。
Arc: `workspaceRegion`	Log Analytics 工作區的區域。
Arc: `workspaceDomain`	Log Analytics 工作區的網域。 Azure 公用雲端的 `opinsights.azure.com` AzureUSGovernment 的 `opinsights.azure.us`。
AKS: `resourceTagValues`	叢集與 DCR 名稱其現有容器深入解析延伸模組資料收集規則 (DCR) 所指定的現有標記值。該名稱將會是 `MSCI-<clusterName>-<clusterRegion>`，而且此資源會在 AKS 叢集資源群組中建立。第一次上線時可以設定任意標籤值。

使用任何有效的方法來部署 Resource Manager 範本，以參數檔案部署範本。如需不同方法的範例，請參閱部署樣本範本。

新的 AKS 叢集

視您是否要啟用 Syslog 集合，下載 Terraform 範本檔案。

Syslog
- https://aka.ms/enable-monitoring-msi-syslog-terraform
無 Syslog
- https://aka.ms/enable-monitoring-msi-terraform
根據您的叢集設定，調整 main.tf 中的 azurerm_kubernetes_cluster 資源。

更新 variables.tf 中的參數，以取代「<>」中的值

參數	描述
`aks_resource_group_name`	針對資源群組，使用 AKS 概觀頁面中的值。
`resource_group_location`	針對資源群組，使用 AKS 概觀頁面中的值。
`cluster_name`	定義您想要建立的叢集名稱。
`workspace_resource_id`	使用 Log Analytics 工作區的資源識別碼。
`workspace_region`	使用 Log Analytics 工作區的位置。
`resource_tag_values`	比對為叢集與 DCR 名稱其現有 Container insights 延伸模組資料收集規則 (DCR) 所指定的現有標記值。名稱會比對 `MSCI-<clusterName>-<clusterRegion>`，且此資源會建立在與 AKS 叢集相同的資源群組中。第一次上線時，您可以設定任意標籤值。
`enabledContainerLogV2`	將此參數值設定為 true，以使用預設建議的 ContainerLogV2。
成本最佳化參數	請參閱資料收集參數

執行 terraform init -upgrade 來初始化 Terraform 部署。
執行 terraform plan -out main.tfplan 來初始化 Terraform 部署。
執行 terraform apply main.tfplan 將執行計畫套用至您的雲端基礎結構。

現有 AKS 叢集

使用命令先匯入現有的叢集資源： terraform import azurerm_kubernetes_cluster.k8s <aksResourceId>

將 oms_agent 附加元件設定檔新增至現有的 azurerm_kubernetes_cluster 資源。

oms_agent {
    log_analytics_workspace_id = var.workspace_resource_id
    msi_auth_for_monitoring_enabled = true
  }

從 Terraform 範本複製 DCR 和 DCRA 資源
執行 terraform plan -out main.tfplan，並確定變更正在新增 oms_agent 屬性。注意：如果在 terraform 方案期間定義的 azurerm_kubernetes_cluster 資源不同，現有的叢集將會終結並重新建立。
執行 terraform apply main.tfplan 將執行計畫套用至您的雲端基礎結構。

提示

在執行 terraform 範本之前，請先適當地編輯 main.tf 檔案
資料會在 10 分鐘後開始流動，因為叢集必須先準備好
WorkspaceID 必須符合格式 /subscriptions/12345678-1234-9876-4563-123456789012/resourceGroups/example-resource-group/providers/Microsoft.OperationalInsights/workspaces/workspaceValue
如果資源群組已經存在，請在 terraform 計劃之前執行 terraform import azurerm_resource_group.rg /subscriptions/<Subscription_ID>/resourceGroups/<Resource_Group_Name>

Azure 入口網站

從 Azure 入口網站中 [原則] 功能表的 [定義] 索引標籤，使用下列詳細資料建立原則定義。
- 定義位置：應儲存原則定義的 Azure 訂用帳戶。
- 名稱：AKS 監視附加元件
- 描述：Azure 自訂原則可讓 Azure Kubernetes 叢集使用監視附加元件。
- 類別：接著 [使用現有項目]，然後從下拉式清單中選取 [Kubernetes]。
- 原則規則：將現有的範例 JSON 取代為 https://aka.ms/aks-enable-monitoring-custom-policy 的內容。
AKS 監視附加元件選取新的原則定義。
選取 [指派]，並指定應指派原則的 [範圍]。
選取 [下一步]，並提供 Log Analytics 工作區的資源識別碼。
若要將原則套用至所選範圍內的現有 AKS 叢集，請建立補救工作。
選取 [檢閱 + 建立] 以建立原則指派。

Azure CLI

下載 Azure 原則的範本檔案和參數檔案。
- 範本檔案：https://aka.ms/enable-monitoring-msi-azure-policy-template
- 參數檔案：https://aka.ms/enable-monitoring-msi-azure-policy-parameters

使用下列 CLI 命令建立原則定義：

az policy definition create --name "AKS-Monitoring-Addon-MSI" --display-name "AKS-Monitoring-Addon-MSI" --mode Indexed --metadata version=1.0.0 category=Kubernetes --rules azure-policy.rules.json --params azure-policy.parameters.json

使用下列 CLI 命令建立原則定義：

az policy assignment create --name aks-monitoring-addon --policy "AKS-Monitoring-Addon-MSI" --assign-identity --identity-scope /subscriptions/<subscriptionId> --role Contributor --scope /subscriptions/<subscriptionId> --location <location> --role Contributor --scope /subscriptions/<subscriptionId> -p "{ \"workspaceResourceId\": { \"value\":  \"/subscriptions/<subscriptionId>/resourcegroups/<resourceGroupName>/providers/microsoft.operationalinsights/workspaces/<workspaceName>\" } }"

將原則指派給訂用帳戶之後，每當您建立未啟用 Prometheus 的新叢集時，原則就會執行並部署以啟用 Prometheus 監視。

使用 Azure 入口網站啟用完整監視

新的 AKS 叢集 (Prometheus、容器深入解析和 Grafana)

當您在 Azure 入口網站中建立新的 AKS 叢集時，您可以從 [監視] 索引標籤啟用 Prometheus、容器深入解析和 Grafana。請務必檢查 [啟用容器記錄]、[啟用 Prometheus 計量]，以及 [啟用 Grafana] 核取方塊。

現有 AKS 叢集 (Prometheus、容器深入解析和 Grafana)

在 Azure 入口網站中瀏覽至您的 AKS 叢集。
在服務功能表中的 [監視] 底下，選取 [深入解析]>[設定監視]。
容器深入解析已啟用。選取 [啟用 Prometheus 計量] 和 [啟用 Grafana] 核取方塊。如果您有現有的 Azure 監視器工作區和 Grafana 工作區，則會為您選取。
如果您要選取替代工作區或建立新的工作區，請選取 [進階設定]。 [成本預設值] 設定可讓您修改預設集合詳細資料，以降低監視成本。如需詳細資訊，請參閱在容器深入解析中啟用成本最佳化設定。
選取設定。

現有叢集 (僅限 Prometheus)

在 Azure 入口網站中瀏覽至您的 AKS 叢集。
在服務功能表中的 [監視] 底下，選取 [深入解析]>[設定監視]。
選取 [啟用 Prometheus 計量] 核取方塊。
如果您要選取替代工作區或建立新的工作區，請選取 [進階設定]。 [成本預設值] 設定可讓您修改預設集合詳細資料，以降低監視成本。
選取設定。

啟用 Windows 計量集合 (預覽)

注意

windows-exporter-daemonset.yaml 中沒有 CPU/儲存體限制，因此可能會過度佈建 Windows 節點
如需詳細資訊，請參閱資源保留

當您部署工作負載時，請設定容器的資源儲存體和 CPU 限制。這也會從 NodeAllocatable 減去，並協助全叢集排程器判斷要放置於哪些節點上的 Pod。排程沒有限制的 Pod 可能會過度佈建 Windows 節點，而且在極端情況下可能會導致節點變成狀況不良。

自 6.4.0-main-02-22-2023-3ee44b9e 受控 Prometheus 附加元件容器 (prometheus_collector) 起，已針對 AKS 叢集啟用 Windows 計量集合。上線至 Azure 監視器計量附加元件可讓 Windows DaemonSet Pod 開始在節點集區上執行。 Windows Server 2019 和 Windows Server 2022 都有支援。請遵循下列步驟，讓 Pod 從您的 Windows 節點集區收集計量。

藉由部署 windows-exporter-daemonset YAML 檔案，在 AKS 節點上手動安裝 windows 匯出工具以存取 Windows 計量。啟用下列收集器：
- [defaults]
- container
- memory
- process
- cpu_info
如需更多收集器，請參閱 Windows 計量的 Prometheus 匯出工具。

部署 windows-exporter-daemonset YAML 檔案。請注意，如果節點中套用了任何污點，您必須套用適當的容忍。
```
    kubectl apply -f windows-exporter-daemonset.yaml
```
將 ama-metrics-settings-configmap 套用至您的叢集。將 windowsexporter 與 windowskubeproxy 布林值設定為 true。將 ama-metrics-settings-configmap 套用至您的叢集。
開啟立即可用儀表板所需的錄製規則：
- 如果使用 CLI 上線，請包含選項 --enable-windows-recording-rules。
- 如果使用 ARM 範本 Bicep 或 Azure 原則上線，請將 enableWindowsRecordingRules 設定為參數檔案中的 true。
- 如果叢集已上線，請使用此 ARM 範本和此參數檔案來建立規則群組。這會新增必要的錄製規則，不是叢集上的 ARM 作業，而且不會影響叢集目前的監視狀態。

驗證部署

使用 kubectl 命令行工具來確認代理程式是否已正確部署。

Managed Prometheus

確認 DaemonSet 已正確部署於 Linux 節點集區

kubectl get ds ama-metrics-node --namespace=kube-system

Pod 的數目應該等於叢集上的 Linux 節點數目。輸出應類似下列範例：

User@aksuser:~$ kubectl get ds ama-metrics-node --namespace=kube-system
NAME               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-metrics-node   1         1         1       1            1           <none>          10h

確認已正確部署 Windows 節點

kubectl get ds ama-metrics-win-node --namespace=kube-system

Pod 的數目應該等於叢集上的 Windows 節點數目。輸出應類似下列範例：

User@aksuser:~$ kubectl get ds ama-metrics-node --namespace=kube-system
NAME                   DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-metrics-win-node   3         3         3       3            3           <none>          10h

確認已針對 Prometheus 部署兩個 ReplicaSet

kubectl get rs --namespace=kube-system

輸出應類似下列範例：

User@aksuser:~$kubectl get rs --namespace=kube-system
NAME                            DESIRED   CURRENT   READY   AGE
ama-metrics-5c974985b8          1         1         1       11h
ama-metrics-ksm-5fcf8dffcd      1         1         1       11h

容器深入解析

確認 DaemonSet 已正確部署於 Linux 節點集區

kubectl get ds ama-logs --namespace=kube-system

Pod 的數目應該等於叢集上的 Linux 節點數目。輸出應類似下列範例：

User@aksuser:~$ kubectl get ds ama-logs --namespace=kube-system
NAME       DESIRED   CURRENT   READY     UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ama-logs   2         2         2         2            2           <none>          1d

確認已正確部署 Windows 節點

kubectl get ds ama-logs-windows --namespace=kube-system

Pod 的數目應該等於叢集上的 Windows 節點數目。輸出應類似下列範例：

User@aksuser:~$ kubectl get ds ama-logs-windows --namespace=kube-system
NAME                   DESIRED   CURRENT   READY     UP-TO-DATE   AVAILABLE   NODE SELECTOR     AGE
ama-logs-windows           2         2         2         2            2       <none>            1d

確認容器深入解析解決方案的部署

kubectl get deployment ama-logs-rs --namespace=kube-system

輸出應類似下列範例：

User@aksuser:~$ kubectl get deployment ama-logs-rs --namespace=kube-system
NAME          READY   UP-TO-DATE   AVAILABLE   AGE
ama-logs-rs   1/1     1            1           24d

使用 CLI 來檢視設定

使用 aks show 命令來了解解決方案已啟用、Log Analytics 工作區資源識別碼，以及叢集的摘要資訊。

az aks show --resource-group <resourceGroupofAKSCluster> --name <nameofAksCluster>

此命令會傳回解決方案的 JSON 格式資訊。 addonProfiles 區段應包含 omsagent 的相關資訊，如下列範例所示：

"addonProfiles": {
    "omsagent": {
        "config": {
            "logAnalyticsWorkspaceResourceID": "/subscriptions/00000000-0000-0000-0000-000000000000/resourcegroups/my-resource-group/providers/microsoft.operationalinsights/workspaces/my-workspace",
            "useAADAuth": "true"
        },
        "enabled": true,
        "identity": null
    },
}

已佈建的資源

當您按下啟用監視時，您的訂用帳戶中會建立下列資源：

資源名稱	資源類型	資源群組	區域/位置	描述
`MSCI-<aksclusterregion>-<clustername>`	資料收集規則	與叢集相同	與 Log Analytics 工作區相同	此資料收集規則適用於 Azure 監視器代理程式的記錄收集，此代理程式會使用 Log Analytics 工作區作為目的地，且與 AKS 叢集資源相關聯。
`MSPROM-<aksclusterregion>-<clustername>`	資料收集規則	與叢集相同	與 Azure 監視器工作區相同	此資料收集規則適用於計量附加元件所收集的 Prometheus 計量，其已選擇的 Azure 監視器工作區作為目的地，也會與 AKS 叢集資源相關聯
`MSPROM-<aksclusterregion>-<clustername>`	資料收集端點	與叢集相同	與 Azure 監視器工作區相同	上述資料收集規則會使用此資料收集端點，從計量附加元件擷取 Prometheus 計量

當您建立新的 Azure 監視器工作區時，會將下列其他資源建立為其中的一部分

資源名稱	資源類型	資源群組	區域/位置	描述
`<azuremonitor-workspace-name>`	資料收集規則	MA_<azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	與 Azure 監視器工作區相同	當您使用 OSS Prometheus 伺服器遠端寫入至 Azure 監視器工作區時所建立的 DCR。
`<azuremonitor-workspace-name>`	資料收集端點	MA_<azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	與 Azure 監視器工作區相同	當您使用 OSS Prometheus 伺服器遠端寫入至 Azure 監視器工作區時所建立的 DCE。

Windows 叢集與 Linux 叢集之間的差異

監視 Windows Server 叢集和 Linux 叢集的主要差異包括：

Windows 沒有記憶體 RSS 計量。因此，不適用於 Windows 節點和容器。工作集計量可供使用。
磁碟儲存體容量資訊不適用於 Windows 節點。
只會監視 Pod 環境，不監視 Docker 環境。
預覽版本最多支援 30 個 Windows Server 容器。 Linux 容器無此限制。

注意

Windows Server 2022 作業系統的容器深入解析支援現供預覽。

容器化 Linux 代理程式 (ReplicaSet Pod) 對叢集內 Kubelet 安全連接埠 (10250) 上的所有 Windows 節點進行 API 呼叫，以收集節點和容器效能相關計量。 Kubelet 安全連接埠 (:10250) 應該已在叢集的虛擬網路中開啟，Windows 節點和容器效能相關計量收集的輸入和輸出才能正常運作。

如果您有包含 Windows 節點的 Kubernetes 叢集，請檢閱並設定網路安全性群組和網路原則，確定已針對叢集虛擬網路中的輸入和輸出開啟 Kubelet 安全連接埠 (:10250)。

下一步

若您在嘗試將解決方案上線時遇到問題，請檢閱疑難排解指南。
在啟用監視以收集 AKS 叢集及其上所執行工作負載的健康情況和資源使用率後，請了解如何使用容器深入解析。

共用方式為

啟用 Kubernetes 叢集的監視

支援的叢集

必要條件

工作區

啟用 Prometheus 和 Grafana

使用 CLI 啟用

必要條件

AKS cluster

已啟用 Arc 的叢集

啟用容器深入解析

必要條件

AKS cluster

已啟用 Arc 的叢集

使用 Azure 入口網站啟用完整監視

新的 AKS 叢集 (Prometheus、容器深入解析和 Grafana)

現有 AKS 叢集 (Prometheus、容器深入解析和 Grafana)

現有叢集 (僅限 Prometheus)

啟用 Windows 計量集合 (預覽)

驗證部署

Managed Prometheus

容器深入解析

已佈建的資源

Windows 叢集與 Linux 叢集之間的差異

下一步

意見反應

其他資源