設定 Azure Kubernetes Service 的容器網路可檢視性 - Azure 受控 Prometheus 和 Grafana

2025-06-06

本文說明如何使用受控 Prometheus 和 Grafana 和 BYO Prometheus 和 Grafana 設定 Azure Kubernetes Service 的容器網路可檢視性，以及可視化已擷取的計量

您可以使用容器網路可觀察性來收集 AKS 叢集網路流量的相關數據。其可啟用集中式平台以供監視應用程式和網路的健康情況。目前，計量會儲存在 Prometheus 中，並可使用 Grafana 來將計量視覺化。容器網路可觀察性也提供啟用 Hubble 的功能。 Cilium 和非 Cilium 叢集都支援這些功能。

容器網路可檢視性是進階容器網路服務的其中一項功能。如需 Azure Kubernetes Service (AKS) 進階容器網路服務的詳細資訊，請參閱什麼是 Azure Kubernetes Service (AKS) 進階容器網路服務？。

必要條件

具有有效訂用帳戶的 Azure 帳戶。如果您沒有 Azure 訂用帳戶，請在開始前建立免費帳戶。

在 Azure Cloud Shell 中使用 Bash 環境。如需詳細資訊，請參閱開始使用 Azure Cloud Shell。
若要在本地執行 CLI 參考命令，請安裝 Azure CLI。若您在 Windows 或 macOS 上執行，請考慮在 Docker 容器中執行 Azure CLI。如需詳細資訊，請參閱〈如何在 Docker 容器中執行 Azure CLI〉。
- 如果您使用的是本機安裝，請使用 az login 命令，透過 Azure CLI 來登入。請遵循您終端機上顯示的步驟，完成驗證程序。如需其他登入選項，請參閱使用 Azure CLI 向 Azure 進行驗證。
- 出現提示時，請在第一次使用時安裝 Azure CLI 延伸模組。如需擴充功能的詳細資訊，請參閱使用和管理 Azure CLI 的擴充功能。
- 執行 az version 以尋找已安裝的版本和相依程式庫。若要升級至最新版本，請執行 az upgrade。

本文步驟所需的 Azure CLI 最低版本為 2.56.0。執行 az --version 以尋找版本。如果您需要安裝或升級，請參閱安裝 Azure CLI。

啟用進階容器網路服務

若要繼續，您必須已啟用進階容器網路服務的 AKS 叢集。

具有 az aks create 進階容器網路服務旗標的 --enable-acns命令會建立具有所有進階容器網路服務功能的新 AKS 叢集。這些功能包括：

容器網路可檢視性： 提供網路流量的深入解析。若要深入瞭解，請造訪容器網路可觀察性。
容器網路安全性： 提供 FQDN 篩選等安全性功能。若要深入瞭解，請造訪容器網路安全性。

Cilium
非 Cilium

注意

具有 Cilium 數據平面的叢集支援從 Kubernetes 1.29 版開始的容器網路可檢視性和容器網路安全性。

# Set an environment variable for the AKS cluster name. Make sure to replace the placeholder with your own value.
export CLUSTER_NAME="<aks-cluster-name>"

# Create an AKS cluster
az aks create \
    --name $CLUSTER_NAME \
    --resource-group $RESOURCE_GROUP \
    --generate-ssh-keys \
    --location eastus \
    --max-pods 250 \
    --network-plugin azure \
    --network-plugin-mode overlay \
    --network-dataplane cilium \
    --node-count 2 \
    --pod-cidr 192.168.0.0/16 \
    --kubernetes-version 1.29 \
    --enable-acns

注意

非 cilium 叢集無法使用容器網路安全性功能

# Set an environment variable for the AKS cluster name. Make sure to replace the placeholder with your own value.
export CLUSTER_NAME="<aks-cluster-name>"

# Create an AKS cluster
az aks create \
    --name $CLUSTER_NAME \
    --resource-group $RESOURCE_GROUP \
    --generate-ssh-keys \
    --network-plugin azure \
    --network-plugin-mode overlay \
    --pod-cidr 192.168.0.0/16 \
    --enable-acns

在現有叢集上啟用進階容器網路服務

具有az aks update進階容器網路服務旗標的--enable-acns命令會使用所有進階容器網路服務功能來更新現有的 AKS 叢集，其中包括容器網路可檢視性和容器網路安全性功能。

注意

只有具有 Cilium 數據平面的叢集支援進階容器網路服務的容器網路安全性功能。

az aks update \
    --resource-group $RESOURCE_GROUP \
    --name $CLUSTER_NAME \
    --enable-acns

取得叢集認證

使用命令取得叢集認證 az aks get-credentials 之後。

az aks get-credentials --name $CLUSTER_NAME --resource-group $RESOURCE_GROUP

Azure 受控的 Prometheus 和 Grafana

如果使用 BYO Prometheus 和 Grafana，請略過本節

使用下列範例，為您的 AKS 叢集安裝並啟用 Prometheus 和 Grafana。

建立 Azure 監視器資源

#Set an environment variable for the Grafana name. Make sure to replace the placeholder with your own value.
export AZURE_MONITOR_NAME="<azure-monitor-name>"

# Create Azure monitor resource
az resource create \
    --resource-group $RESOURCE_GROUP \
    --namespace microsoft.monitor \
    --resource-type accounts \
    --name $AZURE_MONITOR_NAME \
    --location eastus \
    --properties '{}'

建立 Azure 受控 Grafana 實例

使用 az grafana create 建立 Grafana 執行個體。 Grafana 執行個體的名稱必須是唯一的。

# Set an environment variable for the Grafana name. Make sure to replace the placeholder with your own value.
export GRAFANA_NAME="<grafana-name>"

# Create Grafana instance
az grafana create \
    --name $GRAFANA_NAME \
    --resource-group $RESOURCE_GROUP

將 Azure 受控 Grafana 和 Azure 監視器資源識別碼放在變數中

使用 az grafana show 將 Grafana 資源識別碼放在變數中。使用 az resource show 將 Azure 監視器資源標識碼放在變數中。以 Grafana 執行個體名稱取代 myGrafana。

grafanaId=$(az grafana show \
                --name $GRAFANA_NAME \
                --resource-group $RESOURCE_GROUP \
                --query id \
                --output tsv)
azuremonitorId=$(az resource show \
                    --resource-group $RESOURCE_GROUP \
                    --name $AZURE_MONITOR_NAME \
                    --resource-type "Microsoft.Monitor/accounts" \
                    --query id \
                    --output tsv)

將 Azure 監視器和 Azure 受控 Grafana 連結至 AKS 叢集

使用 az aks update 將 Azure 監視器和 Grafana 資源連結至您的 AKS 叢集。

az aks update \
    --name $CLUSTER_NAME \
    --resource-group $RESOURCE_GROUP \
    --enable-azure-monitor-metrics \
    --azure-monitor-workspace-resource-id $azuremonitorId \
    --grafana-resource-id $grafanaId

視覺效果

使用 Azure 受控 Grafana 的視覺效果

如果使用 BYO Grafana，請略過此步驟

注意

由於大規模叢集會有高計量基數，系統預設不會擷取 hubble_flows_processed_total 計量。因此，「Pod 流向」儀表板會有遺漏資料的面板。若要啟用此計量並填入遺漏的數據，您必須修改 ama-metrics-settings-configmap。具體而言，請更新 default-targets-metrics-keep-list 區段。請遵循下列步驟來更新 configmap ：

獲取最新的 ama-metrics-settings-configmap。（https://github.com/Azure/prometheus-collector/blob/main/otelcollector/configmaps/ama-metrics-settings-configmap.yaml）
找出 networkobservabilityHubble = “”
將它變更為 networkobservabilityHubble = “hubble.*”
現在 Pod 流量指標應該會顯示出來。

若要深入瞭解最低限度擷取，請參閱最低限度擷取說明文件。

使用 kubectl get pods 命令確定 Azure 監視器 Pod 正在執行。

kubectl get pods -o wide -n kube-system | grep ama-

您的輸出看起來應類似下列的範例輸出：

ama-metrics-5bc6c6d948-zkgc9          2/2     Running   0 (21h ago)   26h
ama-metrics-ksm-556d86b5dc-2ndkv      1/1     Running   0 (26h ago)   26h
ama-metrics-node-lbwcj                2/2     Running   0 (21h ago)   26h
ama-metrics-node-rzkzn                2/2     Running   0 (21h ago)   26h
ama-metrics-win-node-gqnkw            2/2     Running   0 (26h ago)   26h
ama-metrics-win-node-tkrm8            2/2     Running   0 (26h ago)   26h

我們已建立範例儀表板。您可以在 [儀表板] > [Azure 受控 Prometheus] 資料夾下找到這些儀表板。其名稱類似 "Kubernetes / Networking / <name>"。儀表板套件中包含：
- 叢集：顯示叢集的節點層級計量。
- DNS (叢集)：顯示叢集或所選節點上的 DNS 計量。
- DNS (工作負載)：顯示指定工作負載的 DNS 計量 (例如 DaemonSet 或部署的 Pod，像是 CoreDNS)。
- 置放 (工作負載)：顯示指定工作負載為目的地/來源的置放 (例如部署或 DaemonSet 的 Pod)。
- Pod 流向 (命名空間)：顯示流入/流出指定命名空間的 L4/L7 封包 (即命名空間中的 Pod)。
- Pod 流向 (工作負載)：顯示流入/流出指定工作負載的 L4/L7 封包 (例如部署或 DaemonSet 的 Pod)。

使用 BYO Grafana 的視覺效果

如果使用 Azure 受控 Grafana，請略過此步驟

將下列抓取作業新增至現有的 Prometheus 設定，然後重新啟動 Prometheus 伺服器：

- job_name: networkobservability-hubble
  kubernetes_sd_configs:
    - role: pod
  relabel_configs:
    - target_label: cluster
      replacement: myAKSCluster
      action: replace
    - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_pod_label_k8s_app]
      regex: kube-system;(retina|cilium)
      action: keep
    - source_labels: [__address__]
      action: replace
      regex: ([^:]+)(?::\d+)?
      replacement: $1:9965
      target_label: __address__
    - source_labels: [__meta_kubernetes_pod_node_name]
      target_label: instance
      action: replace
  metric_relabel_configs:
    - source_labels: [__name__]
      regex: '|hubble_dns_queries_total|hubble_dns_responses_total|hubble_drop_total|hubble_tcp_flags_total' # if desired, add |hubble_flows_processed_total
      action: keep

在 Prometheus 的目標中，確認 network-obs-pods 是否存在。
登入 Grafana 並使用下列識別碼匯入下列範例儀表板：
- 叢集：顯示叢集的節點層級計量。 (識別碼：18814)
- DNS (叢集)：顯示叢集或所選節點上的 DNS 計量。(識別碼：20925)
- DNS (工作負載)：顯示指定工作負載的 DNS 計量 (例如 DaemonSet 或部署的 Pod，像是 CoreDNS)。 (識別碼：[20926] https://grafana.com/grafana/dashboards/20926-kubernetes-networking-dns-workload/)
- 置放 (工作負載)：顯示指定工作負載為目的地/來源的置放 (例如部署或 DaemonSet 的 Pod)。(識別碼：20927)。
- Pod 流向 (命名空間)：顯示流入/流出指定命名空間的 L4/L7 封包 (即命名空間中的 Pod)。 (識別碼：20928)
- Pod 流向 (工作負載)：顯示流入/流出指定工作負載的 L4/L7 封包 (例如部署或 DaemonSet 的 Pod)。(識別碼：20929)
注意
- 視您的 Prometheus/Grafana 執行個體設定而定，某些儀表板面板可能需要調整才能顯示所有資料。
- Cilium 目前不支援 DNS 計量/儀表板。

清除資源

如果您不打算使用此應用程式，請使用 az group delete 命令刪除您在本文所建立的其他資源。

  az group delete --name $RESOURCE_GROUP

下一步

在本操作說明文章中，您已瞭解如何安裝和啟用 AKS 叢集的容器網路可檢視性。

如需 Azure Kubernetes Service (AKS) 進階容器網路服務的詳細資訊，請參閱什麼是 Azure Kubernetes Service (AKS) 進階容器網路服務？。
如需容器網路安全性及其功能的詳細資訊，請參閱什麼是容器網路安全性？。