Nejčastější dotazy k profilaci GPU pro Azure Kubernetes Service (AKS) (Preview)

Získejte odpovědi na nejčastější dotazy týkající se monitorování integrací a úložiště profilů pro profilaci GPU na Azure Kubernetes Service (AKS). Než začnete, nastavte profilaci GPU.

Monitorování integrací

Jak připojím vlastní instanci Promethea k Inspektor Gadget?

Pokud místo spravované služby Azure Monitor pro Prometheus používáte vlastní instanci Promethea, nakonfigurujte ji tak, aby sbírala metriky z podů Inspektor Gadget.

Inspektor Gadget zpřístupňuje své metriky na následujícím koncovém bodu:

Setting	Value
Namespace	gadget
Port	2224
Path	/metrics

Přidejte do konfigurace Promethea scrape job, který bude vyhledávat pody a sbírat z nich metriky:

Tip

Pro nasazení Prometheus Operatoru vytvořte objekt PodMonitor se stejným oborem názvů, selektorem štítků, portem a cestou k metrikám.

scrape_configs:
  - job_name: "inspektor-gadget"
    kubernetes_sd_configs:
      - role: pod
        namespaces:
          names:
            - gadget
    relabel_configs:
      # Only keep pods with the k8s-app=gadget label.
      - source_labels: [__meta_kubernetes_pod_label_k8s_app]
        action: keep
        regex: gadget

      # Set the metrics path.
      - target_label: __metrics_path__
        replacement: /metrics

      # Set the metrics port.
      - source_labels: [__address__]
        action: replace
        regex: ([^:]+)(?::\d+)?
        replacement: $1:2224
        target_label: __address__

Ověřte připojení v uživatelském rozhraní Promethea v části Stav>. Úloha inspektor-gadget by měla mít jako cíl UP.

Jak mohu vizualizovat metriky Inspektor Gadget ve vlastní instanci nástroje Grafana?

Ujistěte se, že je vaše instance Prometheus připojená k Grafana jako zdroj dat. Potom importujte řídicí panel Inspektor Gadget z následující definice JSON:

https://raw.githubusercontent.com/inspektor-gadget/grafana-dashboards/refs/heads/main/dashboards/gpu-observability/AdvancedGPUObservability.json

Úložiště profilů

Jak mohu použít Azure Blob Storage jako backend pro Pyroscope?

Ve výchozím nastavení nasazení Pyroscope v článku o nastavení profilace GPU ukládá profily do místního systému souborů. Při opětovném vytvoření podu dojde ke ztrátě dat profilace. Pokud chcete zachovat profily, nakonfigurujte Pyroscope tak, aby používal Azure Blob Storage s ID úloh Microsoft Entra.

Export požadovaných proměnných:

export RESOURCE_GROUP="<your-resource-group>"
export AKS_CLUSTER="<your-aks-cluster-name>"
export LOCATION="<your-aks-cluster-location>"
export BLOB_STORAGE_NAME="<your-storage-account-name>"

export BLOB_STORAGE_CONTAINER="pyroscope-blob-storage"
export PYROSCOPE_IDENTITY="pyroscope-id"
export PYROSCOPE_SERVICE_ACCOUNT="pyroscope-sa"
export PYROSCOPE_FEDERATED_CREDS="pyroscope-federated-creds"

Vytvoření účtu úložiště a kontejneru

az storage account create \
  --name "$BLOB_STORAGE_NAME" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --sku Standard_ZRS \
  --kind StorageV2 \
  --min-tls-version TLS1_2 \
  --allow-blob-public-access false \
  --output none

az storage container create \
  --name "$BLOB_STORAGE_CONTAINER" \
  --account-name "$BLOB_STORAGE_NAME" \
  --auth-mode login \
  --output none

Vytvoření spravované identity a udělení přístupu k účtu úložiště

az identity create \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --output none

IDENTITY_CLIENT_ID=$(az identity show \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'clientId' \
  --output tsv)

SUBSCRIPTION_ID=$(az account show --query id --output tsv)

# Restrict the role assignment scope to the storage account.
STORAGE_SCOPE="/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RESOURCE_GROUP}/providers/Microsoft.Storage/storageAccounts/${BLOB_STORAGE_NAME}"

az role assignment create \
  --assignee "$IDENTITY_CLIENT_ID" \
  --role "Storage Blob Data Contributor" \
  --scope "$STORAGE_SCOPE" \
  --output none

Povolení identity úloh a vytvoření federovaných přihlašovacích údajů

az aks update \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --enable-oidc-issuer \
  --enable-workload-identity \
  --output none

OIDC_ISSUER=$(az aks show \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'oidcIssuerProfile.issuerUrl' \
  --output tsv)

az identity federated-credential create \
  --name "$PYROSCOPE_FEDERATED_CREDS" \
  --identity-name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --issuer "$OIDC_ISSUER" \
  --subject "system:serviceaccount:gadget:${PYROSCOPE_SERVICE_ACCOUNT}" \
  --audiences "api://AzureADTokenExchange" \
  --output none

Important

Název účtu služby v předmětu federovaných přihlašovacích údajů se musí shodovat s názvem účtu služby používaným verzí Pyroscope Helm. V opačném případě se Pyroscope nemůže ověřit v Azure Blob Storage.

Nasazení Pyroscopeu pomocí back-endu Azure Blob Storage

Místo příkazu Helm v části Povolení vizualizace profilů pomocí Pyroscope spusťte následující příkaz. Tato konfigurace používá Azure Blob Storage, vytvoří účet služby a povolí identitu úloh na podu Pyroscope.

helm install pyroscope -n gadget \
  oci://ghcr.io/grafana/helm-charts/pyroscope \
  --version 1.15.0 \
  --set pyroscope.image.repository=grafana/pyroscope \
  --set-string pyroscope.image.tag=1.15.0 \
  --set pyroscope.replicaCount=1 \
  --set pyroscope.structuredConfig.self_profiling.disable_push=true \
  --set pyroscope.structuredConfig.storage.backend=azure \
  --set-string pyroscope.structuredConfig.storage.azure.account_name="$BLOB_STORAGE_NAME" \
  --set-string pyroscope.structuredConfig.storage.azure.container_name="$BLOB_STORAGE_CONTAINER" \
  --set pyroscope.serviceAccount.create=true \
  --set-string pyroscope.serviceAccount.name="$PYROSCOPE_SERVICE_ACCOUNT" \
  --set-string pyroscope.serviceAccount.annotations."azure\.workload\.identity/client-id"="$IDENTITY_CLIENT_ID" \
  --set-string pyroscope.podLabels."azure\.workload\.identity/use"=true \
  --set pyroscope.service.type=LoadBalancer \
  --set pyroscope.service.port=4040 \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-load-balancer-internal"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-create"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-name"=pyroscope-pls \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-proxy-protocol"=false \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-visibility"='*' \
  --set alloy.enabled=false \
  --set minio.enabled=false

Ověřte, že je pod spuštěný:

kubectl get pods -n gadget pyroscope-0

Pokračujte v připojení Pyroscope k Azure Managed Grafana.

Note

Klíče hodnot Helmu se můžou mezi verzemi grafu měnit. Pokud chcete potvrdit dostupné klíče pro vaši verzi, spusťte helm show values oci://ghcr.io/grafana/helm-charts/pyroscope --version 1.15.0příkaz .

Získejte odpovědi na nejčastější dotazy týkající se monitorování integrací a úložiště profilů pro profilaci GPU na Azure Kubernetes Service (AKS). Než začnete, nastavte profilaci GPU.

Pokud místo spravované služby Azure Monitor pro Prometheus používáte vlastní instanci Promethea, nakonfigurujte ji tak, aby sbírala metriky z podů Inspektor Gadget.

Inspektor Gadget zpřístupňuje své metriky na následujícím koncovém bodu:

Setting	Value
Namespace	gadget
Port	2224
Path	/metrics

Přidejte do konfigurace Promethea scrape job, který bude vyhledávat pody a sbírat z nich metriky:

Tip

Pro nasazení Prometheus Operatoru vytvořte objekt PodMonitor se stejným oborem názvů, selektorem štítků, portem a cestou k metrikám.

scrape_configs:
  - job_name: "inspektor-gadget"
    kubernetes_sd_configs:
      - role: pod
        namespaces:
          names:
            - gadget
    relabel_configs:
      # Only keep pods with the k8s-app=gadget label.
      - source_labels: [__meta_kubernetes_pod_label_k8s_app]
        action: keep
        regex: gadget

      # Set the metrics path.
      - target_label: __metrics_path__
        replacement: /metrics

      # Set the metrics port.
      - source_labels: [__address__]
        action: replace
        regex: ([^:]+)(?::\d+)?
        replacement: $1:2224
        target_label: __address__

Ověřte připojení v uživatelském rozhraní Promethea v části Stav>. Úloha inspektor-gadget by měla mít jako cíl UP.

Ujistěte se, že je vaše instance Prometheus připojená k Grafana jako zdroj dat. Potom importujte řídicí panel Inspektor Gadget z následující definice JSON:

https://raw.githubusercontent.com/inspektor-gadget/grafana-dashboards/refs/heads/main/dashboards/gpu-observability/AdvancedGPUObservability.json

Ve výchozím nastavení nasazení Pyroscope v článku o nastavení profilace GPU ukládá profily do místního systému souborů. Při opětovném vytvoření podu dojde ke ztrátě dat profilace. Pokud chcete zachovat profily, nakonfigurujte Pyroscope tak, aby používal Azure Blob Storage s ID úloh Microsoft Entra.

Export požadovaných proměnných:

export RESOURCE_GROUP="<your-resource-group>"
export AKS_CLUSTER="<your-aks-cluster-name>"
export LOCATION="<your-aks-cluster-location>"
export BLOB_STORAGE_NAME="<your-storage-account-name>"

export BLOB_STORAGE_CONTAINER="pyroscope-blob-storage"
export PYROSCOPE_IDENTITY="pyroscope-id"
export PYROSCOPE_SERVICE_ACCOUNT="pyroscope-sa"
export PYROSCOPE_FEDERATED_CREDS="pyroscope-federated-creds"

Vytvoření účtu úložiště a kontejneru

az storage account create \
  --name "$BLOB_STORAGE_NAME" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --sku Standard_ZRS \
  --kind StorageV2 \
  --min-tls-version TLS1_2 \
  --allow-blob-public-access false \
  --output none

az storage container create \
  --name "$BLOB_STORAGE_CONTAINER" \
  --account-name "$BLOB_STORAGE_NAME" \
  --auth-mode login \
  --output none

Vytvoření spravované identity a udělení přístupu k účtu úložiště

az identity create \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --output none

IDENTITY_CLIENT_ID=$(az identity show \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'clientId' \
  --output tsv)

SUBSCRIPTION_ID=$(az account show --query id --output tsv)

# Restrict the role assignment scope to the storage account.
STORAGE_SCOPE="/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RESOURCE_GROUP}/providers/Microsoft.Storage/storageAccounts/${BLOB_STORAGE_NAME}"

az role assignment create \
  --assignee "$IDENTITY_CLIENT_ID" \
  --role "Storage Blob Data Contributor" \
  --scope "$STORAGE_SCOPE" \
  --output none

Povolení identity úloh a vytvoření federovaných přihlašovacích údajů

az aks update \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --enable-oidc-issuer \
  --enable-workload-identity \
  --output none

OIDC_ISSUER=$(az aks show \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'oidcIssuerProfile.issuerUrl' \
  --output tsv)

az identity federated-credential create \
  --name "$PYROSCOPE_FEDERATED_CREDS" \
  --identity-name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --issuer "$OIDC_ISSUER" \
  --subject "system:serviceaccount:gadget:${PYROSCOPE_SERVICE_ACCOUNT}" \
  --audiences "api://AzureADTokenExchange" \
  --output none

Important

Název účtu služby v předmětu federovaných přihlašovacích údajů se musí shodovat s názvem účtu služby používaným verzí Pyroscope Helm. V opačném případě se Pyroscope nemůže ověřit v Azure Blob Storage.

Nasazení Pyroscopeu pomocí back-endu Azure Blob Storage

Místo příkazu Helm v části Povolení vizualizace profilů pomocí Pyroscope spusťte následující příkaz. Tato konfigurace používá Azure Blob Storage, vytvoří účet služby a povolí identitu úloh na podu Pyroscope.

helm install pyroscope -n gadget \
  oci://ghcr.io/grafana/helm-charts/pyroscope \
  --version 1.15.0 \
  --set pyroscope.image.repository=grafana/pyroscope \
  --set-string pyroscope.image.tag=1.15.0 \
  --set pyroscope.replicaCount=1 \
  --set pyroscope.structuredConfig.self_profiling.disable_push=true \
  --set pyroscope.structuredConfig.storage.backend=azure \
  --set-string pyroscope.structuredConfig.storage.azure.account_name="$BLOB_STORAGE_NAME" \
  --set-string pyroscope.structuredConfig.storage.azure.container_name="$BLOB_STORAGE_CONTAINER" \
  --set pyroscope.serviceAccount.create=true \
  --set-string pyroscope.serviceAccount.name="$PYROSCOPE_SERVICE_ACCOUNT" \
  --set-string pyroscope.serviceAccount.annotations."azure\.workload\.identity/client-id"="$IDENTITY_CLIENT_ID" \
  --set-string pyroscope.podLabels."azure\.workload\.identity/use"=true \
  --set pyroscope.service.type=LoadBalancer \
  --set pyroscope.service.port=4040 \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-load-balancer-internal"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-create"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-name"=pyroscope-pls \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-proxy-protocol"=false \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-visibility"='*' \
  --set alloy.enabled=false \
  --set minio.enabled=false

Ověřte, že je pod spuštěný:

kubectl get pods -n gadget pyroscope-0

Pokračujte v připojení Pyroscope k Azure Managed Grafana.

Note

Klíče hodnot Helmu se můžou mezi verzemi grafu měnit. Pokud chcete potvrdit dostupné klíče pro vaši verzi, spusťte helm show values oci://ghcr.io/grafana/helm-charts/pyroscope --version 1.15.0příkaz .