GPU-profilozás – gyakori kérdések az Azure Kubernetes Service-hez (AKS) (előzetes verzió)

Válaszokat kaphat az integrációk monitorozásával és a GPU-profilkészítéshez szükséges profiltárolással kapcsolatos gyakori kérdésekre a Azure Kubernetes Service (AKS). Mielőtt hozzákezdene, állítsa be a GPU-profilkészítést.

Integrációk monitorozása

Hogyan csatlakoztathatom a saját Prometheus-példányomat az Inspektor Minialkalmazáshoz?

Ha az Azure Monitor Prometheushoz készült felügyelt szolgáltatása helyett saját Prometheus-példányt futtat, úgy konfigurálja, hogy begyűjtse a metrikákat az Inspektor Gadget podjaiból.

Az Inspektor Gadget a következő végponton teszi elérhetővé a metrikákat:

Setting	Value
Namespace	gadget
Port	2224
Path	/metrics

Adjon hozzá egy kaparós feladatot a Prometheus-konfigurációhoz a podok felderítéséhez és lekaparásához:

Tip

A Prometheus Operator-telepítésekhez hozzon létre egy PodMonitor elemet azonos névtérrel, címkeválasztóval, porttal és metrikaelérési úttal.

scrape_configs:
  - job_name: "inspektor-gadget"
    kubernetes_sd_configs:
      - role: pod
        namespaces:
          names:
            - gadget
    relabel_configs:
      # Only keep pods with the k8s-app=gadget label.
      - source_labels: [__meta_kubernetes_pod_label_k8s_app]
        action: keep
        regex: gadget

      # Set the metrics path.
      - target_label: __metrics_path__
        replacement: /metrics

      # Set the metrics port.
      - source_labels: [__address__]
        action: replace
        regex: ([^:]+)(?::\d+)?
        replacement: $1:2224
        target_label: __address__

Ellenőrizze a Kapcsolatot a Prometheus felhasználói felületén azÁllapotcélok> területen. A inspektor-gadget feladatnak UP-ként kell megjelenítenie a célértéket.

Hogyan jeleníthetem meg az Inspektor Gadget metrikákat a saját Grafana-példányomban?

Győződjön meg arról, hogy a Prometheus-példány adatforrásként csatlakozik a Grafana-hoz. Ezután importálja az Inspektor Gadget irányítópultot a következő JSON-definícióból:

https://raw.githubusercontent.com/inspektor-gadget/grafana-dashboards/refs/heads/main/dashboards/gpu-observability/AdvancedGPUObservability.json

Profiltároló

Hogyan használhatom a Azure Blob Storage a Pyroscope háttérrendszereként?

Alapértelmezés szerint a Pyroscope-telepítés a GPU-profilkészítés beállítási cikkében tárolja a profilokat a helyi fájlrendszerben. A profilkészítési adatok elvesznek, ha a pod újra létrejön. A profilok tartós tárolásához konfigurálja a Pyroscope-ot úgy, hogy az Azure Blob Storage-ot használja Microsoft Entra Számítási feladat ID használatával.

Exportálja a szükséges változókat:

export RESOURCE_GROUP="<your-resource-group>"
export AKS_CLUSTER="<your-aks-cluster-name>"
export LOCATION="<your-aks-cluster-location>"
export BLOB_STORAGE_NAME="<your-storage-account-name>"

export BLOB_STORAGE_CONTAINER="pyroscope-blob-storage"
export PYROSCOPE_IDENTITY="pyroscope-id"
export PYROSCOPE_SERVICE_ACCOUNT="pyroscope-sa"
export PYROSCOPE_FEDERATED_CREDS="pyroscope-federated-creds"

A tárfiók és a tároló létrehozása

az storage account create \
  --name "$BLOB_STORAGE_NAME" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --sku Standard_ZRS \
  --kind StorageV2 \
  --min-tls-version TLS1_2 \
  --allow-blob-public-access false \
  --output none

az storage container create \
  --name "$BLOB_STORAGE_CONTAINER" \
  --account-name "$BLOB_STORAGE_NAME" \
  --auth-mode login \
  --output none

Felügyelt identitás létrehozása és hozzáférés biztosítása a tárfiókhoz

az identity create \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --output none

IDENTITY_CLIENT_ID=$(az identity show \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'clientId' \
  --output tsv)

SUBSCRIPTION_ID=$(az account show --query id --output tsv)

# Restrict the role assignment scope to the storage account.
STORAGE_SCOPE="/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RESOURCE_GROUP}/providers/Microsoft.Storage/storageAccounts/${BLOB_STORAGE_NAME}"

az role assignment create \
  --assignee "$IDENTITY_CLIENT_ID" \
  --role "Storage Blob Data Contributor" \
  --scope "$STORAGE_SCOPE" \
  --output none

Számítási feladatok identitásának engedélyezése és összevont hitelesítő adatok létrehozása

az aks update \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --enable-oidc-issuer \
  --enable-workload-identity \
  --output none

OIDC_ISSUER=$(az aks show \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'oidcIssuerProfile.issuerUrl' \
  --output tsv)

az identity federated-credential create \
  --name "$PYROSCOPE_FEDERATED_CREDS" \
  --identity-name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --issuer "$OIDC_ISSUER" \
  --subject "system:serviceaccount:gadget:${PYROSCOPE_SERVICE_ACCOUNT}" \
  --audiences "api://AzureADTokenExchange" \
  --output none

Important

A federált hitelesítő adat tárgyában szereplő szolgáltatásfiók nevének meg kell egyeznie a Pyroscope Helm-kiadás által használt szolgáltatásfiók nevével. Ellenkező esetben a Pyroscope nem tud hitelesíteni az Azure Blob Storage-hoz.

Pyroscope üzembe helyezése a Azure Blob Storage háttérrendszerrel

A Profilvizualizáció engedélyezése Pyroscope használatával parancs helyett futtassa a következő parancsot. Ez a konfiguráció Azure Blob Storage használ, létrehozza a szolgáltatásfiókot, és engedélyezi a számítási feladatok identitását a Pyroscope podon.

helm install pyroscope -n gadget \
  oci://ghcr.io/grafana/helm-charts/pyroscope \
  --version 1.15.0 \
  --set pyroscope.image.repository=grafana/pyroscope \
  --set-string pyroscope.image.tag=1.15.0 \
  --set pyroscope.replicaCount=1 \
  --set pyroscope.structuredConfig.self_profiling.disable_push=true \
  --set pyroscope.structuredConfig.storage.backend=azure \
  --set-string pyroscope.structuredConfig.storage.azure.account_name="$BLOB_STORAGE_NAME" \
  --set-string pyroscope.structuredConfig.storage.azure.container_name="$BLOB_STORAGE_CONTAINER" \
  --set pyroscope.serviceAccount.create=true \
  --set-string pyroscope.serviceAccount.name="$PYROSCOPE_SERVICE_ACCOUNT" \
  --set-string pyroscope.serviceAccount.annotations."azure\.workload\.identity/client-id"="$IDENTITY_CLIENT_ID" \
  --set-string pyroscope.podLabels."azure\.workload\.identity/use"=true \
  --set pyroscope.service.type=LoadBalancer \
  --set pyroscope.service.port=4040 \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-load-balancer-internal"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-create"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-name"=pyroscope-pls \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-proxy-protocol"=false \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-visibility"='*' \
  --set alloy.enabled=false \
  --set minio.enabled=false

Ellenőrizze, hogy fut-e a pod:

kubectl get pods -n gadget pyroscope-0

Folytassa a következővel: Pyroscope csatlakoztatása az Azure Managed Grafanához.

Megjegyzés:

A Helm-értékkulcsok a diagramverziók között változhatnak. A verzióhoz elérhető kulcsok megerősítéséhez futtassa a következőt helm show values oci://ghcr.io/grafana/helm-charts/pyroscope --version 1.15.0: .

Válaszokat kaphat az integrációk monitorozásával és a GPU-profilkészítéshez szükséges profiltárolással kapcsolatos gyakori kérdésekre a Azure Kubernetes Service (AKS). Mielőtt hozzákezdene, állítsa be a GPU-profilkészítést.

Ha az Azure Monitor Prometheushoz készült felügyelt szolgáltatása helyett saját Prometheus-példányt futtat, úgy konfigurálja, hogy begyűjtse a metrikákat az Inspektor Gadget podjaiból.

Az Inspektor Gadget a következő végponton teszi elérhetővé a metrikákat:

Setting	Value
Namespace	gadget
Port	2224
Path	/metrics

Adjon hozzá egy kaparós feladatot a Prometheus-konfigurációhoz a podok felderítéséhez és lekaparásához:

Tip

A Prometheus Operator-telepítésekhez hozzon létre egy PodMonitor elemet azonos névtérrel, címkeválasztóval, porttal és metrikaelérési úttal.

scrape_configs:
  - job_name: "inspektor-gadget"
    kubernetes_sd_configs:
      - role: pod
        namespaces:
          names:
            - gadget
    relabel_configs:
      # Only keep pods with the k8s-app=gadget label.
      - source_labels: [__meta_kubernetes_pod_label_k8s_app]
        action: keep
        regex: gadget

      # Set the metrics path.
      - target_label: __metrics_path__
        replacement: /metrics

      # Set the metrics port.
      - source_labels: [__address__]
        action: replace
        regex: ([^:]+)(?::\d+)?
        replacement: $1:2224
        target_label: __address__

Ellenőrizze a Kapcsolatot a Prometheus felhasználói felületén azÁllapotcélok> területen. A inspektor-gadget feladatnak UP-ként kell megjelenítenie a célértéket.

Győződjön meg arról, hogy a Prometheus-példány adatforrásként csatlakozik a Grafana-hoz. Ezután importálja az Inspektor Gadget irányítópultot a következő JSON-definícióból:

https://raw.githubusercontent.com/inspektor-gadget/grafana-dashboards/refs/heads/main/dashboards/gpu-observability/AdvancedGPUObservability.json

Alapértelmezés szerint a Pyroscope-telepítés a GPU-profilkészítés beállítási cikkében tárolja a profilokat a helyi fájlrendszerben. A profilkészítési adatok elvesznek, ha a pod újra létrejön. A profilok tartós tárolásához konfigurálja a Pyroscope-ot úgy, hogy az Azure Blob Storage-ot használja Microsoft Entra Számítási feladat ID használatával.

Exportálja a szükséges változókat:

export RESOURCE_GROUP="<your-resource-group>"
export AKS_CLUSTER="<your-aks-cluster-name>"
export LOCATION="<your-aks-cluster-location>"
export BLOB_STORAGE_NAME="<your-storage-account-name>"

export BLOB_STORAGE_CONTAINER="pyroscope-blob-storage"
export PYROSCOPE_IDENTITY="pyroscope-id"
export PYROSCOPE_SERVICE_ACCOUNT="pyroscope-sa"
export PYROSCOPE_FEDERATED_CREDS="pyroscope-federated-creds"

A tárfiók és a tároló létrehozása

az storage account create \
  --name "$BLOB_STORAGE_NAME" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --sku Standard_ZRS \
  --kind StorageV2 \
  --min-tls-version TLS1_2 \
  --allow-blob-public-access false \
  --output none

az storage container create \
  --name "$BLOB_STORAGE_CONTAINER" \
  --account-name "$BLOB_STORAGE_NAME" \
  --auth-mode login \
  --output none

Felügyelt identitás létrehozása és hozzáférés biztosítása a tárfiókhoz

az identity create \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --location "$LOCATION" \
  --output none

IDENTITY_CLIENT_ID=$(az identity show \
  --name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'clientId' \
  --output tsv)

SUBSCRIPTION_ID=$(az account show --query id --output tsv)

# Restrict the role assignment scope to the storage account.
STORAGE_SCOPE="/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RESOURCE_GROUP}/providers/Microsoft.Storage/storageAccounts/${BLOB_STORAGE_NAME}"

az role assignment create \
  --assignee "$IDENTITY_CLIENT_ID" \
  --role "Storage Blob Data Contributor" \
  --scope "$STORAGE_SCOPE" \
  --output none

Számítási feladatok identitásának engedélyezése és összevont hitelesítő adatok létrehozása

az aks update \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --enable-oidc-issuer \
  --enable-workload-identity \
  --output none

OIDC_ISSUER=$(az aks show \
  --name "$AKS_CLUSTER" \
  --resource-group "$RESOURCE_GROUP" \
  --query 'oidcIssuerProfile.issuerUrl' \
  --output tsv)

az identity federated-credential create \
  --name "$PYROSCOPE_FEDERATED_CREDS" \
  --identity-name "$PYROSCOPE_IDENTITY" \
  --resource-group "$RESOURCE_GROUP" \
  --issuer "$OIDC_ISSUER" \
  --subject "system:serviceaccount:gadget:${PYROSCOPE_SERVICE_ACCOUNT}" \
  --audiences "api://AzureADTokenExchange" \
  --output none

Important

A federált hitelesítő adat tárgyában szereplő szolgáltatásfiók nevének meg kell egyeznie a Pyroscope Helm-kiadás által használt szolgáltatásfiók nevével. Ellenkező esetben a Pyroscope nem tud hitelesíteni az Azure Blob Storage-hoz.

Pyroscope üzembe helyezése a Azure Blob Storage háttérrendszerrel

A Profilvizualizáció engedélyezése Pyroscope használatával parancs helyett futtassa a következő parancsot. Ez a konfiguráció Azure Blob Storage használ, létrehozza a szolgáltatásfiókot, és engedélyezi a számítási feladatok identitását a Pyroscope podon.

helm install pyroscope -n gadget \
  oci://ghcr.io/grafana/helm-charts/pyroscope \
  --version 1.15.0 \
  --set pyroscope.image.repository=grafana/pyroscope \
  --set-string pyroscope.image.tag=1.15.0 \
  --set pyroscope.replicaCount=1 \
  --set pyroscope.structuredConfig.self_profiling.disable_push=true \
  --set pyroscope.structuredConfig.storage.backend=azure \
  --set-string pyroscope.structuredConfig.storage.azure.account_name="$BLOB_STORAGE_NAME" \
  --set-string pyroscope.structuredConfig.storage.azure.container_name="$BLOB_STORAGE_CONTAINER" \
  --set pyroscope.serviceAccount.create=true \
  --set-string pyroscope.serviceAccount.name="$PYROSCOPE_SERVICE_ACCOUNT" \
  --set-string pyroscope.serviceAccount.annotations."azure\.workload\.identity/client-id"="$IDENTITY_CLIENT_ID" \
  --set-string pyroscope.podLabels."azure\.workload\.identity/use"=true \
  --set pyroscope.service.type=LoadBalancer \
  --set pyroscope.service.port=4040 \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-load-balancer-internal"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-create"=true \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-name"=pyroscope-pls \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-proxy-protocol"=false \
  --set-string pyroscope.service.annotations."service\.beta\.kubernetes\.io/azure-pls-visibility"='*' \
  --set alloy.enabled=false \
  --set minio.enabled=false

Ellenőrizze, hogy fut-e a pod:

kubectl get pods -n gadget pyroscope-0

Folytassa a következővel: Pyroscope csatlakoztatása az Azure Managed Grafanához.

Megjegyzés:

A Helm-értékkulcsok a diagramverziók között változhatnak. A verzióhoz elérhető kulcsok megerősítéséhez futtassa a következőt helm show values oci://ghcr.io/grafana/helm-charts/pyroscope --version 1.15.0: .