Az Azure Batch-készlet számítási csomópontjainak monitorozása az Azure Monitor Agenttel

Az Azure Batch-fiók platformmetrikái információkat nyújtanak a készletekről, csomópontokról, magokról, munkákról és feladatokról. A vendégoperációs rendszer teljesítményének, például CPU, memória, lemez és hálózati használat nyomon követéséhez telepítse az Azure Monitor Agentet (AMA) a pool számítási csomópontjaira.

Ez a cikk a következő lépéseket ismerteti:

  • Hozz létre egy Batch pool-ot felhasználó által kijelölt menedzselt identitással és AMA-val.
  • Hozz létre adatgyűjtési szabályt (DCR) Linux teljesítményszámlálókhoz és a Sysloghoz.
  • Kapcsold a DCR-t a Batch pool erőforráshoz.
  • Ellenőrizze az adatokat a Log Analyticsben és az Azure Monitor Metricsben.

A példák Azure CLI-t és Linux poolt használnak. Ugyanez az architektúra támogatja a Windows poolokat a Windows AMA kiterjesztéssel és a Windows adatforrásokkal.

Important

A Batch pool számítási csomópontok AMA-val való monitorozása csak olyan Batch fiókok számára támogatott, amelyek felhasználói előfizetéses pool allokációs módot használnak. A Batch szolgáltatás pool allokációs módban a számítási csomópontokat Batch által kezelt előfizetésekben hoznak létre, amelyekhez az ügyfelek nem férhetnek hozzá.

Hogyan működik a csomópont-megfigyelés

Egy felügyelt Batch pool a következő erőforrásokat használja:

  • Egy Batch fiók felhasználói előfizetési pool allokációs módban.
  • Egy Batch pool, amelynek a felhasználó által kijelölt menedzselt identitása van.
  • Az Azure Monitor Agent bővítmény telepítve a pool létrehozásakor.
  • Egy DCR, amely meghatározza az összegyűjtendő adatokat és a célállomásokat.
  • Egy DCR asszociáció, amelynek célja a Batch pool Azure Resource Manager erőforrás.
  • Egy Log Analytics munkaterület log adatokhoz, és opcionálisan Azure Monitor Metrics-t vendég metrikákhoz.

Társítsa a DCR-t a Batch-készlet erőforrás-azonosítójához:

/subscriptions/<subscription-id>/resourceGroups/<resource-group>/
providers/Microsoft.Batch/batchAccounts/<batch-account>/pools/<pool-name>

Ne csak a Batch által létrehozott virtuális gép méretkészlethez társítsd a DCR-t. A Batch kezeli ennek a skálázási készletnek az életciklusát. Amikor egy pool nulla csomópontra skálázódik, a Batch törölheti a skálázási készletet, és egy újabb méretezés során létrehozhat.

Log Analytics rekordok megőrzik a Batch által létrehozott számítási erőforrás erőforrás azonosítóját. A vendégmutatók elérhetők a jelenlegi Batch által létrehozott virtuális gép skálázási készleten a azure.vm.linux.guestmetrics Linux névterében, vagy a Virtual Machine Guest (Windows) névtérben Windows esetében.

Prerequisites

Mielőtt hozzákezdene, a következőkre van szüksége:

Hozd létre a DCR-t, a Log Analytics munkaterületet és a Batch pool-ot ugyanabban az Azure régióban. Ha a pool virtuális hálózatot használ, amelynek kimenő hozzáférése korlátozott, tekintse át az Azure Monitor Agent hálózati követelményeit.

Tip

A kiterjesztésekkel rendelkező medencéknek Virtual Machine Configuration funkciót kell használniuk. Nem lehet bővítőket hozzáadni egy meglévő poolhoz. Az AMA hozzáadásához, eltávolításához vagy frissítéséhez hozz létre egy új poolt. További információért lásd: Használj bővítményeket Batch pool-okkal.

Környezeti változók beállítása

Állíts be változókat az erőforrásaidhoz. Cserélje le a helyőrző értékeket.

subscriptionId="<subscription-id>"
resourceGroup="<resource-group>"
location="<location>"
batchAccount="<batch-account-name>"
poolName="<pool-name>"
workspaceName="<log-analytics-workspace-name>"
identityName="<managed-identity-name>"
dcrName="<data-collection-rule-name>"

az account set --subscription "$subscriptionId"

identityId=$(az identity show \
  --resource-group "$resourceGroup" \
  --name "$identityName" \
  --query id \
  --output tsv)

workspaceId=$(az monitor log-analytics workspace show \
  --resource-group "$resourceGroup" \
  --workspace-name "$workspaceName" \
  --query id \
  --output tsv)

batchAccountId="/subscriptions/$subscriptionId/resourceGroups/$resourceGroup/providers/Microsoft.Batch/batchAccounts/$batchAccount"
poolResourceId="$batchAccountId/pools/$poolName"
dcrId="/subscriptions/$subscriptionId/resourceGroups/$resourceGroup/providers/Microsoft.Insights/dataCollectionRules/$dcrName"

Adatgyűjtési szabály létrehozása

A következő adatgyűjtési szabály (DCR) 60 másodpercenként gyűjti a gyakori Linux teljesítményszámlálókat. A számlálókat elküldi mind a Log Analytics Perf táblájába, mind az Azure Monitor Metricsbe. Emellett figyelmeztető és magasabb súlyosságú Syslog rekordokat küld a Log Analytics-nek.

Az Azure Monitor Metrics a vendég teljesítményszámlálók célhelyeként előzetes verzióban érhető el. A jelenlegi korlátozásokért lásd: Collect performance counters with Azure Monitor Agent.

Hozz létre egy fájlt dcr.jsonnéven. Cserélje le a <location> és a <workspace-resource-id> elemeket a saját értékeire.

{
  "location": "<location>",
  "kind": "Linux",
  "properties": {
    "dataSources": {
      "performanceCounters": [
        {
          "name": "batchNodePerformance",
          "streams": [
            "Microsoft-Perf",
            "Microsoft-InsightsMetrics"
          ],
          "samplingFrequencyInSeconds": 60,
          "counterSpecifiers": [
            "\\Processor(*)\\% Processor Time",
            "\\Processor(*)\\% User Time",
            "\\Processor(*)\\% Privileged Time",
            "\\Processor(*)\\% Idle Time",
            "\\Memory\\% Available Memory",
            "\\Memory\\Used Memory MBytes",
            "\\Memory\\% Used Memory",
            "\\Logical Disk(*)\\% Free Space",
            "\\Logical Disk(*)\\Free Megabytes",
            "\\Logical Disk(*)\\Disk Reads/sec",
            "\\Logical Disk(*)\\Disk Writes/sec",
            "\\Logical Disk(*)\\Disk Read Bytes/sec",
            "\\Logical Disk(*)\\Disk Write Bytes/sec",
            "\\Network(*)\\Total Bytes Transmitted",
            "\\Network(*)\\Total Bytes Received",
            "\\Network(*)\\Total Bytes",
            "\\System\\Uptime"
          ]
        }
      ],
      "syslog": [
        {
          "name": "batchNodeSyslog",
          "streams": [
            "Microsoft-Syslog"
          ],
          "facilityNames": [
            "auth",
            "authpriv",
            "cron",
            "daemon",
            "kern",
            "syslog",
            "user"
          ],
          "logLevels": [
            "Warning",
            "Error",
            "Critical",
            "Alert",
            "Emergency"
          ]
        }
      ]
    },
    "destinations": {
      "logAnalytics": [
        {
          "name": "batchMonitorWorkspace",
          "workspaceResourceId": "<workspace-resource-id>"
        }
      ],
      "azureMonitorMetrics": {
        "name": "azureMonitorMetrics-default"
      }
    },
    "dataFlows": [
      {
        "streams": [
          "Microsoft-Perf"
        ],
        "destinations": [
          "batchMonitorWorkspace"
        ]
      },
      {
        "streams": [
          "Microsoft-InsightsMetrics"
        ],
        "destinations": [
          "azureMonitorMetrics-default"
        ]
      },
      {
        "streams": [
          "Microsoft-Syslog"
        ],
        "destinations": [
          "batchMonitorWorkspace"
        ]
      }
    ]
  }
}

A DCR létrehozása vagy frissítése:

az rest \
  --method put \
  --url "https://management.azure.com${dcrId}?api-version=2022-06-01" \
  --body @dcr.json

A számlálók kiválasztásáról és a felvételi költségek szabályozásáról információért lásd: Teljesítményszámlálók gyűjtése Azure Monitor Agent-szel.

Készítsen készletet az Azure Monitor Agenttel

Hozz létre egy fájlt pool.jsonnéven. A következő példa az Ubuntu 22.04-et használja, és telepíti a Linux AMA kiterjesztést. Cserélje le a(z) <pool-name> elemet a(z) $poolName értékére, és cserélje le a(z) <managed-identity-resource-id> elemet a(z) $identityId értékére.

{
  "name": "<pool-name>",
  "type": "Microsoft.Batch/batchAccounts/pools",
  "identity": {
    "type": "UserAssigned",
    "userAssignedIdentities": {
      "<managed-identity-resource-id>": {}
    }
  },
  "properties": {
    "vmSize": "STANDARD_D2S_V3",
    "taskSlotsPerNode": 1,
    "taskSchedulingPolicy": {
      "nodeFillType": "Pack"
    },
    "deploymentConfiguration": {
      "virtualMachineConfiguration": {
        "imageReference": {
          "publisher": "canonical",
          "offer": "0001-com-ubuntu-server-jammy",
          "sku": "22_04-lts",
          "version": "latest"
        },
        "nodeAgentSkuId": "batch.node.ubuntu 22.04",
        "extensions": [
          {
            "name": "AzureMonitorAgent",
            "publisher": "Microsoft.Azure.Monitor",
            "type": "AzureMonitorLinuxAgent",
            "typeHandlerVersion": "1.0",
            "autoUpgradeMinorVersion": true,
            "enableAutomaticUpgrade": true,
            "settings": {
              "authentication": {
                "managedIdentity": {
                  "identifier-name": "mi_res_id",
                  "identifier-value": "<managed-identity-resource-id>"
                }
              }
            }
          }
        ]
      }
    },
    "scaleSettings": {
      "fixedScale": {
        "targetDedicatedNodes": 1,
        "targetLowPriorityNodes": 0,
        "resizeTimeout": "PT15M"
      }
    }
  }
}

Hozza létre a készletet a Batch felügyeleti API használatával:

az rest \
  --method put \
  --url "https://management.azure.com${poolResourceId}?api-version=2024-07-01" \
  --body @pool.json

Windows poolhoz használd:

  • Kiterjesztés típusa AzureMonitorWindowsAgent.
  • Egy Windows-rendszerkép és egy kompatibilis Batch-csomópontügynök SKU.
  • Egy Windows DCR, amelyben a(z) kind beállítása Windows.
  • Windows teljesítményszámlálókat, és szükség esetén Windows eseménygyűjtést a Syslog helyett.

Ne használj egyetlen DCR-t sem a Windows, mind a Linux számlálókhoz. Egyes számlálónevek ugyanarra a metrikára oldódhatnak fel, és duplikált adatgyűjtést okozhatnak.

Társítsuk a DCR-t a Batch poolhoz

Hozza létre az asszociációt a Batch pool erőforráson:

az monitor data-collection rule association create \
  --name "batch-pool-monitoring" \
  --resource "$poolResourceId" \
  --rule-id "$dcrId"

Erősítse meg az összefüggést:

az monitor data-collection rule association list \
  --resource "$poolResourceId" \
  --output table

Az asszociáció a medencén marad, amikor a csomópontokat eltávolítják vagy pótolják. Ne cseréld le olyan asszociációval, amely csak a jelenlegi Batch által létrehozott virtuális gép skálázási halmazt célozza meg.

Ellenőrizze az ügynököt és a naplógyűjtést

Várj akár öt percet a csomópont tétlen állapota után az első rekordok megérkezésére.

Ellenőrizd az ügynök szívverését

Futtasd le a következő lekérdezést a Log Analytics munkaterületen:

Heartbeat
| where TimeGenerated > ago(30m)
| summarize
    Samples = count(),
    FirstSeen = min(TimeGenerated),
    LastSeen = max(TimeGenerated),
    AgentVersion = any(Version)
    by Computer, _ResourceId

Egy operatív ügynök általában percenként egy szívverést küld.

Teljesítményszámlálók ellenőrzése

Perf
| where TimeGenerated > ago(30m)
| summarize
    Samples = count(),
    Average = avg(CounterValue),
    P95 = percentile(CounterValue, 95),
    Maximum = max(CounterValue)
    by Computer, ObjectName, CounterName, InstanceName
| order by ObjectName asc, CounterName asc

A Linux rendszer logikai lemezszámlálói több csatlakoztatásipont-példányt tartalmaznak. Szűrj a(z) InstanceName alapján diagramok vagy riasztások létrehozásakor, hogy a csak olvasható és az ideiglenes csatlakoztatások ne torzítsák az eredményt.

Ellenőrizd a Syslog

Syslog
| where TimeGenerated > ago(30m)
| project
    TimeGenerated,
    Computer,
    Facility,
    SeverityLevel,
    ProcessName,
    SyslogMessage,
    _ResourceId
| order by TimeGenerated desc

Tekintse meg a vendégmutatókat

Ha a DCR a streamet az Azure Monitor Metrics célállomására küldiMicrosoft-InsightsMetrics, a vendégmetrikák jelennek meg a jelenlegi Batch által létrehozott virtuális gép skálázási készleten.

  1. Az Azure portálban nyisd meg a Batch által létrehozott virtuális gép skálázási készletet a poolhoz.
  2. Válassza a Metrikák lehetőséget.
  3. A Metric Namespace esetén válaszd a azure.vm.linux.guestmetrics lehetőséget Linuxhoz, vagy a Virtual Machine Guest (Windows) lehetőséget Windowshoz.
  4. Válassz egy metrikát és aggregációt.

A jelenlegi számítási erőforrás azonosítót a legfrissebb Perf rekordok alapján találhatod:

Perf
| where TimeGenerated > ago(30m)
| summarize arg_max(TimeGenerated, _ResourceId) by Computer

Note

Amikor egy pool nulla csomópontra skálázódik, a Batch törölheti a háttérben lévő virtuális gép méretezési készletét. A vendégmetrikus erőforrás nem elérhető, amíg a skálakészlet nem létezik. A Log Analytics által már összegyűjtött adatok a munkaterület megtartási beállításai szerint továbbra is elérhetők maradnak.

A Batch-platform metrikáinak monitorozása csomópontadatokkal

A csomópont vendégadatai kiegészítik az automatikusan összegyűjtött Batch fiókplatform mutatókat. Használd mindkét forrást:

  • A szolgáltatás és az ütemezés állapotának figyelésére használja az olyan Batch-fiókmetrikákat, mint például a TotalNodeCount, RunningNodeCount, IdleNodeCount, UnusableNodeCount, TaskStartEvent és TaskCompleteEvent.
  • Használj vendégteljesítményszámlálókat a CPU, memória, lemez- és hálózati állapotok vizsgálatára a számítási csomópontokon.
  • Használd a Batch szolgáltatásnaplókat, hogy összekapcsold a pool, a feladat és a feladat életciklus eseményeit a csomópontok viselkedésével.

Metrikai definíciókért és aggregációs útmutatásért lásd: Azure Batch monitoring adathivatkozás és Monitor Azure Batch.

Adatgyűjtés hibaelhárítása

Alkalmazza az alábbi ellenőrzéseket, amikor nem érkezik meg az adat:

Jelenség Ellenőrzések
Nincs szívverés Győződj meg arról, hogy az AMA-bővítmény sikeresen üzembe lett helyezve, a felhasználó által hozzárendelt identitás hozzá van rendelve a készlethez, és a bővítmény beállításai hivatkoznak rá, valamint hogy a szükséges Azure Monitor-végpontok elérhetők.
Az AMA jelentése szerint az erőforrás nincs DCR-hez kötve Erősítsd meg, hogy a DCR assszociáció a Batch pool resource ID-t célozza meg. Egy asszociáció, amely csak a háttér virtuális gép skálán található, nem helyettesíti a pool assosiációt.
Megérkezik a szívverés, de Perf üres Győződjön meg róla, hogy ez Microsoft-Perf megtalálható mind a teljesítményszámláló adatforrásban, mind egy olyan adatfolyamban, amely a Log Analytics-t célozza. Nézd meg a számláló útvonalakat és a DCR operációs rendszer típusát.
Vendégmetrikus névtér nem elérhető Győződjön meg arról, hogy a Microsoft-InsightsMetrics a(z) azureMonitorMetrics-default-ra irányul, várjon néhány percet az összesítésre, majd győződjön meg arról, hogy a készlet jelenleg rendelkezik csomópontokkal és egy alapul szolgáló méretezési csoporttal.
Duplikált rekordok Ellenőrizd, hogy van-e több DCR, amelyek ugyanazt az adatokat gyűjtik a poolból. A duplikált adatgyűjtés növeli az adatbetöltési költséget.

Az AMA log helyekért és lemezkövetelményekért lásd: Azure Monitor Agent requirements. A Batch-foglalással és a csomópont-hibákkal kapcsolatban lásd: Az Azure Batch-készlet és a csomópont hibái.

Költségekkel kapcsolatos szempontok

Az Azure Monitor díjai vonatkozhatnak Log Analytics felvételére, megőrzésére, értesítésekre és egyéb engedélyezett funkciókra. A költségek szabályozására:

  • Gyűjtsd össze csak azokat a számlálókat és naplókat, amelyek szükségesek a megfigyelési céljaidhoz.
  • Használj a munkaterhelésednek megfelelő mintavételi frekvenciát.
  • Szűrje a lemezadatokat a lekérdezésekben és riasztásokban a releváns csatolásipont-példányok szerint.
  • Kerüld az átfedő DCR-ek összekapcsolását ugyanahhoz a poolhoz.
  • Tekintse át a munkaterület adatmegőrzési beállításait.

További információért lásd: Azure Monitor költség és használat, valamint Tervezés a költségek kezelésére Azure Batch számára.

Erőforrások tisztítása

Amikor már nincs szükséged a felfigyelt poolra, töröld a poolt és azokat a megfigyelő erőforrásokat, amelyeket nem osztanak meg más terhelésekkel.

A pool konfiguráció megőrzéséhez anélkül, hogy tovább futtatnánk a számítási csomópontokat, méretezzük át a poolt nullára:

az batch account login \
  --resource-group "$resourceGroup" \
  --name "$batchAccount"

az batch pool resize \
  --pool-id "$poolName" \
  --target-dedicated-nodes 0 \
  --target-low-priority-nodes 0

Nullára való skálázás eltávolíthatja a háttér virtuális gép méretaránykészletét. A Log Analytics-ben már tárolt adatok a munkaterület megőrzési beállításai szerint továbbra is elérhetők maradnak.