Prometheus-metrikák gyűjteményének hibaelhárítása az Azure Monitorban

Kövesse a jelen cikkben leírt lépéseket annak megállapításához, hogy a Prometheus-metrikák nem a várt módon lesznek összegyűjtve az Azure Monitorban.

A replika pod a konfigurációtérképen szereplő egyéni kaparásos célokból és az ama-metrics-prometheus-config egyéni erőforrásokban definiált egyéni kaparópéldányokból kube-state-metricskaparja le a metrikákat. A DaemonSet-podok a megfelelő csomóponton lévő következő célokból kaparják le a metrikákat: kubelet, cAdvisor, node-exporter, és egyéni kaparás célokat a ama-metrics-prometheus-config-node konfigurációtérképen. A naplókat és a Prometheus felhasználói felületét megtekinteni kívánt pod attól függ, hogy melyik kaparáscélt vizsgálja.

Hibaelhárítás PowerShell-szkripttel

Ha hibát tapasztal az AKS-fürt figyelésének engedélyezése közben, kövesse az alábbi utasításokat a hibaelhárítási szkript futtatásához. Ez a szkript a fürt konfigurációs problémáinak alapszintű diagnosztizálására szolgál, és csatolhatja a létrehozott fájlokat, miközben támogatási kérést hoz létre a támogatási eset gyorsabb megoldásához.

Metrikák szabályozása

A Prometheushoz készült Azure Monitor felügyelt szolgáltatás alapértelmezett korlátokkal és kvótákkal rendelkezik a betöltéshez. Amikor eléri a betöltési korlátokat, szabályozás léphet fel. Ezen korlátok növelését kérheti. A Prometheus metrikáinak korlátairól további információt az Azure Monitor szolgáltatáskorlátjai című témakörben talál.

Az Azure Portalon lépjen az Azure Monitor-munkaterületre. Lépjen a Metricsgombra, és válassza ki a metrikákat Active Time Series % Utilization és Events Per Minute Received % Utilizationa . Ellenőrizze, hogy mindkettő 100% alatt van-e.

A betöltési metrikák monitorozásával és riasztásával kapcsolatos további információkért tekintse meg az Azure Monitor-munkaterületek betöltési metrikáinak monitorozását.

Időszakos hiányosságok a metrikaadatok gyűjtésében

A csomópontfrissítések során 1–2 perces eltérést tapasztalhat a fürtszintű gyűjtőtől gyűjtött metrikák metrikáiban. Ennek a hézagnak az az oka, hogy a normál frissítési folyamat részeként frissül az a csomópont is, amelyen fut. Ez hatással van a fürtszintű célokra, mint például a kube-állapot-mérőszámok és a megadott egyéni alkalmazáscélok. Ez akkor fordul elő, ha a fürt manuálisan vagy automatikusan frissítésre kerül. Ez a viselkedés rendeltetésszerű, és azért következik be, mert frissül a csomópont, amelyen fut. Ez a viselkedés egyik ajánlott riasztási szabályunkat sem érinti.

Pod állapota

Ellenőrizze a pod állapotát a következő paranccsal:

kubectl get pods -n kube-system | grep ama-metrics

Ha a szolgáltatás megfelelően fut, a rendszer a következő formátumú ama-metrics-xxxxxxxxxx-xxxxx podok listáját adja vissza:

• ama-metrics-operator-targets-*
• ama-metrics-ksm-*
• ama-metrics-node-* pod a fürt minden csomópontján.

Minden podállapotnak Running azonos számú újraindítással kell rendelkeznie, mint az alkalmazott konfigurációtérkép-módosítások száma. Az ama-metrics-operator-targets-* pod elején lehet egy további újraindítás, és ez várható:

Ha minden pod állapota Running csak egy vagy több podot indít újra, futtassa a következő parancsot:

kubectl describe pod <ama-metrics pod name> -n kube-system

• Ez a parancs adja meg az újraindítások okát. Pod-újraindítások várhatók, ha konfigurációtérkép-módosításokat hajtottak végre. Ha az újraindítás oka az OOMKilled, a pod nem tud lépést tartani a metrikák mennyiségével. Tekintse meg a metrikák mennyiségére vonatkozó skálázási javaslatokat.

Ha a podok a várt módon futnak, az ellenőrzés következő helye a tárolónaplók.

Újracímkésítési konfigurációk keresése

Ha hiányoznak a metrikák, azt is ellenőrizheti, hogy vannak-e újracímkézési konfigurációi. Az újracímkézési konfigurációkkal győződjön meg arról, hogy az újracímkézés nem szűri ki a célokat, és a megfelelően konfigurált címkék megfelelnek a céloknak. További információ: Prometheus relabel config documentation.

Tárolónaplók

Tekintse meg a tárolónaplókat a következő paranccsal:

kubectl logs <ama-metrics pod name> -n kube-system -c prometheus-collector

Indításkor a kezdeti hibák piros színnel jelennek meg, míg a figyelmeztetések sárga színnel jelennek meg. (A színes naplók megtekintéséhez legalább a PowerShell 7-es verziója vagy linuxos disztribúció szükséges.)

• Ellenőrizze, hogy probléma van-e a hitelesítési jogkivonat lekérésével:
  • Az AKS-erőforrás konfigurációjának nincs jelen üzenete 5 percenként naplózva.
  • A pod 15 percenként újraindul a következő hibával: Nincs konfiguráció az AKS-erőforráshoz.
    • Ha igen, ellenőrizze, hogy az adatgyűjtési szabály és az adatgyűjtési végpont létezik-e az erőforráscsoportban.
    • Ellenőrizze azt is, hogy létezik-e az Azure Monitor-munkaterület.
    • Ellenőrizze, hogy nincs-e privát AKS-fürtje, és hogy nincs-e más szolgáltatáshoz kapcsolódó Azure Monitor privát kapcsolati hatókörhöz csatolva. Ez a forgatókönyv jelenleg nem támogatott.

Konfiguráció feldolgozása

Tekintse meg a tárolónaplókat a következő paranccsal:

kubectl logs <ama-metrics-operator-targets pod name> -n kube-system -c config-reader

• Ellenőrizze, hogy nincsenek-e hibák a Prometheus-konfiguráció elemzésével, az engedélyezett alapértelmezett kaparási célokkal való egyesítéssel és a teljes konfiguráció érvényesítésével.
• Ha egyéni Prometheus-konfigurációt is tartalmazott, ellenőrizze, hogy felismerte-e a naplókban. Ha nem:
  • Ellenőrizze, hogy a konfigurációtérképen a megfelelő név szerepel-e: ama-metrics-prometheus-config a kube-system névtérben.
  • Ellenőrizze, hogy a konfigurációtérképen a Prometheus-konfiguráció egy, az itt láthatóhoz hasonló szakaszban prometheus-config data található-e:

    kind: ConfigMap
    apiVersion: v1
    metadata:
      name: ama-metrics-prometheus-config
      namespace: kube-system
    data:
      prometheus-config: |-
        scrape_configs:
        - job_name: <your scrape job here>
    

• Ha egyéni erőforrásokat hoz létre, a pod-/szolgáltatásmonitorok létrehozása során ellenőrzési hibákat kellett volna látnia. Ha továbbra sem látja a célokból származó metrikákat, győződjön meg arról, hogy a naplók nem mutatnak hibákat.

kubectl logs <ama-metrics-operator-targets pod name> -n kube-system -c targetallocator

• Ellenőrizze, hogy nincsenek-e hibák MetricsExtension az Azure Monitor-munkaterület hitelesítésével kapcsolatban.
• Ellenőrizze, hogy nincsenek-e hibák a OpenTelemetry collector célok lekaparásával kapcsolatban.

Futtassa az alábbi parancsot:

kubectl logs <ama-metrics pod name> -n kube-system -c addon-token-adapter

• Ez a parancs hibaüzenetet jelenít meg, ha probléma merült fel az Azure Monitor-munkaterület hitelesítésével kapcsolatban. Az alábbi példa problémák nélküli naplókat mutat be:

Ha nincsenek hibák a naplókban, a Prometheus felület használható hibakeresésre a várt konfiguráció és a lekaparott célok ellenőrzéséhez.

Prometheus felület

Minden ama-metrics-* pod rendelkezik a Prometheus Agent módú felhasználói felülettel, amely a 9090-s porton érhető el. Az egyéni konfigurációs és egyéni erőforrás-célokat a pod és a ama-metrics-* csomópontpéldányok kaparják le.ama-metrics-node-* A konfiguráció, a szolgáltatásfelderítés és a célvégpontok ellenőrzéséhez a replika podjába vagy valamelyik démonkészlet-podba továbbítva ellenőrizze az itt leírtaknak megfelelően, hogy az egyéni konfigurációk helyesek-e, a célpéldányok felderítve lettek-e minden feladathoz, és nincsenek hibák az adott célok lekaparásával kapcsolatban.

Futtassa a következő parancsot: kubectl port-forward <ama-metrics pod> -n kube-system 9090.

• Nyisson meg egy böngészőt a címhez 127.0.0.1:9090/config. Ez a felhasználói felület teljes kaparáskonfigurációval rendelkezik. Ellenőrizze, hogy az összes feladat szerepel-e a konfigurációban.

• Nyissa meg 127.0.0.1:9090/service-discovery a megadott szolgáltatásfelderítési objektum által felderített célokat, valamint a relabel_configs szűrt célokat. Ha például egy adott podból hiányoznak metrikák, megtalálhatja, hogy a pod felderítve lett-e, és hogy mi az URI. Ezután ezt az URI-t használhatja a célok megtekintésekor, hogy ellenőrizze, vannak-e kaparáshibák.

• Nyissa meg az 127.0.0.1:9090/targets összes feladatot, a feladat végpontjának utolsó kaparása és a hibák megtekintését

Egyéni erőforrások

• Ha egyéni erőforrásokat is tartalmazott, győződjön meg arról, hogy azok konfiguráció, szolgáltatásfelderítés és célok alatt jelennek meg.

Konfiguráció

Szolgáltatásészlelés

Targets

Ha nincsenek problémák, és a célpéldányok kaparása folyamatban van, a hibakeresési mód engedélyezésével megtekintheti a lekaparandó pontos metrikákat.

Hibakeresési mód

Figyelmeztetés

Ez a mód befolyásolhatja a teljesítményt, és hibakeresési célokból csak rövid ideig engedélyezett.

A metrikák bővítménye úgy konfigurálható, hogy hibakeresési módban fusson. Ehhez módosítsa a konfigurációtérkép beállításait enabled debug-mode true az alábbi utasítások követésével.

Ha engedélyezve van, a kaparott Prometheus-metrikák a 9091-s porton vannak tárolva. Futtassa az alábbi parancsot:

kubectl port-forward <ama-metrics pod name> -n kube-system 9091

Nyissa meg 127.0.0.1:9091/metrics a böngészőben, és ellenőrizze, hogy az OpenTelemetry Collector lekaparta-e a metrikákat. Ez a felhasználói felület minden ama-metrics-* podhoz elérhető. Ha nincsenek metrikák, a metrika vagy a címkenév hosszával vagy a címkék számával kapcsolatos probléma merülhet fel. Ellenőrizze továbbá, hogy túllépi-e a Prometheus-metrikák betöltési kvótáját az ebben a cikkben meghatározottak szerint.

Metrikanevek, címkenevek és címkeértékek

A metrikák kaparása jelenleg az alábbi táblázatban található korlátozásokkal rendelkezik:

Tulajdonság	Korlát
Címkenév hossza	511 karakternél kisebb vagy egyenlő. Ha túllépi ezt a korlátot egy feladat bármely idősorára vonatkozóan, a teljes kaparási feladat meghiúsul, és a metrikákat a betöltés előtt elveti a feladatból. Láthatja az up=0 értékeket az adott feladathoz, és a cél Ux is megjeleníti az up=0 okát.
Címkeérték hossza	1023 karakternél kisebb vagy egyenlő. Ha túllépi ezt a korlátot egy feladat bármely idősorára vonatkozóan, a teljes kaparás meghiúsul, és a metrikák a betöltés előtt el lesznek távolítva a feladatból. Láthatja az up=0 értékeket az adott feladathoz, és a cél Ux is megjeleníti az up=0 okát.
Címkék száma idősoronként	63-nál kisebb vagy egyenlő. Ha túllépi ezt a korlátot egy feladat bármely idősorára vonatkozóan, a teljes kaparási feladat meghiúsul, és a metrikákat a betöltés előtt elveti a feladatból. Láthatja az up=0 értékeket az adott feladathoz, és a cél Ux is megjeleníti az up=0 okát.
Metrikanév hossza	511 karakternél kisebb vagy egyenlő. Ha ezt a korlátot túllépi egy feladat bármely idősorára, csak az adott sorozat lesz elvetve. A MetricextensionConsoleDebugLog az elvetett metrikához rendelkezik nyomkövetéssel.
Címkenevek különböző burkolattal	Az ugyanabban a metrikamintában található két, eltérő burkolattal rendelkező címke duplikált címkének minősül, és a betöltéskor el lesz ejtve. Az idősort my_metric{ExampleLabel="label_value_0", examplelabel="label_value_1} például az ismétlődő címkék ExampleLabel miatt elveti a rendszer, és examplelabel ugyanazt a címkenevet látja.

Betöltési kvóta ellenőrzése az Azure Monitor-munkaterületen

Ha metrikák hiányát tapasztalja, először ellenőrizheti, hogy nem lépte-e túl a betöltési korlátokat az Azure Monitor-munkaterületen. Az Azure Portalon bármely Azure Monitor-munkaterület aktuális használatát ellenőrizheti. Az Azure Monitor-munkaterület menüjében Metrics megtekintheti az aktuális használati metrikákat. A következő kihasználtsági metrikák standard metrikákként érhetők el az egyes Azure Monitor-munkaterületekhez.

• Aktív idősor – Az elmúlt 12 órában a munkaterületre legutóbb betöltött egyedi idősorok száma
• Aktív idősorkorlát – A munkaterületbe aktívan betölthető egyedi idősorok számának korlátja
• Aktív idősor százalékos kihasználtsága – Az aktuális aktív idősor kihasználtsága
• Események percenként betöltve – A legutóbb fogadott események (minták) száma percenként
• Események percenkénti betöltési korlátja – Az események percenkénti maximális száma, amely a szabályozás előtt betölthető
• Események percenkénti betöltési %-os kihasználtság – Az aktuális metrikabetöltési sebesség korlátjának kihasználtsága

A metrikák betöltési szabályozásának elkerülése érdekében monitorozhat és beállíthat egy riasztást a betöltési korlátokon. Lásd: Betöltési korlátok monitorozása.

Tekintse meg az alapértelmezett kvóták szolgáltatási kvótáját és korlátait , valamint annak megértését, hogy a használat alapján mi növelhető. Az Azure Monitor-munkaterületek kvótanövelését az Support Request Azure Monitor-munkaterület menüjével kérheti. Győződjön meg arról, hogy tartalmazza az Azure Monitor-munkaterület azonosítóját, belső azonosítóját és helyét/régióját a támogatási kérelemben, amelyet az Azure Monitor-munkaterület Tulajdonságok menüjében talál az Azure Portalon.

Az Azure Monitor-munkaterület létrehozása az Azure Policy kiértékelése miatt meghiúsult

Ha az Azure Monitor-munkaterület létrehozása meghiúsul az "Erőforrás neve-xyz" szabályzattal való letiltását jelző hibaüzenettel, előfordulhat, hogy egy Azure-szabályzat megakadályozza az erőforrás létrehozását. Ha van olyan szabályzat, amely az Azure-erőforrások vagy erőforráscsoportok elnevezési konvencióját kényszeríti ki, akkor létre kell hoznia egy kivételt az Azure Monitor-munkaterületek létrehozásához szükséges elnevezési konvencióhoz.

Azure Monitor-munkaterület létrehozásakor alapértelmezés szerint egy adatgyűjtési szabály és egy "azure-monitor-workspace-name" formátumú adatgyűjtési végpont automatikusan létrejön egy erőforráscsoportban a "MA_azure-monitor-workspace-name_location_managed" formában. Jelenleg nem lehet módosítani ezeknek az erőforrásoknak a nevét, és be kell állítania egy kivételt az Azure Policy-ban, hogy mentesítse a fenti erőforrásokat a szabályzatok kiértékelése alól. Lásd az Azure Policy kivételi struktúráját.

Következő lépések

• Ellenőrizze a metrikák nagy léptékű gyűjtésének szempontjait.