DCR-adatgyűjtés monitorozása és hibaelhárítása az Azure Monitorban

Cikk
03/05/2024

Ez a cikk részletes metrikákat és naplókat tartalmaz, amelyekkel figyelheti a teljesítményt, és elháríthatja az Azure Monitor adatgyűjtésével kapcsolatos problémákat. Ez a telemetria jelenleg egy adatgyűjtési szabályok (DCR) által meghatározott adatgyűjtési forgatókönyvekhez érhető el, például az Azure Monitor-ügynökhöz és a Naplók betöltési API-hoz.

Fontos

Ez a cikk csak dcR-eket használó adatgyűjtési forgatókönyvekre vonatkozik, beleértve a következőket:

Az Azure Monitor Agent (AMA) használatával gyűjtött naplók
A Log Ingestion API használatával betöltött naplók
A munkaterület-átalakítási DCR-t használó más metódusok által gyűjtött naplók

Az esetlegesen elérhető monitorozási és hibaelhárítási információkról további forgatókönyvek dokumentációjában olvashat.

A DCR diagnosztikai funkciói közé tartoznak a naplófeldolgozás során kibocsátott metrikák és hibanaplók. A DCR-metrikák információt nyújtanak a betöltendő adatok mennyiségéről, a feldolgozási hibák számáról és jellegéről, valamint az adatátalakítással kapcsolatos statisztikákról. A DCR hibanaplói akkor jönnek létre, amikor az adatfeldolgozás nem sikerül, és az adatok nem érik el a célhelyét.

DCR-hibanaplók

A hibanaplók akkor jönnek létre, amikor az adatok elérik az Azure Monitor betöltési folyamatát, de nem érik el a célhelyét. Hibafeltételek például a következők:

Naplók kézbesítési hibái
Átalakítási hibák, amikor a naplók szerkezete érvénytelenné teszi az átalakítás KQL-ét
Log Ingestion API-hívások:
- 200/202-nél eltérő HTTP-válasz esetén
- hibásan formázott adatokat tartalmazó hasznos adatokkal
- hasznos adatokkal bármilyen betöltési korláttal
- szabályozás az API-híváskorlátok túlhasználata miatt

Az ugyanahhoz az adatfolyamhoz kapcsolódó állandó hibák túlzott naplózásának elkerülése érdekében a rendszer óránként csak korlátozott számú hibát naplóz, amelyet egy összefoglaló hibaüzenet követ. A hiba ezután elnémul az óra végéig. Egy adott hiba naplózásának száma attól függően változhat, hogy melyik régióban van üzembe helyezve a DCR.

Egyes naplóbetöltési hibák nem lesznek naplózva, mert nem társíthatók DCR-hez. Előfordulhat, hogy a rendszer nem naplózza a következő hibákat:

Hibásan formázott hívási URI által okozott hibák (HTTP-válaszkód: 404)
Bizonyos belső kiszolgálóhibák (HTTP-válaszkód: 500)

DCR-hibanaplók engedélyezése

A DCR-hibanaplók erőforrásnaplóként vannak implementálva az Azure Monitorban. A naplógyűjtés engedélyezéséhez hozzon létre egy diagnosztikai beállítást a DCR-hez. Minden DCR-hez saját diagnosztikai beállítás szükséges. A részletes folyamatért tekintse meg a diagnosztikai beállítások létrehozása az Azure Monitorban című témakört. Válassza ki a naplóhibák kategóriát, és küldje el a Log Analytics-munkaterületre. Előfordulhat, hogy ugyanazt a munkaterületet szeretné kijelölni, amelyet a DCR használ, vagy egyesíteni szeretné az összes hibanaplót egyetlen munkaterületen.

DCR-hibanaplók lekérése

A hibanaplók a diagnosztikai beállításban megadott Log Analytics-munkaterület DCRLogErrors táblájába lesznek írva. Az alábbi minta lekérdezéseket használhatja a Log Analyticsben ezeknek a naplóknak a lekéréséhez.

Egy adott DCR összes hibanaplójának lekérése

DCRLogErrors
| where _ResourceId == "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/microsoft.insights/datacollectionrules/my-dcr"

Egy adott bemeneti stream összes hibanaplójának lekérése egy adott DCR-ben

DCRLogErrors
| where _ResourceId == "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/microsoft.insights/datacollectionrules/my-dcr"
| where InputStream == "Custom-MyTable_CL"

DCR-metrikák

A DCR-metrikákat a rendszer automatikusan összegyűjti az összes DCR-hez, és elemezheti őket a Metrics Explorerrel, például a többi Azure-erőforrás platformmetrikáival. A bemeneti stream dimenzióként szerepel, így ha több bemeneti adatfolyamot tartalmazó DCR-sel rendelkezik, azokat szűréssel vagy felosztással elemezheti. Egyes metrikák más dimenziókat is tartalmaznak az alábbi táblázatban látható módon.

Metrika	Dimenziók	Leírás
Naplók betöltési bájtjai min.	Bemeneti adatfolyam	Percenként fogadott bájtok teljes száma.
Naplók betöltési kérései min.	Bemeneti stream HTTP-válaszkód	Percenként fogadott hívások száma
Naplók – Elvetett sorok percenként	Bemeneti stream	A percenkénti feldolgozás során elvetett naplósorok száma. Ide tartoznak a KQL-átalakítás szűrési feltételei miatt elvetett sorok és a hibák miatt elvetett sorok is.
Naplózza a másodpercenként fogadott sorokat	Bemeneti stream	A percenkénti feldolgozáshoz kapott naplósorok száma.
Naplók átalakítási időtartama min.	Bemeneti stream	Átlagos KQL-átalakítási futtatókörnyezet percenként. A KQL átalakítási kód hatékonyságát jelöli. A hosszabb átalakítási futási idővel rendelkező adatfolyamok késést tapasztalhatnak az adatfeldolgozásban és nagyobb adatkésésben.
Naplók átalakítási hibái min.	Bemeneti stream Hibatípus	Percenként előforduló feldolgozási hibák száma

Gyakori problémák megoldása

Ha hiányoznak a várt adatok a Log Analytics-munkaterületen, kövesse az alábbi alapvető lépéseket a probléma elhárításához. Ez feltételezi, hogy engedélyezte a DCR-naplózást a fent leírtak szerint.

Ellenőrizze például Logs Ingestion Bytes per Min a metrikákat, és Logs Rows Received per Min győződjön meg arról, hogy az adatok elérik az Azure Monitort. Ha nem, ellenőrizze az adatforrást, hogy a várt módon küldi-e el az adatokat.
Ellenőrizze Logs Rows Dropped per Min , hogy vannak-e eldobott sorok. Ez nem feltétlenül jelez hibát, mivel a sorokat egy átalakítás elvetheti. Ha az elvetett sorok megegyeznek Logs Rows Dropped per Min , akkor a munkaterületen nem történik adatbetöltés. Vizsgálja meg, Logs Transformation Errors per Min hogy vannak-e átalakítási hibák.
Ellenőrizze Logs Transformation Errors per Min , hogy vannak-e hibák a bejövő adatokra alkalmazott átalakítások során. Ennek oka lehet az adatstruktúra változásai vagy maga az átalakítás.
Ellenőrizze DCRLogErrors az esetlegesen naplózott betöltési hibákat. Ez további részleteket nyújthat a probléma kiváltó okának azonosításához.

Naplóbetöltés figyelése

Az alábbi jelek hasznosak lehetnek a naplógyűjtemény állapotának dcR-ekkel történő monitorozásához. Riasztási szabályok létrehozása a feltételek azonosításához.

Jel	Lehetséges okok és műveletek
Új bejegyzések beírása `DCRErrorLogs` vagy hirtelen változása a következőben `Log Transform Errors`: .	- Problémák a Log Ingestion API beállításával, például a hitelesítéssel, a DCR-hez vagy a DCE-hez való hozzáféréssel, a hívás hasznos adatokkal kapcsolatos problémáival. – A KQL-átalakítási hibákat okozó adatstruktúra változásai. – Az adat célkonfigurációjának változásai adatkézbesítési hibákat okoznak.
Hirtelen változás a `Logs Ingestion Bytes per Min`	– A naplóbetöltés konfigurációjának módosítása az ügyfélen, beleértve az AMA-beállításokat is. - Az elküldött naplók szerkezetének változásai.
Hirtelen változás az és `Logs Ingestion Bytes per Min` a `Logs Rows Received per Min`	- Az elküldött naplók szerkezetének változásai. Vizsgálja meg a módosításokat, hogy az adatok megfelelően legyenek feldolgozva KQL-átalakítással.
Hirtelen változás a `Logs Transformation Duration per Min`	- A naplók szerkezetének változásai, amelyek befolyásolják a KQL-átalakításban beállított naplószűrési feltételek hatékonyságát. Vizsgálja meg a módosításokat, hogy az adatok megfelelően legyenek feldolgozva KQL-átalakítással.
`Logs Ingestion Requests per Min` vagy `Logs Ingestion Bytes per Min` megközelítheti a Log Ingestion API szolgáltatási korlátait.	– Vizsgálja meg és optimalizálja a DCR-konfigurációt a szabályozás elkerülése érdekében.

Riasztások

A problémák ismételt hibaelhárítása helyett hozzon létre riasztási szabályokat, amelyek proaktív módon értesítést kapnak egy lehetséges hibaállapot bekövetkezésekor. Az alábbi táblázat példákat tartalmaz a naplóbetöltés figyeléséhez létrehozható riasztási szabályokra.

Feltétel	Riasztás részletei
Hirtelen eldobott sorok	Metrikariariasztási szabály dinamikus küszöbértéket használ a következőhöz `Logs Rows Dropped per Min`: .
A szolgáltatási korlátokat megközelítő API-hívások száma	Metrikariariasztási szabály statikus küszöbérték használatával a következőhöz `Logs Ingestion Requests per Min`: . Állítsa be a küszöbértéket 12 000 közelében, ami a maximális kérések/perc/DCR szolgáltatási korlátja.
Hibanaplók	Napló lekérdezési riasztás a következő használatával `DCRLogErrors`: . A rendszer a hibák naplózásakor a táblasorok mértékével és az 1-edik küszöbértékével riasztást küld.

Share via