Monitorování výkonu, stavu a využití Azure Data Explorer pomocí metrik

  • Článek

Metriky Azure Data Explorer poskytují klíčové ukazatele stavu a výkonu prostředků clusteru Azure Data Explorer. Metriky popsané v tomto článku použijte k monitorování využití, stavu a výkonu clusteru Azure Data Explorer ve vašem konkrétním scénáři jako samostatné metriky. Metriky můžete použít také jako základ pro provozní řídicí panely Azure a upozornění Azure.

Další informace o Průzkumníku metrik Azure najdete v tématu Průzkumník metrik.

Požadavky

Monitorování prostředků Azure Data Explorer pomocí metrik

  1. Přihlaste se k webu Azure Portal.
  2. V levém podokně clusteru Azure Data Explorer vyhledejte metriky.
  3. Výběrem možnosti Metriky otevřete podokno metrik a zahájíte analýzu clusteru. Vyhledejte a vyberte metriky v Azure Portal.

Práce v podokně metrik

V podokně metrik vyberte konkrétní metriky, které chcete sledovat, zvolte způsob agregace dat a vytvořte grafy metrik pro zobrazení na řídicím panelu.

Pro cluster Azure Data Explorer jsou předem vybrané nástroje pro výběr oboru názvůprostředků a metrik. Čísla na následujícím obrázku odpovídají číslovanýmu seznamu níže. Provedou vás různými možnostmi nastavení a zobrazení metrik.

Podokno Metriky.

  1. Pokud chcete vytvořit graf metriky, vyberte Název metriky a odpovídající Agregace na metriku. Další informace o různých metrikách najdete v tématu Podporované metriky Azure Data Explorer.
  2. Vyberte Přidat metriku , pokud chcete zobrazit více metrik vykreslených ve stejném grafu.
  3. Pokud chcete zobrazit více grafů v jednom zobrazení, vyberte + Nový graf .
  4. Pomocí nástroje pro výběr času změňte časový rozsah (výchozí hodnota: posledních 24 hodin).
  5. Pro metriky, které mají dimenze, použijte Přidat filtr a Použít rozdělení .
  6. Vyberte Připnout na řídicí panel a přidejte konfiguraci grafu na řídicí panely, abyste si ho mohli znovu zobrazit.
  7. Nastavením nového pravidla upozornění můžete metriky vizualizovat pomocí nastavených kritérií. Nové pravidlo upozornění bude zahrnovat váš cílový prostředek, metriku, rozdělení a filtrovací dimenze z vašeho grafu. Upravte tato nastavení v podokně vytváření pravidla upozornění.

Podporované metriky Azure Data Explorer

Metriky Azure Data Explorer poskytují přehled o celkovém výkonu a využití prostředků a také informace o konkrétních akcích, jako je příjem dat nebo dotazování. Metriky v tomto článku jsou seskupené podle typu využití.

Typy metrik jsou:

Abecední seznam metrik služby Azure Monitor pro Průzkumníky dat Azure najdete v tématu Podporované metriky clusteru Azure Data Explorer.

Metriky clusteru

Metriky clusteru sledují obecný stav clusteru. Například využití prostředků a příjmu dat a rychlost odezvy.

Metrika Jednotka Agregace Popis metriky Dimenze
Využití mezipaměti (zastaralé) Procento Avg, Max, Min Procento přidělených prostředků mezipaměti, které v clusteru jsou aktuálně používány. Mezipaměť je velikost jednotky SSD přidělená pro aktivity uživatelů podle definovaných zásad mezipaměti.

Průměrné využití mezipaměti na úrovni 80 % nebo méně znamená pro cluster udržitelný stav. Pokud je průměrné využití mezipaměti vyšší než 80 %, měl by být cluster
vertikálně navýšit kapacitu na cenovou úroveň optimalizovanou pro úložiště nebo
horizontální navýšení kapacity na více instancí. Případně můžete upravit zásady mezipaměti na méně dní v mezipaměti. Pokud je využití mezipaměti vyšší než 100 %, velikost dat, která se mají ukládat do mezipaměti, je větší než celková velikost mezipaměti v clusteru.
Tato metrika je zastaralá a prezentuje se pouze pro zpětnou kompatibilitu. Místo toho použijte metriku Faktor využití mezipaměti.		 Žádné
Faktor využití mezipaměti Procento Avg, Max, Min Procento využitého místa na disku vyhrazeného pro horkou mezipaměť v clusteru
100 % znamená optimální využití místa na disku přiřazeného horkým datům. Není potřeba žádná akce a cluster je zcela v pořádku.
Méně než 100 % znamená, že místo na disku přiřazené pro horká data není plně využito.
Více než 100 % znamená, že místo na disku clusteru není dostatečně velké, aby bylo možné pojmout horká data, jak jsou definovány zásadami ukládání do mezipaměti. Aby bylo zajištěno, že je pro všechna horká data k dispozici dostatek místa, je potřeba snížit množství horkých dat nebo škálovat cluster. Doporučujeme povolit automatické škálování.		 Žádné
Procesor Procento Avg, Max, Min Procento přidělených výpočetních prostředků, které jsou aktuálně používány počítači v clusteru.

Průměrná hodnota CPU na úrovni 80 % nebo méně je pro cluster udržitelná. Maximální hodnota CPU je 100 %. Znamená, že nejsou k dispozici žádné další výpočetní prostředky pro zpracování dat.
Pokud cluster nefunguje dobře, zkontrolujte maximální hodnotu procesoru a zjistěte, jestli nejsou blokované konkrétní procesory.		 Žádné
Využití příjmu dat Procento Avg, Max, Min Procento prostředků využitých k příjmu dat z celkových prostředků pro realizaci příjmu dat přidělených v rámci zásad kapacity. Výchozími zásadami kapacity je maximálně 512 souběžných operací příjmu dat nebo 75 % prostředků clusteru zapojených do příjmu dat.

Průměrné využití příjmu dat na úrovni 80 % nebo méně znamená pro cluster udržitelný stav. Maximální hodnota využití příjmu dat je 100 %. Znamená, že se využívá veškerá schopnost clusteru ingestovat data a výsledkem může být fronta pro příjem dat.		 Žádné
InstanceCount Počet Průměr Celkový počet instancí.
Udržovat při životě Počet Průměr Sleduje rychlost odezvy clusteru.

Plně responzivní cluster vrátí hodnotu 1 a blokovaný nebo odpojený cluster vrátí hodnotu 0.
Celkový počet omezených příkazů Počet Avg, Max, Min, Sum Počet omezených (odmítnutých) příkazů v clusteru od dosažení maximálního povoleného počtu souběžných (paralelních) příkazů. Žádné
Celkový počet rozsahů Počet Avg, Max, Min, Sum Celkový počet rozsahů dat v clusteru

Změny v této metrice mohou znamenat rozsáhlé změny struktury dat a vysoké zatížení clusteru, protože slučování rozsahů dat je aktivita náročná na procesor.		 Žádné
Latence sledování Milisekund Avg, Max, Min Databáze sledujících synchronizují změny v vodicích databázích. Kvůli synchronizaci dochází k prodlevě dat v dostupnosti několika sekund až několika minut.

Tato metrika měří délku časové prodlevy. Časová prodleva závisí na několika faktorech, jako jsou: celková velikost a rychlost přijatých dat do vedoucí instance, počet sledovaných databází, míra interních operací prováděných s vedoucí instancí (operace sloučení/opětovného sestavení).

Toto je metrika na úrovni clusteru: sledující zachytávají metadata všech databází, které se sledují. Tato metrika představuje latenci procesu.		 Žádné

Export metrik

Metriky exportu sledují obecný stav a výkon operací exportu, jako jsou zpoždění, výsledky, počet záznamů a využití.

Metrika Jednotka Agregace Popis metriky Dimenze
Počet exportovaných záznamů pro průběžný export Počet Sum Počet exportovaných záznamů ve všech úlohách průběžného exportu. ContinuousExportName
Maximální zpoždění průběžného exportu Počet Maximum Zpoždění (v minutách) hlášené úlohami průběžného exportu v clusteru Žádné
Počet čekajících na průběžný export Počet Maximum Počet čekajících úloh průběžného exportu Tyto úlohy jsou připravené ke spuštění, ale čekají ve frontě, pravděpodobně kvůli nedostatečné kapacitě).
Výsledek průběžného exportu Počet Počet Výsledek selhání nebo úspěchu každého spuštění průběžného exportu ContinuousExportName
Využití exportu Procento Maximum Využitá kapacita exportu z celkové kapacity pro export v clusteru (od 0 do 100) Žádné

Metriky příjmu dat

Metriky příjmu dat sledují obecný stav a výkon operací příjmu dat, jako je latence, výsledky a objem. Upřesnění analýzy:

  • Použijte filtry na grafy k vykreslení částečných dat podle dimenzí. Můžete například prozkoumat příjem dat do konkrétního Database.
  • Použití rozdělení na graf k vizualizaci dat podle různých součástí Tento proces je užitečný pro analýzu metrik, které jsou hlášeny jednotlivými kroky kanálu příjmu dat, například Blobs received.
Metrika Jednotka Agregace Popis metriky Dimenze
Počet objektů blob služby Batch Počet Avg, Max, Min Počet zdrojů dat v dokončené dávce pro příjem dat Databáze
Doba trvání dávky Sekundy Avg, Max, Min Doba trvání fáze dávkování v toku příjmu dat. Databáze
Velikost dávky Bajty Avg, Max, Min Nekomprimovaná očekávaná velikost dat v agregované dávce pro příjem dat Databáze
Zpracované dávky Počet Součet, maximum, minimum Počet dokončených dávek pro příjem dat
Batching Type: Aktivační událost pro zapečetění dávky.
Úplný seznam typů dávkování najdete v tématu Typy dávkování.		 Databáze, typ dávkování
Přijaté objekty blob Počet Součet, maximum, minimum Počet objektů blob přijatých ze vstupního streamu komponentou

K analýze jednotlivých komponent použijte rozdělení .		 Databáze, typ komponenty, název komponenty
Zpracované objekty blob Počet Součet, maximum, minimum Počet objektů blob zpracovaných komponentou

K analýze jednotlivých komponent použijte rozdělení .		 Databáze, typ komponenty, název komponenty
Zahozené objekty blob Počet Součet, Maximum, Min Počet objektů blob trvale vynechaných komponentou Pro každý takový objekt blob se Ingestion result odešle metrika s důvodem selhání.

K analýze jednotlivých komponent použijte funkci použít rozdělení .		 Databáze, typ komponenty, název komponenty
Latence zjišťování Sekundy Průměr Doba od zařazení do fronty dat až do zjišťování dat datovými připojeními. Tato doba není zahrnutá v latenci fáze ani v metrikách latence příjmu dat .

Latence zjišťování se může zvýšit v následujících situacích:
  • Při použití datových připojení mezi oblastmi

  • Pokud počet oddílů služby Event Hubs v datových připojeních služby Event Hubs nestačí pro výchozí svazek dat.
Typ komponenty, název komponenty
Přijaté události Počet Součet, Maximum, Min Počet událostí přijatých datovými připojeními ze vstupního datového proudu Typ komponenty, název komponenty
Zpracované události Počet Součet, Maximum, Min Počet událostí zpracovaných datovými připojeními Typ komponenty, název komponenty
Vynechané události Počet Součet, Maximum, Min Počet událostí trvale ukončených datovými připojeními Pro každou takovou událost se Ingestion result odešle metrika s důvodem selhání. Typ komponenty, název komponenty
Zpracované události (pro event/IoT Hubs) (zastaralé) Počet Max, Min, Součet Celkový počet událostí přečtených z centra událostí / IoT Hub a zpracovaných clusterem Tyto události je možné rozdělit podle stavu: Přijato, Odmítnuto, Zpracováno.
Tato metrika je zastaralá a prezentuje se pouze pro zpětnou kompatibilitu. Místo toho použijte metriky Events received (Přijaté události), Events processed (Zpracované události) a Events dropped (Události vyřazené).		 Stav
Latence příjmu dat Sekundy Avg, Max, Min Latence přijatých dat, od okamžiku, kdy byla data v clusteru přijata, až do doby, kdy jsou připravena pro dotazy. Období latence příjmu dat závisí na scénáři příjmu dat.
Ingestion Kind: Příjem dat streamování nebo příjem dat ve frontě		 Druh příjmu dat
Výsledek příjmu dat Počet Sum Celkový počet zdrojů, které selhaly nebo byly úspěšně přijaty.
Status: Úspěch úspěšného příjmu dat nebo kategorie selhání pro selhání. Úplný seznam možných kategorií selhání najdete v tématu Kódy chyb příjmu dat v Azure Data Explorer.
Failure Status Type: Určuje, jestli je selhání trvalé nebo přechodné. Pro úspěšné příjem dat je Nonetato dimenze .

Poznámka:
  • Události příjmu dat služby Event Hubs a IoT Hub se předem agregují do jednoho objektu blob a pak se považují za jeden zdroj, který se má ingestovat. Proto se předem agregované události zobrazují jako jeden výsledek příjmu dat po předběžné agregaci.

  • Přechodná selhání se interně opakuje omezený počet opakování. Každé přechodné selhání se hlásí jako přechodný výsledek příjmu dat. Proto jeden příjem dat může mít za následek více než jeden výsledek příjmu dat.
Stav, typ stavu selhání
Objem příjmu dat (v MB) Počet Max, Sum Celková velikost dat přijatých do clusteru (v MB) před kompresí Databáze
Délka fronty Počet Průměr Počet čekajících zpráv ve vstupní frontě komponenty Komponenta správce dávek má jednu zprávu pro každý objekt blob. Komponenta správce příjmu dat má jednu zprávu pro každou dávku. Dávka je jeden příkaz ingestování s jedním nebo více objekty blob. Typ komponenty
Nejstarší zpráva ve frontě Sekundy Průměr Čas v sekundách od vložení nejstarší zprávy ve vstupní frontě komponenty. Typ komponenty
Bajty velikosti přijatých dat Bajty Průměr, Součet Velikost dat přijatých datovými připojeními ze vstupního streamu Typ komponenty, název komponenty
Latence fáze Sekundy Průměr Čas od přijetí zprávy službou Azure Data Explorer až do přijetí jejího obsahu komponentou pro příjem dat ke zpracování.

Pokud chcete zobrazit celkovou latenci příjmu dat, použijte použít filtry a vyberte Typ > komponenty StorageEngine .		 Databáze, typ komponenty

Metriky ingestování streamování

Metriky streamování ingestování sledují streamovaná data příjmu dat a četnost požadavků, dobu trvání a výsledky.

Metrika Jednotka Agregace Popis metriky Dimenze
Datová rychlost příjmu streamování Počet RateRequestsPerSecond Celkový objem dat přijatých do clusteru Žádné
Doba trvání příjmu streamování Milisekund Avg, Max, Min Celková doba trvání všech požadavků na příjem dat streamování Žádné
Četnost požadavků příjmu streamování Počet Count, Avg, Max, Min, Sum Celkový počet požadavků na příjem dat streamování Žádné
Výsledek příjmu streamování Počet Průměr Celkový počet požadavků na příjem streamovaných dat podle typu výsledku Výsledek

Metriky dotazů

Metriky výkonu dotazů sledují dobu trvání dotazů a celkový počet souběžných nebo omezených dotazů.

Metrika Jednotka Agregace Popis metriky Dimenze
Doba trvání dotazu Milisekund Avg, Min, Max, Sum Celková doba do přijetí výsledků dotazu (nezahrnuje latenci sítě) QueryStatus
QueryResult Počet Počet Celkový počet dotazů QueryStatus
Celkový počet souběžných dotazů Počet Avg, Max, Min, Sum Počet dotazů spuštěných paralelně v clusteru Tato metrika představuje dobrý způsob, jak odhadnout zatížení clusteru. Žádné
Celkový počet omezených dotazů Počet Avg, Max, Min, Sum Počet omezených (odmítnutých) dotazů v clusteru Maximální povolený počet souběžných (paralelních) dotazů je definovaný v zásadách omezení četnosti požadavků. Žádné

Metriky materializovaného zobrazení

Metrika Jednotka Agregace Popis metriky Dimenze
MaterializedViewHealth 1, 0 Průměr Hodnota je 1, pokud je zobrazení považováno za dobré, jinak 0. Database, MaterializedViewName
MaterializedViewAgeSeconds Sekundy Průměr Zobrazení age je definováno aktuálním časem minus čas posledního příjmu dat zpracovaných zobrazením. Hodnota metriky je čas v sekundách (nižší hodnota je, zobrazení je "zdravější"). Database, MaterializedViewName
MaterializedViewResult 1 Průměr Metrika zahrnuje Result dimenzi označující výsledek posledního cyklu materializace (podrobnosti o možných hodnotách najdete v metrice MaterializedViewResult ). Hodnota metriky se vždy rovná 1. Database, MaterializedViewName, Result
MaterializedViewRecordsInDelta Počet záznamů Průměr Počet záznamů aktuálně v nezpracované části zdrojové tabulky. Další informace najdete v tématu o tom, jak fungují materializovaná zobrazení. Database, MaterializedViewName
MaterializedViewExtentsRebuild Počet rozsahů Průměr Počet rozsahů, které vyžadovaly aktualizace v cyklu materializace. Database, MaterializedViewName
MaterializedViewDataLoss 1 Maximum Metrika se aktivuje, když se nezpracovaná zdrojová data blíží k uchovávání. Označuje, že materializované zobrazení není v pořádku. Database, MaterializedViewName, Kind

Související obsah