Sdílet prostřednictvím

Monitorování Azure Stream Analytics

  • Článek

Tento článek popisuje:

  • Typy dat monitorování, které můžete pro tuto službu shromažďovat.
  • Způsoby analýzy dat

Poznámka:

Pokud už tuto službu nebo Azure Monitor znáte a chcete jenom vědět, jak analyzovat data monitorování, přečtěte si část Analyzovat na konci tohoto článku.

Pokud máte důležité aplikace a obchodní procesy, které spoléhají na prostředky Azure, musíte monitorovat a dostávat výstrahy pro váš systém. Služba Azure Monitor shromažďuje a agreguje metriky a protokoly ze všech komponent systému. Azure Monitor poskytuje přehled o dostupnosti, výkonu a odolnosti a upozorní vás na problémy. K nastavení a zobrazení dat monitorování můžete použít Azure Portal, PowerShell, Azure CLI, ROZHRANÍ REST API nebo klientské knihovny.

Pokyny k monitorování a správě prostředků Azure Stream Analytics pomocí rutin Azure PowerShellu a skriptování PowerShellu najdete v tématu Monitorování a správa úloh Stream Analytics pomocí rutin Azure PowerShellu.

Typy zdrojů

Azure používá koncept typů prostředků a ID k identifikaci všeho v předplatném. Typy prostředků jsou také součástí ID prostředků pro každý prostředek spuštěný v Azure. Například jeden typ prostředku pro virtuální počítač je Microsoft.Compute/virtualMachines. Seznam služeb a jejich přidružených typů prostředků najdete v tématu Poskytovatelé prostředků.

Azure Monitor podobně organizuje základní data monitorování do metrik a protokolů na základě typů prostředků, označovaných také jako obory názvů. Různé metriky a protokoly jsou k dispozici pro různé typy prostředků. Vaše služba může být přidružená k více než jednomu typu prostředku.

Další informace o typech prostředků pro Azure Stream Analytics najdete v referenčních informacích k datům monitorování Azure Stream Analytics.

Úložiště dat

Pro Azure Monitor:

  • Data metrik se ukládají v databázi metrik služby Azure Monitor.
  • Data protokolů se ukládají v úložišti protokolů služby Azure Monitor. Log Analytics je nástroj na webu Azure Portal, který se může dotazovat na toto úložiště.
  • Protokol aktivit Azure je samostatné úložiště s vlastním rozhraním na webu Azure Portal.

Volitelně můžete směrovat data metriky a protokolu aktivit do úložiště protokolů služby Azure Monitor. Log Analytics pak můžete použít k dotazování na data a jejich korelaci s jinými daty protokolů.

Mnoho služeb může použít nastavení diagnostiky k odesílání metrik a dat protokolů do jiných umístění úložiště mimo Azure Monitor. Mezi příklady patří Azure Storage, hostované partnerské systémy a partnerské systémy mimo Azure pomocí služby Event Hubs.

Podrobné informace o tom, jak Azure Monitor ukládá data, najdete na datové platformě Azure Monitoru.

Metriky platformy Azure Monitoru

Azure Monitor poskytuje metriky platformy pro většinu služeb. Tady jsou:

  • Individuálně definované pro každý obor názvů.
  • Uložená v databázi metrik časových řad služby Azure Monitor.
  • Zjednodušené a schopné podporovat upozorňování téměř v reálném čase.
  • Používá se ke sledování výkonu prostředku v průběhu času.

Kolekce: Azure Monitor shromažďuje metriky platformy automaticky. Není nutná žádná konfigurace.

Směrování: Metriky platformy můžete obvykle směrovat do protokolů služby Azure Monitor nebo Log Analytics, abyste je mohli dotazovat pomocí jiných dat protokolů. Další informace najdete v nastavení diagnostiky metrik. Postup konfigurace nastavení diagnostiky pro službu najdete v tématu Vytvoření nastavení diagnostiky ve službě Azure Monitor.

Seznam všech metrik, které je možné shromáždit pro všechny prostředky ve službě Azure Monitor, najdete v tématu Podporované metriky ve službě Azure Monitor.

Metriky Azure Stream Analytics

Popis monitorování metrik na webu Azure Portal najdete v tématu Monitorování úlohy Stream Analytics pomocí webu Azure Portal.

Poznámka:

Úlohy Azure Stream Analytics vytvořené prostřednictvím rozhraní REST API, sady Azure SDK nebo PowerShellu nemají ve výchozím nastavení povolené monitorování. Pokud chcete povolit monitorování, postupujte podle kroků v programovém vytvoření monitorování úloh Stream Analytics. Data monitorování se pak zobrazí v oblasti Metriky na stránce Azure Portal pro vaši úlohu Stream Analytics.

Následující tabulka uvádí podmínky a opravné akce pro některé běžně monitorované metriky Azure Stream Analytics.

Metrika Podmínka Časová agregace Prahová hodnota Opravné akce
Procento využití SU (paměť) Je větší než Průměr 80 Využití jednotek SU se zvyšuje několika faktory. Kapacitu můžete škálovat pomocí paralelizace dotazů nebo zvýšit počet jednotek SU. Další informace najdete v tématu Využití paralelizace dotazů v Azure Stream Analytics.
Využití v procentech procesoru Je větší než Průměr 90 To pravděpodobně znamená, že některé operace (například uživatelem definované funkce, agregace definované uživatelem nebo komplexní deserializace vstupu) vyžadují velké množství cyklů procesoru. Tento problém můžete obvykle překonat zvýšením počtu jednotek SU pro úlohu.
Chyby za běhu Je větší než Celkem 0 Prozkoumejte protokoly aktivit nebo prostředků a proveďte odpovídající změny vstupů, dotazů nebo výstupů.
Zpoždění vodoznaku Je větší než Průměr Pokud je průměrná hodnota této metriky za posledních 15 minut větší než tolerance pozdního příjezdu (v sekundách). Pokud jste neupravili toleranci pozdního příjezdu, výchozí hodnota je nastavená na 5 sekund. Zkuste zvýšit počet jednotek SU nebo paralelizovat dotaz. Další informace o jednotkách SU najdete v tématu Vysvětlení a úprava jednotek streamování. Další informace o paralelizaci dotazu najdete v tématu Využití paralelizace dotazů v Azure Stream Analytics.
Chyby deserializace vstupu Je větší než Celkem 0 Prozkoumejte protokoly aktivit nebo prostředků a proveďte odpovídající změny vstupu. Další informace o protokolech prostředků najdete v tématu Řešení potíží se službou Azure Stream Analytics pomocí protokolů prostředků.

Seznam a popis všech dostupných metrik pro Azure Stream Analytics najdete v referenčních informacích k datům monitorování Azure Stream Analytics.

Protokoly prostředků služby Azure Monitor

Protokoly prostředků poskytují přehled o operacích, které provedl prostředek Azure. Protokoly se generují automaticky, ale pokud je chcete uložit nebo dotazovat, musíte je směrovat do protokolů služby Azure Monitor. Protokoly jsou uspořádané do kategorií. Daný obor názvů může mít více kategorií protokolu prostředků.

Kolekce: Protokoly prostředků se neshromažďují a neukládají, dokud nevytvoříte nastavení diagnostiky a nenasměrujete protokoly do jednoho nebo více umístění. Při vytváření nastavení diagnostiky určíte, které kategorie protokolů se mají shromažďovat. Existuje několik způsobů, jak vytvořit a udržovat nastavení diagnostiky, včetně webu Azure Portal, prostřednictvím kódu programu a služby Azure Policy.

Směrování: Navrhované výchozí nastavení je směrovat protokoly prostředků do protokolů služby Azure Monitor, abyste je mohli dotazovat pomocí jiných dat protokolu. K dispozici jsou také jiná umístění, jako je Azure Storage, Azure Event Hubs a někteří monitorovací partneři Microsoftu. Další informace najdete v protokolech prostředků Azure a cílech protokolů prostředků.

Podrobné informace o shromažďování, ukládání a směrování protokolů prostředků najdete v tématu Nastavení diagnostiky ve službě Azure Monitor.

Seznam všech dostupných kategorií protokolů prostředků ve službě Azure Monitor najdete v tématu Podporované protokoly prostředků ve službě Azure Monitor.

Všechny protokoly prostředků ve službě Azure Monitor mají stejná pole hlaviček, za kterými následují pole specifická pro službu. Běžné schéma je popsané ve schématu protokolu prostředků služby Azure Monitor.

Protokoly Azure Stream Analytics

Azure Stream Analytics zachycuje dvě kategorie protokolů prostředků:

  • Vytváření: Zaznamenává události protokolu, které souvisejí s operacemi vytváření úloh, jako je vytvoření úlohy, přidání a odstranění vstupů a výstupů, přidání a aktualizace dotazu a spuštění nebo zastavení úlohy.

  • Provádění: Zaznamenává události, ke kterým dochází během provádění úlohy.

    • Chyby připojení
    • Chyby zpracování dat, mezi které patří:
      • Události, které neodpovídají definici dotazu (neshodované typy polí a hodnoty, chybějící pole atd.)
      • Chyby vyhodnocení výrazů
    • Další události a chyby

Dostupné kategorie protokolů prostředků, přidružené tabulky Log Analytics a schémata protokolů pro Azure Stream Analytics najdete v referenčních informacích k datům monitorování Azure Stream Analytics.

Podrobný návod k řešení potíží se selháními úloh Azure Stream Analytics pomocí protokolů prostředků najdete v tématu Řešení potíží se službou Azure Stream Analytics pomocí protokolů prostředků.

Protokol aktivit Azure

Protokol aktivit obsahuje události na úrovni předplatného, které sledují operace pro každý prostředek Azure, jak je vidět mimo tento prostředek; Například vytvoření nového prostředku nebo spuštění virtuálního počítače.

Shromažďování: Události protokolu aktivit se automaticky generují a shromažďují v samostatném úložišti pro zobrazení na webu Azure Portal.

Směrování: Data protokolu aktivit můžete odesílat do protokolů služby Azure Monitor, abyste je mohli analyzovat společně s dalšími daty protokolů. K dispozici jsou také jiná umístění, jako je Azure Storage, Azure Event Hubs a někteří monitorovací partneři Microsoftu. Další informace o směrování protokolu aktivit najdete v tématu Přehled protokolu aktivit Azure.

Podrobný návod k řešení potíží se selháními úloh Azure Stream Analytics pomocí protokolu aktivit najdete v tématu Ladění pomocí protokolů aktivit.

Analýza dat monitorování

Existuje mnoho nástrojů pro analýzu dat monitorování.

Nástroje služby Azure Monitor

Azure Monitor podporuje následující základní nástroje:

Mezi nástroje, které umožňují složitější vizualizaci, patří:

  • Řídicí panely , které umožňují kombinovat různé druhy dat do jednoho podokna na webu Azure Portal.
  • Sešity, přizpůsobitelné sestavy, které můžete vytvořit na webu Azure Portal. Sešity můžou obsahovat dotazy na text, metriky a protokoly.
  • Grafana, otevřený nástroj platformy, který exceluje v provozních řídicích panelech Grafana umožňuje vytvářet řídicí panely, které obsahují data z více zdrojů, než je Azure Monitor.
  • Power BI, služba obchodní analýzy, která poskytuje interaktivní vizualizace napříč různými zdroji dat. Power BI můžete nakonfigurovat tak, aby automaticky naimportovali data protokolů ze služby Azure Monitor, abyste mohli tyto vizualizace využívat.

Nástroje pro export ve službě Azure Monitor

Data ze služby Azure Monitor můžete získat do jiných nástrojů pomocí následujících metod:

Pokud chcete začít s rozhraním REST API pro Azure Monitor, přečtěte si průvodce rozhraním REST API pro monitorování Azure.

Dotazy Kusto

Data monitorování můžete analyzovat v protokolech služby Azure Monitor nebo v úložišti Log Analytics pomocí dotazovacího jazyka Kusto (KQL).

Důležité

Když na portálu vyberete protokoly z nabídky služby, otevře se Log Analytics s oborem dotazu nastaveným na aktuální službu. Tento obor znamená, že dotazy protokolu budou obsahovat pouze data z tohoto typu prostředku. Pokud chcete spustit dotaz, který obsahuje data z jiných služeb Azure, vyberte v nabídce Azure Monitor protokoly. Podrobnosti najdete v tématu Rozsah dotazů protokolu a časový rozsah ve službě Azure Monitor Log Analytics .

Seznam běžných dotazů pro libovolnou službu najdete v rozhraní dotazů Log Analytics.

Vzorové dotazy

Následují ukázkové dotazy, které můžete použít k monitorování prostředků Azure Stream Analytics:

  • Uveďte všechny chyby vstupních dat. Následující dotaz ukazuje všechny chyby, ke kterým došlo při zpracování dat ze vstupů.

    AzureDiagnostics 
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).Type == "DataError" 
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Události, které přišly pozdě. Následující dotaz zobrazuje chyby způsobené událostmi, kdy je rozdíl mezi časem aplikace a časem příjezdu větší než zásada pozdního příjezdu.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and  parse_json(properties_s).DataErrorType == "LateInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Události, které dorazily brzy. Následující dotaz zobrazuje chyby způsobené událostmi, kdy rozdíl mezi časem aplikace a časem příjezdu je větší než 5 minut.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "EarlyInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Události, které přišly mimo objednávku Následující dotaz zobrazuje chyby způsobené událostmi, které přicházejí z objednávky podle zásad mimo pořadí.

    // To create an alert for this query, click '+ New alert rule'
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "OutOfOrderEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Všechny chyby výstupních dat. Následující dotaz zobrazí všechny chyby, ke kterým došlo při zápisu výsledků dotazu do výstupů ve vaší úloze.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType in ("OutputDataConversionError.RequiredColumnMissing", "OutputDataConversionError.ColumnNameInvalid", "OutputDataConversionError.TypeConversionError", "OutputDataConversionError.RecordExceededSizeLimit", "OutputDataConversionError.DuplicateKey")
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Následující dotaz zobrazuje souhrn neúspěšných operací za posledních 7 dnů.

    AzureDiagnostics
| where TimeGenerated > ago(7d) //last 7 days
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and status_s == "Failed" 
| summarize Count=count(), sampleEvent=any(properties_s) by JobName=Resource

Výstrahy

Upozornění služby Azure Monitor vás aktivně upozorňují, když se v datech monitorování nacházejí konkrétní podmínky. Upozornění umožňují identifikovat a řešit problémy ve vašem systému, než si je zákazníci všimnou. Další informace najdete v tématu Upozornění služby Azure Monitor.

Existuje mnoho zdrojů běžných upozornění pro prostředky Azure. Příklady běžných upozornění pro prostředky Azure najdete v tématu Ukázkové dotazy na upozornění protokolu. Web AMBA (Baseline Alerts) služby Azure Monitor poskytuje poloautomatickou metodu implementace důležitých upozornění, řídicích panelů a pokynů pro metriky platformy. Web se vztahuje na neustále se rozšiřující podmnožinu služeb Azure, včetně všech služeb, které jsou součástí cílové zóny Azure (ALZ).

Běžné schéma upozornění standardizuje spotřebu oznámení upozornění služby Azure Monitor. Další informace najdete v tématu Běžné schéma upozornění.

Typy výstrah

Na libovolnou metriku nebo zdroj dat protokolu na datové platformě azure Monitoru můžete upozornit. Existuje mnoho různých typů upozornění v závislosti na službách, které monitorujete, a na datech monitorování, která shromažďujete. Různé typy upozornění mají různé výhody a nevýhody. Další informace naleznete v tématu Volba správného typu upozornění monitorování.

Následující seznam popisuje typy upozornění služby Azure Monitor, které můžete vytvořit:

  • Upozornění na metriky vyhodnocují metriky prostředků v pravidelných intervalech. Metriky můžou být metriky platformy, vlastní metriky, protokoly ze služby Azure Monitor převedené na metriky nebo metriky Application Insights. Upozornění na metriky můžou také použít více podmínek a dynamických prahových hodnot.
  • Upozornění protokolu umožňují uživatelům použít dotaz Log Analytics k vyhodnocení protokolů prostředků s předdefinovanou frekvencí.
  • Upozornění protokolu aktivit se aktivují, když dojde k nové události protokolu aktivit, která odpovídá definovaným podmínkám. Upozornění služby Resource Health a upozornění služby Service Health jsou upozornění protokolu aktivit, která hlásí stav služby a prostředku.

Některé služby Azure také podporují upozornění inteligentního zjišťování, výstrahy Prometheus nebo doporučená pravidla upozornění.

U některých služeb můžete monitorovat škálování použitím stejného pravidla upozornění na metriku u více prostředků stejného typu, které existují ve stejné oblasti Azure. Jednotlivá oznámení se odesílají pro každý monitorovaný prostředek. Podporované služby a cloudy Azure najdete v tématu Monitorování více prostředků pomocí jednoho pravidla upozornění.

Pravidla upozornění Azure Stream Analytics

Následující tabulka uvádí několik navrhovaných pravidel upozornění pro Azure Stream Analytics. Tyto výstrahy jsou jen příklady. Můžete nastavit upozornění na libovolnou metriku, položku protokolu nebo položku protokolu aktivit uvedenou v referenčních informacích monitorování Azure Stream Analytics.

Typ upozornění Podmínka Popis
Metriky platformy Využití paměti jednotky streamování (SU) Pokaždé, když průměrné využití SU (paměť) % je větší než 80 %
Protokol aktivit Neúspěšné operace Pokaždé, když má protokol aktivit událost category='Administrative', signal name='All Administrative operations', Status='Failed'

Podrobné pokyny k nastavení upozornění pro Azure Stream Analytics najdete v tématu Nastavení upozornění pro úlohy Azure Stream Analytics.

Doporučení poradce

U některých služeb, pokud během operací prostředků dojde k kritickým nebo bezprostředním změnám, zobrazí se na stránce Přehled služby na portálu výstraha. Další informace a doporučené opravy výstrahy najdete v doporučeních Advisoru v části Monitorování v nabídce vlevo. Během normálních operací se nezobrazují žádná doporučení poradce.

Další informace o Azure Advisoru najdete v přehledu Azure Advisoru.

Související obsah