Detekce a zmírnění potenciálních problémů s využitím AIOps a strojového učení ve službě Azure Monitor

Umělá inteligence pro provoz IT (AIOps) nabízí výkonné způsoby, jak zlepšit kvalitu a spolehlivost služeb pomocí strojového učení ke zpracování a automatickému zpracování dat, která shromažďujete z aplikací, služeb a IT prostředků do služby Azure Monitor.

Integrované funkce AIOps služby Azure Monitor poskytují přehledy a pomáhají řešit problémy a automatizovat úlohy řízené daty, jako je předpověď využití kapacity a automatické škálování, identifikace a analýza problémů s výkonem aplikací a zjišťování neobvyklého chování virtuálních počítačů, kontejnerů a dalších prostředků. Tyto funkce zvyšují monitorování a provoz IT, aniž by vyžadovaly znalosti strojového učení a další investice.

Azure Monitor také poskytuje nástroje, které umožňují vytvořit vlastní kanál strojového učení, který vám umožní zavést nové možnosti analýzy a reakce a pracovat s daty v protokolech služby Azure Monitor.

Tento článek popisuje integrované funkce AIOps služby Azure Monitor a vysvětluje, jak můžete vytvářet a spouštět přizpůsobené modely strojového učení a vytvářet automatizovaný kanál strojového učení na datech v protokolech služby Azure Monitor.

Integrované funkce AIOps a strojového učení ve službě Azure Monitor

Scénář monitorování Schopnost Popis
Monitorování protokolů Přehledy pracovních prostorů služby Log Analytics Poskytuje jednotné zobrazení pracovních prostorů služby Log Analytics a využívá strojové učení k detekci anomálií příjmu dat.
dotazovací jazyk Kusto (KQL) – funkce analýzy časových řad a strojového učení Snadno použitelné nástroje pro generování dat časových řad, detekci anomálií, prognózování a provádění analýzy původních příčin přímo v protokolech služby Azure Monitor, aniž by bylo nutné provádět podrobné znalosti datových věd a programovacích jazyků.
Microsoft Copilot v Azure Pomáhá používat Log Analytics k analýze dat a řešení potíží. Vygeneruje ukázkové dotazy KQL na základě výzev, například "Dochází k chybám v protokolech kontejnerů?".
Monitorování výkonu aplikací Inteligentní zobrazení mapy aplikace Mapuje závislosti mezi službami a pomáhá odhalit kritické body výkonu nebo hotspoty selhání ve všech komponentách distribuované aplikace.
Inteligentní detekce Analyzuje telemetrii, která vaše aplikace odesílá do Application Insights, výstrahy na problémy s výkonem a anomálie selhání a identifikuje potenciální původní příčiny problémů s výkonem aplikace.
Upozornění na metriky Dynamické prahové hodnoty pro upozorňování na metriky Učí se vzory metrik, automaticky nastavuje prahové hodnoty upozornění na základě historických dat a identifikuje anomálie, které mohou znamenat problémy se službami.
Sady pro škálování virtuálních strojů Prediktivní automatické škálování Prognózuje celkové požadavky na procesor škálovací sady virtuálních počítačů na základě historických vzorů využití procesoru a automaticky škáluje kapacitu podle těchto potřeb.
Šetření problému Agent pozorovatelnosti Využívá strojové učení k automatickému zkoumání problémů a korelaci zjištění napříč zdroji dat služby Azure Monitor a poskytuje konsolidované přehledy v rámci prostředí problémů a šetření.

Strojové učení v protokolech služby Azure Monitor

Pomocí vestavěných funkcí pro analýzu časových řad a strojového učení, operátorů a modulů plug-in dotazovacího jazyka Kusto můžete získat přehled o stavu služeb, využití, kapacitě a dalších trendech, generovat prognózy a zjišťovat anomálie v protokolech služby Azure Monitor.

Pokud chcete získat větší flexibilitu a rozšířit schopnost analyzovat a pracovat s daty, můžete také implementovat vlastní kanál strojového učení na data v protokolech služby Azure Monitor.

Tato tabulka porovnává výhody a omezení používání integrovaných funkcí strojového učení KQL a vytvoření vlastního kanálu strojového učení a odkazů na kurzy, které ukazují, jak můžete jednotlivé možnosti implementovat:

Integrované funkce strojového učení KQL Vytvoření vlastního kanálu strojového učení
Scénář ✅ Detekce anomálií, původní příčina a analýza časových řad
✅ Detekce anomálií, původní příčina a analýza časových řad
✅ Pokročilé analýzy a scénáře AIOPs
Výhody 🔹Dostane vás do začátku velmi rychle.
🔹Nevyžadují se žádné znalosti datových věd a programovací dovednosti.
🔹 Optimální výkon a úspory nákladů.		 🔹Podporuje větší měřítka.
🔹Umožňuje pokročilé a složitější scénáře.
🔹Flexibilita při výběru knihoven, modelů a parametrů
Limity služeb a datové svazky Azure portal nebo limity dotazů protokolu rozhraní API, v závislosti na tom, zda pracujete v portálu nebo používáte rozhraní API, například z poznámkového bloku. 🔹 Limity dotazů na protokoly rozhraní API, pokud dotazujete data v protokolech služby Azure Monitor jako součást pracovního procesu strojového učení. V opačném případě žádné limity služeb Azure.
🔹Může podporovat větší objemy dat.
Integrace Žádné se nevyžadují. Spusťte službu Log Analytics na webu Azure Portal nebo z integrovaného poznámkového bloku Jupyter. Vyžaduje integraci s nástrojem, jako je například Jupyter Notebook. Obvykle byste se také integrovali s dalšími službami Azure, jako je Azure Synapse Analytics.
výkon Optimální výkon s využitím platformy Azure Data Explorer, která běží ve velkém měřítku distribuovaným způsobem. Představuje malou latenci při dotazování nebo exportu dat v závislosti na způsobu implementace kanálu strojového učení.
Typ modelu Lineární regresní model a další modely podporované funkcemi časových řad KQL se sadou konfigurovatelných parametrů Zcela přizpůsobitelný model strojového učení nebo metodu detekce anomálií
Náklady Žádné další náklady. V závislosti na způsobu implementace kanálu strojového učení se můžou účtovat poplatky za export dat, příjem vyhodnocených dat do protokolů služby Azure Monitor a používání dalších služeb Azure.
Tutoriál Detekce a analýza anomálií pomocí funkcí strojového učení KQL ve službě Azure Monitor Analýza dat v protokolech služby Azure Monitor pomocí poznámkového bloku

Vytvoření vlastního kanálu strojového učení pro data v protokolech služby Azure Monitor

Vytvořte si vlastní kanál strojového učení na základě dat v protokolech služby Azure Monitor, abyste představili nové funkce AIOps a podporovali pokročilé scénáře, například:

  • Vyhledávání útoků na zabezpečení s propracovanějšími modely, než jaké nabízí KQL.
  • Zjišťování problémů s výkonem a řešení chyb ve webové aplikaci
  • Vytváření toků s více kroky, spuštění kódu v každém kroku na základě výsledků předchozího kroku
  • Automatizace analýzy dat protokolu služby Azure Monitor a poskytování přehledů o několika oblastech, včetně stavu infrastruktury a chování zákazníků.
  • Korelace dat v protokolech služby Azure Monitor s daty z jiných zdrojů

Existují dva přístupy k zpřístupnění dat v protokolech služby Azure Monitor pro váš kanál strojového učení:

Tato tabulka porovnává výhody a omezení přístupů k načítání dat pro váš kanál strojového učení:

Dotazování dat v protokolech Azure Monitoru Export datů
Výhody 🔹Usnadní rychlý začátek.
🔹Vyžaduje pouze základní dovednosti v oblasti datových věd a programování.
🔹Minimální latence a úspora nákladů		 🔹Podporuje větší měřítka.
🔹Žádná omezení dotazů.
Exportovaná data? Ne Ano
Limity služeb Omezení dotazů v protokolu API a omezování uživatelských dotazů. Limity rozhraní API pro dotazy můžete překonat určitým stupněm rozdělením větších dotazů na bloky dat. Žádná data ze služby Azure Monitor.
Datové svazky Analyzujte několik gb dat nebo několik milionů záznamů za hodinu. Podporuje velké objemy dat.
Knihovna strojového učení U malých až středně velkých datových sad byste obvykle používali knihovny strojového učení s jedním uzlem, jako je Scikit Learn. U velkých datových sad byste obvykle používali knihovny strojového učení pro velké objemy dat, jako je SynapseML.
Latence Minimální. Představuje malou latenci při exportu dat.
Náklady Ve službě Azure Monitor se neúčtují žádné další poplatky.
Náklady na Azure Synapse Analytics, Azure Machine Learning nebo jinou službu, pokud se používají.		 Náklady na export dat a externí úložiště
Náklady na Azure Synapse Analytics, Azure Machine Learning nebo jinou službu, pokud se používají.

Návod

Pokud chcete využít výhod nejlepších z obou přístupů implementace, vytvořte hybridní kanál. Běžným hybridním přístupem je export dat pro trénování modelu, který zahrnuje velké objemy dat, a použití dotazů dat v protokolech služby Azure Monitor k prozkoumání dat a určení skóre nových dat za účelem snížení latence a nákladů.

Implementace kroků životního cyklu strojového učení v protokolech služby Azure Monitor

Nastavení kanálu strojového učení obvykle zahrnuje všechny nebo některé kroky popsané níže.

K implementaci kanálu strojového učení můžete použít různé knihovny Strojového učení Azure a Open Source, včetně Scikit Learn, PyTorch, Tensorflow, Spark MLlib a SynapseML.

Tato tabulka popisuje jednotlivé kroky a poskytuje základní pokyny a některé příklady implementace těchto kroků na základě přístupů implementace popsaných v tématu Vytvoření vlastního kanálu strojového učení na datech v protokolech služby Azure Monitor:

Krok Popis Dotazování dat v protokolech Azure Monitoru Export datů
Zkoumání dat Prozkoumejte a pochopte data, která jste shromáždili. Nejjednodušší způsob, jak prozkoumat data, je použití Log Analytics, které poskytuje bohatou sadu nástrojů pro zkoumání a vizualizaci dat na webu Azure Portal. Data v protokolech služby Azure Monitor můžete analyzovat také pomocí poznámkového bloku. Pokud chcete analyzovat protokoly mimo Azure Monitor, exportujte data z pracovního prostoru služby Log Analytics a nastavte prostředí ve zvolené službě.
Příklad, jak prozkoumat protokoly mimo Azure Monitor, najdete v tématu Analýza dat exportovaných z Log Analytics pomocí Synapse.
Sestavení a trénování modelu strojového učení Trénování modelu je iterativní proces. Výzkumní pracovníci nebo datoví vědci vyvíjejí model načtením a čištěním trénovacích dat, funkcí inženýrů, zkoušením různých modelů a laděním parametrů a opakováním tohoto cyklu, dokud model nebude přesný a robustní. U malých až středně velkých datových sad obvykle používáte knihovny strojového učení s jedním uzlem, jako je Scikit Learn.
Příklad trénování modelu strojového učení na data v protokolech služby Azure Monitor pomocí knihovny Scikit Learn najdete v tomto ukázkovém poznámkovém bloku: Detekce anomálií v protokolech služby Azure Monitor pomocí technik strojového učení.		 U velkých datových sad obvykle používáte knihovny strojového učení pro velké objemy dat, jako je SynapseML.
Nasazení a určení skóre modelu Bodování je proces použití modelu strojového učení na nová data k získání předpovědí. Vyhodnocování je obvykle potřeba provést ve velkém měřítku s minimální latencí. Pokud chcete dotazovat nová data v protokolech služby Azure Monitor, použijte klientskou knihovnu Azure Monitor Query.
Příklad skóre dat pomocí opensourcových nástrojů najdete v tomto ukázkovém poznámkovém bloku: Detekce anomálií v protokolech služby Azure Monitor pomocí technik strojového učení.
Provozování vaší pipeline podle plánu Automatizujte váš pipeline, abyste pravidelně přeučovali svůj model na aktuálních datech. Naplánujte kanál strojového učení pomocí Azure Synapse Analytics nebo Azure Machine Learningu. Podívejte se na příklady ve sloupci Dotazování dat ve sloupci Protokoly služby Azure Monitor.

Ingestování výsledků skóre do pracovního prostoru služby Log Analytics umožňuje používat data k získání pokročilých přehledů a k vytváření upozornění a řídicích panelů. Příklad, jak zpracovat vyhodnocené výsledky pomocí klientské knihovny Azure Monitor Ingestion, najdete v tématu Ingestování anomálií do vlastní tabulky ve vašem pracovním prostoru služby Log Analytics.

Další kroky

Další informace o:

  • Protokoly služby Azure Monitor
  • Přehledy služby Azure Monitor a kurátorované vizualizace
  • Last updated on