Průvodce migrací log Analytics pro clustery Azure HDInsight

Azure HDInsight je služba spravovaného clusteru připravená pro podniky. Tato služba spouští opensourcové analytické architektury, jako jsou Apache Spark, Hadoop, HBase a Kafka v Azure. Azure HDInsight je integrovaný s dalšími službami Azure, aby zákazníkům umožnil lepší správu aplikací pro analýzu velkých objemů dat.

Log Analytics poskytuje nástroj na webu Azure Portal pro úpravy a spouštění dotazů na protokoly. Dotazy pocházejí z dat shromážděných protokoly služby Azure Monitor a interaktivně analyzují výsledky. Zákazníci můžou pomocí dotazů Log Analytics načíst záznamy, které odpovídají konkrétním kritériím. Můžou také použít dotazy k identifikaci trendů, analýze vzorů a poskytování přehledů o jejich datech.

Integrace azure HDInsight s Log Analytics v roce 2017 Zákazníci HDInsight tuto funkci rychle přijali, aby mohli monitorovat své clustery HDInsight a dotazovat se na protokoly v clusterech. I když se přijetí této funkce zvýšilo, zákazníci poskytli zpětnou vazbu k integraci:

• Zákazníci se nemůžou rozhodnout, které protokoly se mají ukládat, a ukládání všech protokolů může být nákladné.
• Aktuální protokoly schémat HDInsight nesledují konzistentní zásady vytváření názvů a některé tabulky se opakují.
• Zákazníci chtějí, aby předefinovaný řídicí panel snadno monitorovali klíčový ukazatel výkonu svých clusterů HDInsight.
• Zákazníci musí přejít na Log Analytics, aby mohli spouštět jednoduché dotazy.

Přehled řešení

S ohledem na zpětnou vazbu zákazníků investoval tým Azure HDInsight do integrace se službou Azure Monitor. Tato integrace umožňuje:

• Nová sada tabulek v pracovním prostoru služby Log Analytics zákazníků Nové tabulky se doručují prostřednictvím nového kanálu Log Analytics.
• Vyšší spolehlivost
• Rychlejší doručování protokolů
• Seskupování tabulek na základě prostředků a výchozí dotazy

Výhody nové integrace služby Azure Monitor

Tento dokument popisuje změny integrace služby Azure Monitor a poskytuje osvědčené postupy pro používání nových tabulek.

Přepracovaná schémata: Formátování schémat pro novou integraci služby Azure Monitor je lépe uspořádané a snadno pochopitelné. Ve starších schématech existuje méně než dvě třetiny schémat, která by se odebrala co nejvíce nejednoznačnosti.

Selektivní protokolování: Protokoly a metriky jsou dostupné prostřednictvím Log Analytics. Abychom vám pomohli ušetřit náklady na monitorování, vydáme novou funkci selektivního protokolování. Pomocí této funkce můžete zapnout a vypnout různé protokoly a zdroje metrik. S touto funkcí budete muset platit jenom za to, co používáte. Další podrobnosti najdete v tématu Selektivní protokolování

Integrace portálu clusteru protokolů: Podokno Protokoly je pro portál clusteru HDInsight novinkou. Každý, kdo má přístup ke clusteru, může přejít do tohoto podokna a dotazovat se na libovolnou tabulku, do které prostředek clusteru odesílá záznamy. Uživatelé už nepotřebují přístup k pracovnímu prostoru služby Log Analytics, aby viděli záznamy pro konkrétní prostředek clusteru.

Integrace portálu clusteru Insights: Podokno Přehledy je také novinkou na portálu clusteru HDInsight. Po povolení nové integrace služby Azure Monitor můžete vybrat podokno Přehledy a automaticky se vyplní automaticky řídicí panel protokolů a metrik specifických pro typ clusteru. Tyto řídicí panely byly přepracovány z našich předchozích řešení Azure. Poskytují podrobné přehledy o výkonu a stavu clusteru.

Scénáře zákazníků

Následující části popisují, jak můžou zákazníci používat novou integraci azure Monitoru v různých scénářích. Část Aktivace nové integrace služby Azure Monitor popisuje, jak aktivovat a používat novou integraci služby Azure Monitor. Migrace z Azure Monitoru Classic do nové části integrace služby Azure Monitor obsahuje další informace pro uživatele, kteří závisí na staré integraci služby Azure Monitor.

Poznámka:

Na novou integraci monitorování Azure mají nárok pouze clustery vytvořené na konci září 2020 a potom.

Aktivace nové integrace služby Azure Monitor

Poznámka:

Před povolením nové integrace musíte mít vytvořený pracovní prostor služby Log Analytics v předplatném, ke kterým máte přístup. Další informace o tom, jak vytvořit pracovní prostor služby Log Analytics, najdete v tématu Vytvoření pracovního prostoru služby Log Analytics na webu Azure Portal.

Aktivujte novou integraci tak, že přejdete na stránku portálu vašeho clusteru a posunete se v nabídce vlevo, dokud se nedostanete do části Monitorování . V části Monitorování vyberte Monitorovat integraci. Pak vyberte Povolit a můžete zvolit pracovní prostor služby Log Analytics, do kterého se mají protokoly odesílat. Po výběru pracovního prostoru vyberte Uložit .

Přístup k novým tabulkám

K novým tabulkám můžete přistupovat dvěma způsoby.

Přístup 1:

Prvním způsobem, jak získat přístup k novým tabulkám, je pracovní prostor služby Log Analytics.

1. Přejděte do pracovního prostoru služby Log Analytics, který jste vybrali při povolení integrace.
2. Posuňte se v nabídce na levé straně obrazovky dolů a vyberte Protokoly. Otevře se editor dotazů protokolů se seznamem všech tabulek v pracovním prostoru.
3. Pokud jsou tabulky seskupené podle řešení, nové tabulky HDI jsou v části Správa protokolů.
4. Pokud tabulky seskupíte podle typu prostředku, tabulky se nacházejí v části Clustery HDInsight, jak je znázorněno na následujícím obrázku.

Poznámka:

Tento proces popisuje, jak se k protokolům přistupovalo ve staré integraci. To vyžaduje, aby měl uživatel přístup k pracovnímu prostoru.

Přístup 2:

Druhým způsobem, jak získat přístup k novým tabulkám, je přístup přes portál clusteru.

1. Přejděte na stránku portálu clusteru a posuňte se dolů v nabídce na levé straně, dokud se nezobrazí oddíl Monitorování . V této části se zobrazí podokno Protokoly .
2. Vyberte Protokoly a zobrazí se editor dotazů protokolů. Editor obsahuje všechny protokoly přidružené k prostředku clusteru. Protokoly jste odeslali do pracovního prostoru služby Log Analytics, když jste povolili integraci. Tyto protokoly poskytují přístup na základě prostředků (RBAC). S RBAC můžou uživatelé, kteří mají přístup ke clusteru, ale ne k pracovnímu prostoru, zobrazit protokoly přidružené ke clusteru.

Následující snímky obrazovky ukazují starší zobrazení pracovního prostoru integrace a nové zobrazení pracovního prostoru integrace:

Zobrazení pracovního prostoru starší verze integrace

Nové zobrazení pracovního prostoru integrace

Použití nových tabulek

S používáním nových tabulek vám můžou pomoct tyto integrace:

Výchozí dotazy pro použití s novými tabulkami

V editoru dotazů protokolů nastavte přepínač na Dotazy nad seznamem tabulek. Ujistěte se, že seskupíte dotazy podle typu prostředku a že pro jiný typ prostředku než clustery HDInsight neexistuje žádný filtr. Následující obrázek ukazuje, jak výsledky vypadají, když jsou seskupené podle typu prostředku a filtrované pro clustery HDInsight. Stačí ho vybrat a zobrazí se v editoru dotazů protokolů. Nezapomeňte si přečíst komentáře zahrnuté v dotazech, protože některé vyžadují, abyste zadali nějaké informace, například název clusteru, aby se dotaz úspěšně spustil.

Vytvoření vlastních dotazů

V editoru dotazů protokolů můžete zadat vlastní dotazy. Dotazy použité u starých tabulek nebudou u nových tabulek platné, protože mnoho nových tabulek obsahuje nová upřesňující schémata. Výchozí dotazy jsou skvělé odkazy na tvarování dotazů v nových tabulkách.

Přehledy

Přehledy jsou řídicí panely vizualizace specifické pro clustery vytvořené pomocí Azure Workbooks. Tyto řídicí panely poskytují podrobné grafy a vizualizace o tom, jak je cluster spuštěný. Řídicí panely mají oddíly pro každý typ clusteru, YARN, systémové metriky a protokoly komponent. K řídicímu panelu clusteru se dostanete tak, že přejdete na stránku clusteru na portálu, posunete se dolů do části Monitorování a vyberete podokno Přehledy . Pokud jste povolili novou integraci, načte se řídicí panel automaticky. Počkejte několik sekund, než se grafy načtou při dotazování protokolů.

Vlastní sešity Azure

Vlastní sešity Azure můžete vytvářet s vlastními grafy a vizualizacemi. Na stránce portálu clusteru se posuňte dolů do části Monitorování a v nabídce vlevo vyberte podokno Sešity . Můžete buď začít používat prázdnou šablonu, nebo použít některou ze šablon v části Clustery HDInsight. Pro každý typ clusteru je šablona. Šablony jsou užitečné, pokud chcete uložit konkrétní vlastní nastavení, která výchozí přehledy HDInsight neposkytují. Pokud máte pocit, že něco chybí, můžete v přehledech HDInsight odesílat žádosti o nové funkce.

Výstrahy

Vlastní upozornění můžete přidat do clusterů a pracovních prostorů v editoru dotazů protokolu. Výběrem podokna Protokoly z clusteru nebo portálu pracovního prostoru přejděte do editoru dotazů protokolů. Spusťte dotaz a pak vyberte Nové pravidlo upozornění, jak je znázorněno na následujícím snímku obrazovky. Další informace najdete v tématu konfigurace výstrah.

Migrace na novou integraci služby Azure Monitor

Pokud používáte klasickou integraci azure Monitoru, musíte po přepnutí na novou integraci služby Azure Monitor provést určité úpravy nových formátů tabulek.

Pokud chcete povolit novou integraci služby Azure Monitor, postupujte podle kroků uvedených v části Aktivace nové integrace služby Azure Monitor.

Spouštění dotazů v Log Analytics

Vzhledem k tomu, že se nový formát tabulky liší od předchozího, je potřeba přepracovat dotazy, abyste mohli používat nové tabulky. Jakmile povolíte novou integraci služby Azure Monitor, můžete procházet tabulky a schémata a identifikovat pole, která se používají ve starých dotazech.

Poskytujeme tabulku mapování mezi starou tabulkou na novou tabulku, která vám pomůže rychle najít nová pole, která potřebujete použít k migraci řídicích panelů a dotazů.

Výchozí dotazy: Vytvořili jsme výchozí dotazy, které ukazují, jak používat nové tabulky pro běžné situace. Výchozí dotazy také ukazují, jaké informace jsou k dispozici v každé tabulce. K výchozím dotazům se dostanete podle pokynů v části Výchozí dotazy, které se použijí s novými tabulkami v tomto článku.

Aktualizace řídicích panelů pro clustery HDInsight

Pokud jste vytvořili několik řídicích panelů pro monitorování clusterů HDInsight, budete muset po povolení nové integrace služby Azure Monitor upravit dotaz za tabulkou. Název tabulky nebo název pole se může v nové integraci změnit, ale všechny informace, které máte ve staré integraci, jsou zahrnuté.

Pokud chcete aktualizovat dotaz za řídicími panely, podívejte se na tabulku mapování mezi starou tabulkou nebo schématem na novou tabulku nebo schéma.

Předefinované řídicí panely

Vylepšili jsme také předefinované řídicí panely na úrovni clusteru. V pravém horním rohu každého grafu je tlačítko, které umožňuje zobrazit podkladový dotaz, který tyto informace vytvoří. Graf představuje skvělý způsob, jak se seznámit s efektivním dotazem nových tabulek.

Povolení obou integrací ke zrychlení migrace

V clusteru, který má nárok na rychlou migraci do nové integrace služby Azure Monitor, můžete aktivovat klasické i nové integrace služby Azure Monitor současně. Nová integrace je k dispozici pro všechny clustery vytvořené po polovině září 2020.

Tímto způsobem můžete snadno provést souběžné porovnání dotazů, které používáte.

Povolení klasické integrace

Pokud používáte cluster vytvořený po polovině září 2020, uvidíte na portálu clusteru nové prostředí portálu. Pokud chcete povolit nový kanál, můžete postupovat podle kroků uvedených v části Aktivace nové integrace služby Azure Monitor. Pokud chcete aktivovat klasickou integraci v tomto clusteru, přejděte na stránku portálu vašeho clusteru. V části Monitorování v nabídce na levé straně stránky portálu clusteru vyberte podokno Integrace monitorování. Vyberte Konfigurovat Azure Monitor pro integraci clusterů HDInsight (classic). Zobrazí se boční kontext s přepínačem, který můžete použít k povolení a zakázání klasické integrace monitorování Azure.

Poznámka:

Na stránce protokolů a přehledů portálu clusteru neuvidíte žádné protokoly ani metriky z klasické integrace. V těchto umístěních se budou vyskytovat pouze nové protokoly integrace a metriky.

Po 1. lednu 2023 není k dispozici vytváření nových clusterů s využitím klasické integrace služby Azure Monitor.

Časová osa vydávání verzí a podpory

• Klasická integrace monitorování Azure není k dispozici po 15. říjnu 2021. Po tomto datu nemůžete povolit klasickou integraci monitorování Azure.
• Klasický příjem integrace monitorování Azure po 31. srpnu 2024 nebude fungovat.
• Clustery HDInsight s integrací služby Azure Monitor (Preview) nebudou podporovány za 1. února 2025.
• Stávající integrace služby Azure Monitor (Preview) bude fungovat až do 31. ledna 2025. Integrace služby Azure Monitor (Preview) bude omezená.
  • Pokud řešení vyžaduje změnu image, zákazníci by se měli přesunout do nové integrace.
  • Microsoft nebude opravovat clustery integrace služby Azure Monitor (Preview) s výjimkou kritických problémů se zabezpečením.

Příloha: Mapování tabulek

Mapování tabulek protokolů z klasické integrace služby Azure Monitor do nové tabulky najdete v tématu Mapování tabulek protokolů.

Související obsah

Monitorování clusterů HDInsight s využitím dotazování protokolů služby Azure Monitor