Udostępnij za pośrednictwem

Monitorowanie usługi Azure HDInsight

  • Artykuł

W tym artykule opisano:

  • Typy danych monitorowania, które można zbierać dla tej usługi.
  • Sposoby analizowania tych danych.

Uwaga

Jeśli znasz już tę usługę i/lub usługę Azure Monitor i chcesz wiedzieć, jak analizować dane monitorowania, zobacz sekcję Analizowanie pod koniec tego artykułu.

Jeśli masz krytyczne aplikacje i procesy biznesowe korzystające z zasobów platformy Azure, musisz monitorować i otrzymywać alerty dla systemu. Usługa Azure Monitor zbiera i agreguje metryki i dzienniki z każdego składnika systemu. Usługa Azure Monitor zapewnia wgląd w dostępność, wydajność i odporność oraz powiadamia o problemach. Do konfigurowania i wyświetlania danych monitorowania można użyć witryny Azure Portal, programu PowerShell, interfejsu wiersza polecenia platformy Azure, interfejsu API REST lub bibliotek klienckich.

Opcje monitorowania usługi HDInsight

Określone metryki i dzienniki dostępne dla klastra usługi HDInsight zależą od typu klastra i narzędzi. Usługa Azure HDInsight oferuje typy klastrów Apache Hadoop, Spark, Kafka, HBase i Interactive Query. Klaster można monitorować za pomocą internetowego interfejsu użytkownika systemu Apache Ambari lub w witrynie Azure Portal, włączając integrację z usługą Azure Monitor.

Monitorowanie systemu Apache Ambari

Apache Ambari upraszcza zarządzanie, konfigurację i monitorowanie klastrów usługi HDInsight, zapewniając internetowy interfejs użytkownika i interfejs API REST. System Ambari jest dołączony do wszystkich klastrów usługi HDInsight opartych na systemie Linux. Aby użyć narzędzia Ambari, wybierz pozycję Ambari home na stronie Przegląd klastra usługi HDInsight w witrynie Azure Portal.

Aby uzyskać informacje na temat używania systemu Ambari do monitorowania, zobacz następujące artykuły:

Integracja z usługą Azure Monitor

Klastry usługi HDInsight można również monitorować bezpośrednio na platformie Azure. Nowa integracja usługi Azure Monitor, teraz w wersji zapoznawczej, umożliwia dostęp do szczegółowych informacji, dzienników i skoroszytów z klastra usługi HDInsight bez konieczności wywoływania obszaru roboczego usługi Log Analytics.

Aby użyć nowej integracji usługi Azure Monitor, włącz ją, wybierając pozycję Monitoruj integrację z sekcji Monitorowanie w menu po lewej stronie witryny Azure Portal usługi HDInsight. Możesz również użyć programu PowerShell lub interfejsu wiersza polecenia platformy Azure, aby włączyć nową integrację monitorowania i korzystać z niej. Aby uzyskać więcej informacji, zobacz następujący artykuł:

Wyniki analiz

Niektóre usługi na platformie Azure mają wbudowany pulpit nawigacyjny monitorowania w witrynie Azure Portal, który zapewnia punkt wyjścia do monitorowania usługi. Te pulpity nawigacyjne są nazywane szczegółowymi informacjami i można je znaleźć w centrum szczegółowych informacji usługi Azure Monitor w witrynie Azure Portal.

Integracja portalu klastra szczegółowych informacji

Po włączeniu integracji z usługą Azure Monitor możesz wybrać pozycję Szczegółowe informacje (wersja zapoznawcza) w menu po lewej stronie witryny Azure Portal usługi HDInsight, aby wyświetlić gotowe, automatycznie wypełnione dzienniki i pulpit nawigacyjny wizualizacji metryk specyficzny dla typu klastra. Pulpit nawigacyjny szczegółowych informacji używa wstępnie utworzonego skoroszytu platformy Azure, który zawiera sekcje dla każdego typu klastra, YARN, metryki systemowe i dzienniki składników.

Zrzut ekranu przedstawiający pulpit nawigacyjny wizualizacji.

Te szczegółowe wykresy i wizualizacje zapewniają szczegółowe informacje na temat wydajności i kondycji klastra. Aby uzyskać więcej informacji, zobacz Korzystanie z gotowej usługi HDInsight Insights do monitorowania pojedynczego klastra.

Typy zasobów

Platforma Azure używa koncepcji typów zasobów i identyfikatorów, aby zidentyfikować wszystko w subskrypcji. Typy zasobów są również częścią identyfikatorów zasobów dla każdego zasobu uruchomionego na platformie Azure. Na przykład jeden typ zasobu dla maszyny wirtualnej to Microsoft.Compute/virtualMachines. Aby uzyskać listę usług i skojarzonych z nimi typów zasobów, zobacz Dostawcy zasobów.

Usługa Azure Monitor podobnie organizuje podstawowe dane monitorowania w metryki i dzienniki na podstawie typów zasobów, nazywanych również przestrzeniami nazw. Różne metryki i dzienniki są dostępne dla różnych typów zasobów. Usługa może być skojarzona z więcej niż jednym typem zasobu.

Aby uzyskać więcej informacji na temat typów zasobów dla usługi Azure HDInsight, zobacz Dokumentacja danych monitorowania usługi HDInsight.

Magazyn danych

W przypadku usługi Azure Monitor:

  • Dane metryk są przechowywane w bazie danych metryk usługi Azure Monitor.
  • Dane dziennika są przechowywane w magazynie dzienników usługi Azure Monitor. Log Analytics to narzędzie w witrynie Azure Portal, które może wykonywać zapytania dotyczące tego magazynu.
  • Dziennik aktywności platformy Azure to oddzielny magazyn z własnym interfejsem w witrynie Azure Portal.

Opcjonalnie możesz kierować dane metryki i dziennika aktywności do magazynu dzienników usługi Azure Monitor. Następnie możesz użyć usługi Log Analytics, aby wykonać zapytanie o dane i skorelować je z innymi danymi dziennika.

Wiele usług może używać ustawień diagnostycznych do wysyłania danych metryk i dzienników do innych lokalizacji przechowywania poza usługą Azure Monitor. Przykłady obejmują usługę Azure Storage, hostowane systemy partnerskie i systemy partnerskie spoza platformy Azure przy użyciu usługi Event Hubs.

Aby uzyskać szczegółowe informacje na temat sposobu przechowywania danych przez usługę Azure Monitor, zobacz Azure Monitor data platformy.

Usługa HDInsight przechowuje pliki dziennika zarówno w systemie plików klastra, jak i w usłudze Azure Storage. Ze względu na dużą liczbę i rozmiar plików dziennika należy zoptymalizować magazyn dzienników i archiwizację, aby ułatwić zarządzanie kosztami. Aby uzyskać więcej informacji, zobacz Zarządzanie dziennikami klastra usługi HDInsight.

Metryki platformy usługi Azure Monitor

Usługa Azure Monitor udostępnia metryki platformy dla większości usług. Te metryki to:

  • Definiowane indywidualnie dla każdej przestrzeni nazw.
  • Przechowywane w bazie danych metryk szeregów czasowych usługi Azure Monitor.
  • Lekki i zdolny do obsługi alertów niemal w czasie rzeczywistym.
  • Służy do śledzenia wydajności zasobu w czasie.

Kolekcja: usługa Azure Monitor automatycznie zbiera metryki platformy. Nie jest wymagana żadna konfiguracja.

Routing: możesz również kierować niektóre metryki platformy do dzienników usługi Azure Monitor/ usługi Log Analytics, aby móc wykonywać zapytania względem nich przy użyciu innych danych dziennika. Sprawdź ustawienie eksportu DS dla każdej metryki, aby sprawdzić, czy możesz użyć ustawienia diagnostycznego, aby kierować metrykę do dzienników usługi Azure Monitor/ usługi Log Analytics.

Aby uzyskać listę wszystkich metryk, które można zebrać dla wszystkich zasobów w usłudze Azure Monitor, zobacz Obsługiwane metryki w usłudze Azure Monitor.

Aby uzyskać listę metryk automatycznie zbieranych w usłudze HDInsight, zobacz Dokumentacja danych monitorowania usługi HDInsight.

Dzienniki zasobów usługi Azure Monitor

Dzienniki zasobów zapewniają wgląd w operacje wykonywane przez zasób platformy Azure. Dzienniki są generowane automatycznie, ale należy skierować je do dzienników usługi Azure Monitor, aby je zapisać lub wysłać do nich zapytanie. Dzienniki są zorganizowane w kategoriach. Dana przestrzeń nazw może mieć wiele kategorii dziennika zasobów.

Kolekcja: dzienniki zasobów nie są zbierane i przechowywane do momentu utworzenia ustawienia diagnostycznego i kierowania dzienników do co najmniej jednej lokalizacji. Podczas tworzenia ustawienia diagnostycznego należy określić kategorie dzienników, które mają być zbierane. Istnieje wiele sposobów tworzenia i konserwacji ustawień diagnostycznych, w tym witryny Azure Portal, programowo i choć usługi Azure Policy.

Routing: sugerowaną wartością domyślną jest kierowanie dzienników zasobów do dzienników usługi Azure Monitor, co umożliwia wykonywanie zapytań względem nich przy użyciu innych danych dziennika. Dostępne są również inne lokalizacje, takie jak Azure Storage, Azure Event Hubs i niektórzy partnerzy monitorowania firmy Microsoft. Aby uzyskać więcej informacji, zobacz Dzienniki zasobów platformy Azure i lokalizacje docelowe dziennika zasobów.

Aby uzyskać szczegółowe informacje na temat zbierania, przechowywania i routingu dzienników zasobów, zobacz Ustawienia diagnostyczne w usłudze Azure Monitor.

Aby uzyskać listę wszystkich dostępnych kategorii dzienników zasobów w usłudze Azure Monitor, zobacz Obsługiwane dzienniki zasobów w usłudze Azure Monitor.

Wszystkie dzienniki zasobów w usłudze Azure Monitor mają te same pola nagłówka, a następnie pola specyficzne dla usługi. Typowy schemat jest opisany w schemacie dziennika zasobów usługi Azure Monitor.

Dzienniki zebrane przez agenta

Usługa HDInsight nie generuje dzienników zasobów według zwykłej metody. Zamiast tego zbiera dzienniki z wewnątrz klastra usługi HDInsight i wysyła je do tabel dzienników usługi Azure Monitor /Log Analytics przy użyciu agenta usługi Log Analytics.

Klaster usługi HDInsight tworzy wiele plików dziennika, takich jak:

  • Dzienniki wykonywania zadania
  • Pliki usługi Resource Manager dziennika usługi YARN
  • Dzienniki akcji skryptu
  • Stan alertów klastra Ambari
  • Metryki systemu Ambari
  • Dzienniki zabezpieczeń
  • Działanie usługi Hadoop zarejestrowane w plikach dziennika kontrolera, narzędzia stderr i dziennika systemu

Dostępne dzienniki zależą od struktury klastra i narzędzi. Po włączeniu integracji usługi Azure Monitor dla klastra można wyświetlać i wykonywać zapytania dotyczące dowolnego z tych dzienników.

  • Aby uzyskać więcej informacji na temat zebranych dzienników, zobacz Zarządzanie dziennikami klastra usługi HDInsight.
  • Aby uzyskać informacje o dostępnych tabelach usługi Log Analytics i tabelach usługi Azure Monitor oraz schematach dzienników dla usługi HDInsight, zobacz Dokumentacja danych monitorowania usługi HDInsight.

Rejestrowanie selektywne

Klastry usługi HDInsight mogą zbierać wiele pełnych dzienników. Aby pomóc zaoszczędzić na kosztach monitorowania i magazynowania, możesz włączyć funkcję rejestrowania selektywnego przy użyciu akcji skryptu dla usługi HDInsight w witrynie Azure Portal. Selektywne rejestrowanie umożliwia włączanie i wyłączanie różnych dzienników i źródeł metryk dostępnych za pośrednictwem usługi Log Analytics. W przypadku tej funkcji musisz płacić tylko za to, czego używasz.

Możesz skonfigurować zbieranie dzienników i analizę, aby włączyć lub wyłączyć tabele w obszarze roboczym usługi Log Analytics i dostosować typ źródła dla każdej tabeli. Aby uzyskać szczegółowe instrukcje, zobacz Używanie selektywnego rejestrowania z akcją skryptu w usłudze Azure HDInsight.

Dziennik aktywności platformy Azure

Dziennik aktywności zawiera zdarzenia na poziomie subskrypcji, które śledzą operacje dla każdego zasobu platformy Azure widoczne spoza tego zasobu; na przykład utworzenie nowego zasobu lub uruchomienie maszyny wirtualnej.

Kolekcja: zdarzenia dziennika aktywności są generowane automatycznie i zbierane w osobnym magazynie do wyświetlania w witrynie Azure Portal.

Routing: możesz wysyłać dane dziennika aktywności do dzienników usługi Azure Monitor, aby móc analizować je wraz z innymi danymi dziennika. Dostępne są również inne lokalizacje, takie jak Azure Storage, Azure Event Hubs i niektórzy partnerzy monitorowania firmy Microsoft. Aby uzyskać więcej informacji na temat kierowania dziennika aktywności, zobacz Omówienie dziennika aktywności platformy Azure.

Analizowanie danych monitorowania

Istnieje wiele narzędzi do analizowania danych monitorowania.

Narzędzia usługi Azure Monitor

Usługa Azure Monitor obsługuje następujące podstawowe narzędzia:

  • Eksplorator metryk — narzędzie w witrynie Azure Portal, które umożliwia wyświetlanie i analizowanie metryk dla zasobów platformy Azure. Aby uzyskać więcej informacji, zobacz Analizowanie metryk za pomocą Eksploratora metryk usługi Azure Monitor.

  • Log Analytics — narzędzie w witrynie Azure Portal, które umożliwia wykonywanie zapytań i analizowanie danych dzienników przy użyciu języka zapytań Kusto (KQL). Aby uzyskać więcej informacji, zobacz Rozpoczynanie pracy z zapytaniami dzienników w usłudze Azure Monitor.

  • Dziennik aktywności, który zawiera interfejs użytkownika w witrynie Azure Portal do wyświetlania i podstawowych wyszukiwań. Aby przeprowadzić bardziej szczegółową analizę, musisz kierować dane do dzienników usługi Azure Monitor i uruchamiać bardziej złożone zapytania w usłudze Log Analytics.

Narzędzia, które umożliwiają bardziej złożoną wizualizację, obejmują:

  • Pulpity nawigacyjne, które umożliwiają łączenie różnych rodzajów danych w jednym okienku w witrynie Azure Portal.
  • Skoroszyty, dostosowywalne raporty, które można utworzyć w witrynie Azure Portal. Skoroszyty mogą zawierać tekst, metryki i zapytania dziennika.
  • Grafana to otwarte narzędzie platformy, które wyróżnia się na operacyjnych pulpitach nawigacyjnych. Za pomocą narzędzia Grafana można tworzyć pulpity nawigacyjne zawierające dane z wielu źródeł innych niż usługa Azure Monitor.
  • Power BI, usługa analizy biznesowej, która udostępnia interaktywne wizualizacje w różnych źródłach danych. Usługę Power BI można skonfigurować tak, aby automatycznie importować dane dziennika z usługi Azure Monitor, aby korzystać z tych wizualizacji.

Dzienniki usługi Azure Monitor zbierają dane z zasobów klastra usługi HDInsight i z innych narzędzi do monitorowania oraz używają danych do analizy w wielu źródłach.

Narzędzia eksportu usługi Azure Monitor

Dane z usługi Azure Monitor można pobrać do innych narzędzi przy użyciu następujących metod:

  • Metryki: użyj interfejsu API REST dla metryk , aby wyodrębnić dane metryk z bazy danych metryk usługi Azure Monitor. Interfejs API obsługuje wyrażenia filtrów w celu uściślinia pobranych danych. Aby uzyskać więcej informacji, zobacz Dokumentacja interfejsu API REST usługi Azure Monitor.

  • Dzienniki: użyj interfejsu API REST lub skojarzonych bibliotek klienckich.

  • Inną opcją jest eksportowanie danych obszaru roboczego.

Aby rozpocząć pracę z interfejsem API REST dla usługi Azure Monitor, zobacz Przewodnik po interfejsie API REST monitorowania platformy Azure.

Zapytania usługi Kusto

Dane monitorowania można analizować w magazynie dzienników usługi Azure Monitor /Log Analytics przy użyciu języka zapytań Kusto (KQL).

Ważne

Po wybraniu pozycji Dzienniki z menu usługi w portalu usługa Log Analytics zostanie otwarta z zakresem zapytania ustawionym na bieżącą usługę. Ten zakres oznacza, że zapytania dziennika będą zawierać tylko dane z tego typu zasobu. Jeśli chcesz uruchomić zapytanie zawierające dane z innych usług platformy Azure, wybierz pozycję Dzienniki z menu usługi Azure Monitor . Aby uzyskać szczegółowe informacje, zobacz Zakres zapytań dzienników i zakres czasu w usłudze Azure Monitor Log Analytics .

Aby uzyskać listę typowych zapytań dotyczących dowolnej usługi, zobacz interfejs zapytań usługi Log Analytics.

Po włączeniu integracji z usługą Azure Monitor możesz wybrać pozycję Dzienniki (wersja zapoznawcza) na lewej stronie nawigacji dla portalu usługi HDInsight, a następnie wybrać kartę Zapytania , aby wyświetlić przykładowe zapytania dla klastra. Na przykład następujące zapytanie zawiera listę wszystkich znanych komputerów, które nie wysyłały pulsu w ciągu ostatnich pięciu godzin.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

Poniższe zapytanie pobiera 10 najważniejszych zapytań intensywnie korzystających z zasobów na podstawie użycia procesora CPU w ciągu ostatnich 24 godzin.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Ważne

Nowa integracja usługi Azure Monitor implementuje nowe tabele w obszarze roboczym usługi Log Analytics. Aby usunąć jak najwięcej niejednoznaczności, istnieje mniej schematów, a formatowanie schematu jest lepiej zorganizowane i łatwiejsze do zrozumienia.

Nowa integracja monitorowania w witrynie Azure Portal korzysta z nowych tabel, ale musisz przerobić starsze zapytania i pulpity nawigacyjne, aby używać nowych tabel. Aby uzyskać mapowania tabel dzienników z klasycznej integracji usługi Azure Monitor z nowymi tabelami, zobacz Mapowanie tabeli dzienników.

Alerty

Alerty usługi Azure Monitor proaktywnie powiadamiają o znalezieniu określonych warunków w danych monitorowania. Alerty umożliwiają identyfikowanie i rozwiązywanie problemów w systemie przed ich zauważeniem przez klientów. Aby uzyskać więcej informacji, zobacz Alerty usługi Azure Monitor.

Istnieje wiele źródeł typowych alertów dotyczących zasobów platformy Azure. Przykłady typowych alertów dotyczących zasobów platformy Azure można znaleźć w temacie Przykładowe zapytania alertów dziennika. Witryna Alerty bazowe usługi Azure Monitor (AMBA) udostępnia częściowo zautomatyzowaną metodę implementowania ważnych alertów metryk platformy, pulpitów nawigacyjnych i wytycznych. Witryna ma zastosowanie do stale powiększającego się podzestawu usług platformy Azure, w tym wszystkich usług, które są częścią strefy docelowej platformy Azure (ALZ).

Typowy schemat alertu standandaryzuje użycie powiadomień o alertach usługi Azure Monitor. Aby uzyskać więcej informacji, zobacz Wspólny schemat alertów.

Typy alertów

Możesz otrzymywać alerty dotyczące dowolnej metryki lub źródła danych dziennika na platformie danych usługi Azure Monitor. Istnieje wiele różnych typów alertów w zależności od usług, które monitorujesz i zbieranych danych monitorowania. Różne typy alertów mają różne zalety i wady. Aby uzyskać więcej informacji, zobacz Wybieranie odpowiedniego typu alertu monitorowania.

Poniższa lista zawiera opis typów alertów usługi Azure Monitor, które można utworzyć:

  • Alerty metryk oceniają metryki zasobów w regularnych odstępach czasu. Metryki mogą być metrykami platformy, metrykami niestandardowymi, dziennikami z usługi Azure Monitor przekonwertowanym na metryki lub metrykami usługi Application Insights. Alerty metryk mogą również stosować wiele warunków i progów dynamicznych.
  • Alerty dzienników umożliwiają użytkownikom używanie zapytania usługi Log Analytics do oceny dzienników zasobów z wstępnie zdefiniowaną częstotliwością.
  • Alerty dziennika aktywności są wyzwalane, gdy wystąpi nowe zdarzenie dziennika aktywności zgodne ze zdefiniowanymi warunkami. Alerty usługi Resource Health i alerty usługi Service Health to alerty dziennika aktywności, które zgłaszają kondycję usługi i zasobów.

Niektóre usługi platformy Azure obsługują również alerty wykrywania inteligentnego, alerty Prometheus lub zalecane reguły alertów.

W przypadku niektórych usług można monitorować na dużą skalę, stosując tę samą regułę alertu metryki do wielu zasobów tego samego typu, które istnieją w tym samym regionie świadczenia usługi Azure. Poszczególne powiadomienia są wysyłane dla każdego monitorowanego zasobu. Aby uzyskać informacje o obsługiwanych usługach i chmurach platformy Azure, zobacz Monitorowanie wielu zasobów przy użyciu jednej reguły alertu.

Reguły alertów usługi HDInsight

Po włączeniu integracji z usługą Azure Monitor możesz wybrać pozycję Alerty na lewej stronie nawigacji dla portalu usługi HDInsight, a następnie wybrać pozycję Utwórz regułę alertu, aby skonfigurować alerty. Alert można oprzeć na dowolnym zapytaniu usługi Log Analytics lub użyć sygnałów z metryk lub dziennika aktywności.

W poniższej tabeli opisano kilka reguł alertów dla usługi HDInsight. Te alerty są tylko przykładami. Alerty można ustawić dla dowolnej metryki, wpisu dziennika lub wpisu dziennika aktywności wymienionego w dokumentacji danych monitorowania usługi HDInsight.

Typ alertu Warunek opis
Metric Oczekujące na procesor CPU Zawsze, gdy maksymalna oczekująca wartość procesora CPU jest większa lub mniejsza niż próg dynamiczny
Dziennik aktywności Usuwanie klastra Za każdym razem, gdy dziennik aktywności ma zdarzenie Category='Administrative', Signal name='Delete Cluster (KLASter usługi HDInsight)"

Przykład pokazujący sposób tworzenia alertu, zobacz Alerty usługi Azure Monitor.

Zalecenia doradcy

W przypadku niektórych usług, jeśli podczas operacji zasobów wystąpią krytyczne warunki lub nieuchronne zmiany, na stronie Przegląd usługi w portalu zostanie wyświetlony alert. Więcej informacji i zalecanych poprawek alertu można znaleźć w temacie Zalecenia usługi Advisor w obszarze Monitorowanie w menu po lewej stronie. Podczas normalnych operacji nie są wyświetlane żadne zalecenia doradcy.

Aby uzyskać więcej informacji na temat usługi Azure Advisor, zobacz Omówienie usługi Azure Advisor.

Powiązana zawartość