Przewodnik migracji usługi Log Analytics dla klastrów usługi Azure HDInsight
Azure HDInsight to usługa klastra gotowego do użycia w przedsiębiorstwie. Ta usługa uruchamia struktury analizy typu open source, takie jak Apache Spark, Hadoop, HBase i Kafka na platformie Azure. Usługa Azure HDInsight zintegrowała się z innymi usługami platformy Azure, aby umożliwić klientom lepsze zarządzanie aplikacjami do analizy danych big data.
Usługa Log Analytics udostępnia narzędzie w witrynie Azure Portal do edytowania i uruchamiania zapytań dziennika. Zapytania pochodzą z danych zebranych przez dzienniki usługi Azure Monitor i interaktywnie analizują wyniki. Klienci mogą używać zapytań usługi Log Analytics do pobierania rekordów spełniających określone kryteria. Mogą również używać zapytań do identyfikowania trendów, analizowania wzorców i zapewniania wglądu w dane.
Integracja usługi Azure HDInsight z usługą Log Analytics w 2017 roku. Klienci usługi HDInsight szybko przyjęli tę funkcję w celu monitorowania klastrów usługi HDInsight i wykonywania zapytań dotyczących dzienników w klastrach. Chociaż wdrożenie tej funkcji zwiększyło się, klienci przekazali opinię na temat integracji:
- Klienci nie mogą zdecydować, które dzienniki mają być przechowywane, a przechowywanie wszystkich dzienników może stać się kosztowne.
- Bieżące dzienniki schematów usługi HDInsight nie są zgodne ze spójnymi konwencjami nazewnictwa, a niektóre tabele są powtarzalne.
- Klienci chcą, aby wbudowany pulpit nawigacyjny łatwo monitorował kluczowe wskaźniki wydajności klastrów usługi HDInsight.
- Klienci muszą przejść do usługi Log Analytics, aby uruchamiać proste zapytania.
Omówienie rozwiązania
Biorąc pod uwagę opinie klientów, zespół usługi Azure HDInsight zainwestował w integrację z usługą Azure Monitor. Ta integracja umożliwia:
- Nowy zestaw tabel w obszarze roboczym usługi Log Analytics klientów. Nowe tabele są dostarczane za pośrednictwem nowego potoku usługi Log Analytics.
- Wyższa niezawodność
- Szybsze dostarczanie dzienników
- Grupowanie tabel opartych na zasobach i zapytania domyślne
Uwaga
Nowa integracja usługi Azure Montitor jest dostępna w publicznej wersji zapoznawczej we wszystkich regionach, w których jest dostępna usługa HDInsight.
Korzyści wynikające z nowej integracji usługi Azure Monitor
W tym dokumencie opisano zmiany integracji z usługą Azure Monitor i przedstawiono najlepsze rozwiązania dotyczące korzystania z nowych tabel.
Przeprojektowane schematy: formatowanie schematu dla nowej integracji usługi Azure Monitor jest lepiej zorganizowane i łatwe do zrozumienia. Istnieje 2 trzecie mniej schematów, aby usunąć jak najwięcej niejednoznaczności w starszych schematach.
Selektywne rejestrowanie: istnieją dzienniki i metryki dostępne za pośrednictwem usługi Log Analytics. Aby pomóc zaoszczędzić na kosztach monitorowania, udostępnimy nową funkcję rejestrowania selektywnego. Ta funkcja służy do włączania i wyłączania różnych dzienników i źródeł metryk. W przypadku tej funkcji musisz płacić tylko za to, czego używasz. Aby uzyskać więcej informacji, zobacz Selektywne rejestrowanie
Integracja portalu klastra dzienników: okienko Dzienniki jest nowe w portalu klastra usługi HDInsight. Każda osoba mająca dostęp do klastra może przejść do tego okienka, aby wykonać zapytanie dotyczące dowolnej tabeli, do którego zasób klastra wysyła rekordy. Użytkownicy nie potrzebują już dostępu do obszaru roboczego usługi Log Analytics, aby wyświetlić rekordy dla określonego zasobu klastra.
integracja portalu klastra Szczegółowe informacje: okienko Szczegółowe informacje jest również nowe w portalu klastra usługi HDInsight. Po włączeniu nowej integracji z usługą Azure Monitor możesz wybrać okienko Szczegółowe informacje, a gotowe dzienniki i pulpit nawigacyjny metryk specyficzne dla typu klastra zostaną automatycznie wypełnione. Te pulpity nawigacyjne zostały odświeżone z naszych poprzednich rozwiązań platformy Azure. Zapewniają one szczegółowe informacje na temat wydajności i kondycji klastra.
Scenariusze klienta
W poniższych sekcjach opisano, jak klienci mogą korzystać z nowej integracji usługi Azure Monitor w różnych scenariuszach. W sekcji Aktywowanie nowej integracji usługi Azure Monitor opisano sposób aktywowania i używania nowej integracji usługi Azure Monitor. Sekcja Migrowanie z klasycznej usługi Azure Monitor do nowej integracji z usługą Azure Monitor zawiera dodatkowe informacje dla użytkowników, którzy zależą od starej integracji usługi Azure Monitor.
Uwaga
Tylko klastry utworzone pod koniec września 2020 r. i po tym, jak kwalifikują się do nowej integracji monitorowania platformy Azure.
Aktywowanie nowej integracji usługi Azure Monitor
Uwaga
Przed włączeniem nowej integracji musisz mieć obszar roboczy usługi Log Analytics utworzony w ramach subskrypcji, do której masz dostęp. Aby uzyskać więcej informacji na temat tworzenia obszaru roboczego usługi Log Analytics, zobacz Tworzenie obszaru roboczego usługi Log Analytics w witrynie Azure Portal.
Aktywuj nową integrację, przechodząc do strony portalu klastra i przewijając menu po lewej stronie do momentu osiągnięcia sekcji Monitorowanie . W sekcji Monitorowanie wybierz pozycję Monitorowanie integracji. Następnie wybierz pozycję Włącz i możesz wybrać obszar roboczy usługi Log Analytics, do którego mają być wysyłane dzienniki. Wybierz pozycję Zapisz po wybraniu obszaru roboczego.
Uzyskiwanie dostępu do nowych tabel
Istnieją dwa sposoby uzyskiwania dostępu do nowych tabel.
Podejście 1:
Pierwszym sposobem uzyskania dostępu do nowych tabel jest obszar roboczy usługi Log Analytics.
- Przejdź do obszaru roboczego usługi Log Analytics wybranego po włączeniu integracji.
- Przewiń w dół w menu po lewej stronie ekranu i wybierz pozycję Dzienniki. Zostanie wyświetlony edytor zapytań Dzienniki z listą wszystkich tabel w obszarze roboczym.
- Jeśli tabele są pogrupowane według rozwiązania, nowe tabele usługi HDI znajdują się w sekcji Zarządzanie dziennikami .
- Jeśli pogrupujesz tabele według typu zasobu, tabele znajdują się w sekcji Klastry usługi HDInsight, jak pokazano na poniższej ilustracji.
Uwaga
W tym procesie opisano sposób uzyskiwania dostępu do dzienników w starej integracji. Wymaga to od użytkownika dostępu do obszaru roboczego.
Podejście 2:
Drugim sposobem uzyskiwania dostępu do nowych tabel jest dostęp do portalu klastra.
- Przejdź do strony portalu klastra i przewiń w dół menu po lewej stronie do momentu wyświetlenia sekcji Monitorowanie . W tej sekcji zostanie wyświetlone okienko Dzienniki .
- Wybierz pozycję Dzienniki , a zostanie wyświetlony edytor zapytań Dzienniki. Edytor zawiera wszystkie dzienniki skojarzone z zasobem klastra. Dzienniki zostały wysłane do obszaru roboczego usługi Log Analytics po włączeniu integracji. Te dzienniki zapewniają dostęp oparty na zasobach (RBAC). Dzięki kontroli dostępu opartej na rolach użytkownicy, którzy mają dostęp do klastra, ale nie do obszaru roboczego, mogą zobaczyć dzienniki skojarzone z klastrem.
Dla porównania na poniższych zrzutach ekranu przedstawiono widok starszego obszaru roboczego integracji i nowy widok obszaru roboczego integracji:
Widok starszego obszaru roboczego integracji
Nowy widok obszaru roboczego integracji
Korzystanie z nowych tabel
Te integracje mogą ułatwić korzystanie z nowych tabel:
Domyślne zapytania do użycia z nowymi tabelami
W edytorze zapytań Dzienniki ustaw przełącznik na Zapytania nad listą tabel. Upewnij się, że zapytania są grupowane według typu zasobu i że nie ma ustawionego filtru dla typu zasobu innego niż klastry usługi HDInsight. Na poniższej ilustracji pokazano, jak wyniki wyglądają po zgrupowaniu według typu zasobu i przefiltrowane dla klastrów usługi HDInsight. Wystarczy wybrać jeden i pojawi się w edytorze zapytań Dzienniki. Pamiętaj, aby przeczytać komentarze zawarte w zapytaniach, ponieważ niektóre wymagają wprowadzenia pewnych informacji, takich jak nazwa klastra, aby zapytanie działało pomyślnie.
Tworzenie własnych zapytań
Możesz wprowadzić własne zapytania w edytorze zapytań Dzienniki. Zapytania używane w starych tabelach nie będą prawidłowe w nowych tabelach, ponieważ wiele nowych tabel ma nowe, wyrafinowane schematy. Domyślne zapytania to doskonałe odwołania do kształtowania zapytań w nowych tabelach.
Wyniki analiz
Szczegółowe informacje są pulpitami nawigacyjnymi wizualizacji specyficznymi dla klastraSkoroszyty platformy Azure. Te pulpity nawigacyjne zapewniają szczegółowe wykresy i wizualizacje sposobu działania klastra. Pulpity nawigacyjne zawierają sekcje dla każdego typu klastra, YARN, metryk systemowych i dzienników składników. Dostęp do pulpitu nawigacyjnego klastra można uzyskać, odwiedzając stronę klastra w portalu, przewijając w dół do sekcji Monitorowanie i wybierając okienko Szczegółowe informacje. Pulpit nawigacyjny jest ładowany automatycznie, jeśli włączono nową integrację. Poczekaj kilka sekund na załadowanie wykresów podczas wykonywania zapytań dotyczących dzienników.
Niestandardowe skoroszyty platformy Azure
Możesz utworzyć własne skoroszyty platformy Azure za pomocą niestandardowych grafów i wizualizacji. Na stronie portalu klastra przewiń w dół do sekcji Monitorowanie i wybierz okienko Skoroszyty w menu po lewej stronie. Możesz rozpocząć korzystanie z pustego szablonu lub użyć jednego z szablonów w sekcji Klastry usługi HDInsight. Istnieje szablon dla każdego typu klastra. Szablony są przydatne, jeśli chcesz zapisać określone dostosowania, które domyślne Szczegółowe informacje usługi HDInsight nie są zapewniane. Możesz wysyłać żądania dotyczące nowych funkcji w usłudze HDInsight Szczegółowe informacje, jeśli uważasz, że ich brakuje.
Alerty
Alerty niestandardowe można dodawać do klastrów i obszarów roboczych w edytorze zapytań dzienników. Przejdź do edytora zapytań Dzienniki, wybierając okienko Dzienniki w portalu klastra lub obszaru roboczego. Uruchom zapytanie, a następnie wybierz pozycję Nowa reguła alertu, jak pokazano na poniższym zrzucie ekranu. Aby uzyskać więcej informacji, przeczytaj o konfigurowaniu alertów.
Migrowanie do nowej integracji usługi Azure Monitor
Jeśli używasz klasycznej integracji z usługą Azure Monitor, musisz wprowadzić pewne zmiany w nowych formatach tabeli po przełączeniu się do nowej integracji usługi Azure Monitor.
Aby włączyć nową integrację z usługą Azure Monitor, wykonaj kroki opisane w sekcji Aktywowanie nowej integracji usługi Azure Monitor.
Uruchamianie zapytań w usłudze Log Analytics
Ponieważ nowy format tabeli różni się od poprzedniego, zapytania muszą zostać przerobione, aby można było używać nowych tabel. Po włączeniu nowej integracji usługi Azure Monitor możesz przeglądać tabele i schematy, aby zidentyfikować pola używane w starych zapytaniach.
Udostępniamy tabelę mapowania między starą tabelą a nową tabelą, aby ułatwić szybkie znajdowanie nowych pól, których należy użyć do migrowania pulpitów nawigacyjnych i zapytań.
Zapytania domyślne: utworzyliśmy domyślne zapytania, które pokazują, jak używać nowych tabel w typowych sytuacjach. Domyślne zapytania pokazują również, jakie informacje są dostępne w każdej tabeli. Dostęp do domyślnych zapytań można uzyskać, postępując zgodnie z instrukcjami w sekcji Domyślne zapytania do użycia z nowymi tabelami w tym artykule.
Aktualizowanie pulpitów nawigacyjnych dla klastrów usługi HDInsight
Jeśli utworzono wiele pulpitów nawigacyjnych do monitorowania klastrów usługi HDInsight, należy dostosować zapytanie za tabelą po włączeniu nowej integracji usługi Azure Monitor. Nazwa tabeli lub nazwa pola może ulec zmianie w nowej integracji, ale uwzględniono wszystkie informacje, które masz w starej integracji.
Zapoznaj się z tabelą mapowania między starą tabelą/schematem do nowej tabeli/schematu, aby zaktualizować zapytanie za pulpitami nawigacyjnymi.
Gotowe pulpity nawigacyjne
Ulepszyliśmy również gotowe pulpity nawigacyjne na poziomie klastra. W prawym górnym rogu każdego grafu znajduje się przycisk, który umożliwia wyświetlenie bazowego zapytania, które generuje informacje. Wykres to doskonały sposób na zapoznanie się ze sposobem efektywnego wykonywania zapytań dotyczących nowych tabel.
Włączanie obu integracji w celu przyspieszenia migracji
Możesz jednocześnie aktywować zarówno klasyczne, jak i nowe integracje usługi Azure Monitor w klastrze, który kwalifikuje się do szybkiej migracji obu integracji do nowej integracji usługi Azure Monitor. Nowa integracja jest dostępna dla wszystkich klastrów utworzonych po połowie września 2020 r.
W ten sposób można łatwo wykonać porównanie równoległe dla używanych zapytań.
Włączanie integracji klasycznej
Jeśli używasz klastra utworzonego po połowie września 2020 r., w portalu klastra zobaczysz nowe środowisko portalu. Aby włączyć nowy potok, możesz wykonać kroki opisane w sekcji Aktywowanie nowej integracji usługi Azure Monitor. Aby aktywować integrację klasyczną w tym klastrze, przejdź do strony portalu klastra. Wybierz okienko Monitorowanie integracji w sekcji Monitorowanie menu po lewej stronie portalu klastra. Wybierz pozycję Konfiguruj usługę Azure Monitor dla integracji klastrów usługi HDInsight (wersja klasyczna). Zostanie wyświetlony kontekst boczny z przełącznikiem, którego można użyć do włączenia i wyłączenia klasycznej integracji monitorowania platformy Azure.
Uwaga
Nie zobaczysz żadnych dzienników ani metryk z klasycznej integracji za pośrednictwem dzienników portalu klastra i strony Szczegółowe informacje. Tylko nowe dzienniki integracji i metryki będą obecne w tych lokalizacjach.
Tworzenie nowych klastrów przy użyciu klasycznej integracji usługi Azure Monitor nie jest dostępne po 1 stycznia 2023 r.
Oś czasu wydania i pomocy technicznej
- Klasyczna integracja usługi Azure Monitoring będzie niedostępna po 15 października 2021 r. Po tej dacie nie można włączyć klasycznej integracji monitorowania platformy Azure.
- Istniejące klasyczne integracje monitorowania platformy Azure będą nadal działać. Będzie dostępna ograniczona obsługa klasycznej integracji usługi Azure Monitoring.
- Problemy zostaną zbadane po przesłaniu biletu pomocy technicznej przez klientów.
- Jeśli rozwiązanie wymaga zmiany obrazu, klienci powinni przejść do nowej integracji.
- Nie będziemy stosować poprawek klasycznych klastrów integracji usługi Azure Monitoring z wyjątkiem krytycznych problemów z zabezpieczeniami.
Dodatek: Mapowanie tabeli
Aby uzyskać mapowania tabel dzienników z klasycznej integracji usługi Azure Monitor z nową tabelą, zobacz Mapowanie tabeli dzienników.