Udostępnij za pośrednictwem

Monitorowanie wydajności, kondycji i użycia usługi Azure Data Explorer za pomocą metryk

  • Artykuł

Metryki usługi Azure Data Explorer zapewniają kluczowe wskaźniki dotyczące kondycji i wydajności zasobów klastra usługi Azure Data Explorer. Użyj metryk opisanych w tym artykule, aby monitorować użycie, kondycję i wydajność klastra usługi Azure Data Explorer w określonym scenariuszu jako metryki autonomiczne. Możesz również użyć metryk jako podstawy dla operacyjnych pulpitów nawigacyjnych platformy Azure i alertów platformy Azure.

Aby uzyskać więcej informacji na temat Eksploratora metryk platformy Azure, zobacz Eksplorator metryk.

Wymagania wstępne

Monitorowanie zasobów usługi Azure Data Explorer przy użyciu metryk

  1. Zaloguj się w witrynie Azure Portal.
  2. W okienku po lewej stronie klastra usługi Azure Data Explorer wyszukaj metryki.
  3. Wybierz pozycję Metryki , aby otworzyć okienko metryk i rozpocząć analizę w klastrze. Wyszukaj i wybierz metryki w witrynie Azure Portal.

Praca w okienku metryk

W okienku metryk wybierz określone metryki do śledzenia, wybierz sposób agregowania danych i tworzenie wykresów metryk do wyświetlenia na pulpicie nawigacyjnym.

Selektory przestrzeni nazw zasobów i metryk są wstępnie wybrane dla klastra usługi Azure Data Explorer. Liczby na poniższej ilustracji odpowiadają numerowanej liście poniżej. Prowadzą Cię przez różne opcje konfigurowania i wyświetlania metryk.

Okienko Metryki.

  1. Aby utworzyć wykres metryki, wybierz pozycję Nazwa metryki i odpowiednią agregację na metrykę. Aby uzyskać więcej informacji na temat różnych metryk, zobacz obsługiwane metryki usługi Azure Data Explorer.
  2. Wybierz pozycję Dodaj metrykę , aby wyświetlić wiele metryk wykreślionych na tym samym wykresie.
  3. Wybierz pozycję + Nowy wykres , aby wyświetlić wiele wykresów w jednym widoku.
  4. Użyj selektora czasu, aby zmienić zakres czasu (wartość domyślna: ostatnie 24 godziny).
  5. Użyj opcji Dodaj filtr i Zastosuj dzielenie dla metryk, które mają wymiary.
  6. Wybierz pozycję Przypnij do pulpitu nawigacyjnego, aby dodać konfigurację wykresu do pulpitów nawigacyjnych , aby można było je wyświetlić ponownie.
  7. Ustaw pozycję Nowa reguła alertu, aby zwizualizować metryki przy użyciu ustawionych kryteriów. Nowa reguła alertów będzie zawierać zasób docelowy, metryka, podział i wymiary filtru z wykresu. Zmodyfikuj te ustawienia w okienku tworzenia reguły alertu.

Obsługiwane metryki usługi Azure Data Explorer

Metryki usługi Azure Data Explorer zapewniają wgląd zarówno w ogólną wydajność, jak i wykorzystanie zasobów, a także informacje o konkretnych akcjach, takich jak pozyskiwanie lub wykonywanie zapytań. Metryki w tym artykule zostały pogrupowane według typu użycia.

Typy metryk to:

Aby zapoznać się z alfabetyczną listą metryk usługi Azure Monitor dla usługi Azure Data Explorer, zobacz obsługiwane metryki klastra usługi Azure Data Explorer.

Metryki klastra

Metryki klastra śledzą ogólną kondycję klastra. Na przykład użycie zasobów i pozyskiwania oraz czas odpowiedzi.

Metryka Jednostka Agregacja Opis metryki Wymiary
Wykorzystanie pamięci podręcznej (przestarzałe) Procent Średnia, Maksymalna, Minimalna Procent przydzielonych zasobów pamięci podręcznej, które są obecnie używane przez klaster. Pamięć podręczna to rozmiar dysku SSD przydzielonego do aktywności użytkowników zgodnie ze zdefiniowanymi zasadami pamięci podręcznej.

Zrównoważona średnia wartość metryki Wykorzystanie pamięci podręcznej dla klastra wynosi maksymalnie 80%. Jeśli średnie wykorzystanie pamięci podręcznej wynosi powyżej 80%, klaster powinien wynosić
skalowane w górę do warstwy cenowej zoptymalizowanej pod kątem magazynu lub
skalowanie w poziomie do większej liczby wystąpień. Alternatywnie dostosuj zasady pamięci podręcznej do mniejszej liczby dni w pamięci podręcznej. Jeśli użycie pamięci podręcznej przekracza 100%, rozmiar danych do buforowania jest większy niż całkowity rozmiar pamięci podręcznej w klastrze.
Ta metryka jest przestarzała i przedstawiana tylko pod kątem zgodności z poprzednimi wersjami. Zamiast tego użyj metryki "Współczynnik wykorzystania pamięci podręcznej".		 Brak
Współczynnik wykorzystania pamięci podręcznej Procent Średnia, Maksymalna, Minimalna Procent wykorzystania miejsca na dysku dedykowanego dla gorącej pamięci podręcznej w klastrze.
100% oznacza, że miejsce na dysku przypisane do gorących danych jest optymalnie wykorzystywane. Nie jest wymagana żadna akcja, a klaster jest całkowicie w porządku.
Mniej niż 100% oznacza, że miejsce na dysku przydzielone dla gorących danych nie jest w pełni wykorzystywane.
Ponad 100% oznacza, że miejsce na dysku klastra nie jest wystarczająco duże, aby pomieścić gorące dane zgodnie z zasadami buforowania. Aby zapewnić dostępność wystarczającej ilości miejsca dla wszystkich gorących danych, należy zmniejszyć ilość gorących danych lub klaster musi zostać przeskalowany w poziomie. Zalecamy włączenie automatycznego skalowania.		 Brak
Procesor CPU Procent Średnia, Maksymalna, Minimalna Procent przydzielonych zasobów obliczeniowych, które są obecnie używane przez maszyny w klastrze.

Zrównoważona średnia wartość metryki Procesor CPU dla klastra wynosi maksymalnie 80%. Maksymalna wartość metryki Procesor CPU wynosi 100%, co oznacza, że nie ma żadnych dodatkowych zasobów obliczeniowych do przetwarzania danych.
Jeśli klaster nie działa prawidłowo, sprawdź maksymalną wartość procesora CPU, aby określić, czy są zablokowane określone procesory CPU.		 Brak
Wykorzystanie pozyskiwania Procent Średnia, Maksymalna, Minimalna Procent faktycznych zasobów używanych do pozyskiwania danych ze wszystkich zasobów przydzielonych przez zasady pojemności do wykonywania działania pozyskiwania. Domyślne zasady pojemności przewidują maksymalnie 512 współbieżnych operacji pozyskiwania lub 75% zasobów klastra odpowiedzialnych za pozyskiwanie.

Zrównoważona średnia wartość metryki Wykorzystanie pozyskiwania dla klastra wynosi maksymalnie 80%. Maksymalna wartość metryki Wykorzystanie pozyskiwania wynosi 100%, co oznacza, że używane są wtedy wszystkie możliwości pozyskiwania klastra i może pojawić się kolejka pozyskiwania.		 Brak
InstanceCount Count Średnia Łączna liczba wystąpień.
Zachowaj życie Count Średnia Śledzi czas odpowiedzi klastra.

Prawidłowo reagujący klaster zwraca wartość 1, zablokowany lub odłączony klaster zwraca wartość 0.
Łączna liczba poleceń z pełną liczbą ograniczonych poleceń Count Średnia, Maksymalna, Minimalna, Suma Liczba poleceń ograniczonych (odrzuconych) w klastrze, ponieważ osiągnięto maksymalną dozwoloną liczbę współbieżnych (równoległych) poleceń. Brak
Łączna liczba zakresów Count Średnia, Maksymalna, Minimalna, Suma Łączna liczba zakresów danych w klastrze.

Zmiany w tej metryce mogą oznaczać duże zmiany struktury danych i duże obciążenie klastra, ponieważ scalanie zakresów danych jest dużym obciążeniem procesora CPU.		 Brak
Opóźnienie obserwowanego Milisekundy Średnia, Maksymalna, Minimalna Bazy danych obserwowanych synchronizują zmiany w wiodących bazach danych. Ze względu na synchronizację opóźnienie danych może potrwać od kilku sekund do kilku minut w dostępności danych.

Ta metryka mierzy długość opóźnienia czasu. Opóźnienie czasowe zależy od kilku czynników, takich jak: ogólny rozmiar i szybkość pozyskanych danych do lidera, liczba obserwowanych baz danych, szybkość operacji wewnętrznych wykonywanych na lidera (operacje scalania/ponownego kompilowania).

Jest to metryki na poziomie klastra: obserwatorzy przechwytują metadane wszystkich obserwowanych baz danych. Ta metryka reprezentuje opóźnienie procesu.		 Brak

Eksportowanie metryk

Metryki eksportu śledzą ogólną kondycję i wydajność operacji eksportu, takich jak opóźnienie, wyniki, liczba rekordów i wykorzystanie.

Metryka Jednostka Agregacja Opis metryki Wymiary
Liczba eksportowanych rekordów w trybie ciągłym Count Sum Liczba wyeksportowanych rekordów we wszystkich zadaniach eksportu ciągłego. ContinuousExportName
Maksymalna liczba opóźnień eksportu ciągłego Count Maksimum Opóźnienie (w minutach) zgłoszone przez zadania eksportu ciągłego w klastrze. Brak
Liczba oczekujących operacji eksportu ciągłego Count Maksimum Liczba oczekujących zadań eksportu ciągłego. Te zadania są gotowe do uruchomienia, ale oczekują w kolejce, prawdopodobnie ze względu na niewystarczającą pojemność).
Wynik eksportu ciągłego Liczba Liczba Wynik niepowodzenia/powodzenia każdego uruchomienia eksportu ciągłego. ContinuousExportName
Wykorzystanie eksportu Procent Maksimum Wykorzystana pojemność eksportu z całkowitej pojemności eksportu w klastrze (od 0 do 100). Brak

Metryki pozyskiwania

Metryki pozyskiwania śledzą ogólną kondycję i wydajność operacji pozyskiwania, takich jak opóźnienie, wyniki i wolumin. Aby uściślić analizę:

  • Zastosuj filtry do wykresów , aby wykreślić częściowe dane według wymiarów. Na przykład eksplorowanie pozyskiwania do określonego Databaseelementu .
  • Zastosuj dzielenie do wykresu , aby wizualizować dane według różnych składników. Ten proces jest przydatny do analizowania metryk zgłaszanych przez każdy krok potoku pozyskiwania, na przykład Blobs received.
Metryka Jednostka Agregacja Opis metryki Wymiary
Liczba obiektów blob wsadowych Count Średnia, Maksymalna, Minimalna Liczba źródeł danych w ukończonej partii na potrzeby pozyskiwania. baza danych
Czas trwania partii Sekundy Średnia, Maksymalna, Minimalna Czas trwania fazy dzielenia na partie w przepływie pozyskiwania. baza danych
Rozmiar partii Bajty Średnia, Maksymalna, Minimalna Nieskompresowany oczekiwany rozmiar danych w zagregowanej partii do pozyskiwania. baza danych
Przetworzone partie Count Suma, Maksimum, Min Liczba partii zakończonych do pozyskiwania.
Batching Type: Wyzwalacz uszczelniania partii.
Aby uzyskać pełną listę typów przetwarzania wsadowego, zobacz Typy wsadowe.		 Baza danych, typ przetwarzania wsadowego
Odebrane obiekty blob Count Suma, Maksimum, Min Liczba obiektów blob odebranych ze strumienia wejściowego przez składnik.

Użyj stosowania podziału , aby przeanalizować każdy składnik.		 Baza danych, typ składnika, nazwa składnika
Przetworzone obiekty blob Count Suma, Maksimum, Min Liczba obiektów blob przetwarzanych przez składnik.

Użyj stosowania podziału , aby przeanalizować każdy składnik.		 Baza danych, typ składnika, nazwa składnika
Porzucone obiekty blob Count Suma, Maksimum, Min Liczba obiektów blob trwale porzuconych przez składnik. Dla każdego takiego obiektu blob Ingestion result jest wysyłana metryka z przyczyną błędu.

Użyj stosowania podziału , aby przeanalizować każdy składnik.		 Baza danych, typ składnika, nazwa składnika
Opóźnienie odnajdywania Sekundy Średnia Czas z kolejkowania danych do czasu odnajdywania przez połączenia danych. Ten czas nie jest uwzględniany w metrykach opóźnienia etapu ani w metrykach opóźnienia pozyskiwania .

Opóźnienie odnajdywania może wzrosnąć w następujących sytuacjach:
  • Gdy są używane połączenia danych między regionami.

  • W przypadku połączeń danych usługi Event Hubs, jeśli liczba partycji usługi Event Hubs nie jest wystarczająca dla woluminu wychodzącego danych.
Typ składnika, nazwa składnika
Odebrane zdarzenia Count Suma, Maksimum, Min Liczba zdarzeń odebranych przez połączenia danych ze strumienia wejściowego. Typ składnika, nazwa składnika
Przetworzone zdarzenia Count Suma, Maksimum, Min Liczba zdarzeń przetwarzanych przez połączenia danych. Typ składnika, nazwa składnika
Zdarzenia porzucone Count Suma, Maksimum, Min Liczba zdarzeń trwale porzuconych przez połączenia danych. Dla każdego takiego zdarzenia Ingestion result jest wysyłana metryka z przyczyną błędu. Typ składnika, nazwa składnika
Opóźnienie pozyskiwania Sekundy Średnia, Maksymalna, Minimalna Opóźnienie pozyskiwania danych od czasu odebrania danych w klastrze do momentu, gdy są gotowe do utworzenia zapytania. Okres opóźnienia pozyskiwania zależy od scenariusza pozyskiwania.
Ingestion Kind: Pozyskiwanie strumieniowe lub pozyskiwanie w kolejce		 Rodzaj pozyskiwania
Wynik pozyskiwania Count Sum Całkowita liczba źródeł, które zakończyły się niepowodzeniem lub pomyślnie pozyskane.
Status: Powodzenie pomyślnego pozyskiwania lub kategorii niepowodzeń w przypadku błędów. Aby uzyskać pełną listę możliwych kategorii błędów, zobacz Kody błędów pozyskiwania w usłudze Azure Data Explorer.
Failure Status Type: czy awaria jest trwała, czy przejściowa. W przypadku pomyślnego pozyskiwania ten wymiar to None.

Uwaga:
  • Zdarzenia pozyskiwania usług Event Hubs i IoT Hub są wstępnie agregowane w jeden obiekt blob, a następnie traktowane jako pojedyncze źródło do pozyskiwania. W związku z tym zdarzenia wstępnie zagregowane są wyświetlane jako pojedynczy wynik pozyskiwania po wstępnej agregacji.

  • Błędy przejściowe są ponawiane wewnętrznie przez ograniczoną liczbę razy. Każdy błąd przejściowy jest zgłaszany jako wynik przejściowego pozyskiwania. W związku z tym pojedyncze pozyskiwanie może spowodować powstanie więcej niż jednego wyniku pozyskiwania.
Stan, typ stanu niepowodzenia
Wolumin pozyskiwania (w bajtach) Count Maks., Suma Całkowity rozmiar danych pozyskanych do klastra (w bajtach) przed kompresją. baza danych
Długość kolejki Count Średnia Liczba oczekujących komunikatów w kolejce wejściowej składnika. Składnik menedżera przetwarzania wsadowego ma jeden komunikat na obiekt blob. Składnik menedżera pozyskiwania zawiera jeden komunikat na partię. Partia to jedno polecenie pozyskiwania z co najmniej jednym obiektem blob. Typ składnika
Najstarszy komunikat w kolejce Sekundy Średnia Czas w sekundach od momentu wstawienia najstarszego komunikatu w kolejce wejściowej składnika. Typ składnika
Odebrane bajty rozmiaru danych Bajty Średnia, Suma Rozmiar danych odbieranych przez połączenia danych ze strumienia wejściowego. Typ składnika, nazwa składnika
Opóźnienie etapu Sekundy Średnia Czas od momentu zaakceptowania komunikatu przez usługę Azure Data Explorer do momentu odebrania jej zawartości przez składnik pozyskiwania na potrzeby przetwarzania.

Użyj zastosuj filtry i wybierz pozycję Typ > składnika StorageEngine , aby wyświetlić łączne opóźnienie pozyskiwania.		 Baza danych, typ składnika

Metryki pozyskiwania przesyłania strumieniowego

Metryki pozyskiwania strumieniowego śledzą dane pozyskiwania przesyłania strumieniowego i szybkość żądań, czas trwania i wyniki.

Metryka Jednostka Agregacja Opis metryki Wymiary
Pozyskiwanie za pomocą przesyłania strumieniowego — szybkość danych Count RateRequestsPerSecond Łączna ilość danych pozyskanych do klastra. Brak
Pozyskiwanie za pomocą przesyłania strumieniowego — czas trwania Milisekundy Średnia, Maksymalna, Minimalna Łączny czas trwania wszystkich żądań pozyskiwania przesyłania strumieniowego. Brak
Pozyskiwanie za pomocą przesyłania strumieniowego — liczba żądań Count Count, Avg, Max, Min, Sum Łączna liczba żądań pozyskiwania przesyłania strumieniowego. Brak
Wynik pozyskiwania za pomocą przesyłania strumieniowego Count Średnia Łączna liczba żądań pozyskiwania przesyłania strumieniowego według typu wyników. Result

Metryki zapytań

Metryki wydajności zapytań śledzą czas trwania zapytania i łączną liczbę współbieżnych lub ograniczonych zapytań.

Metryka Jednostka Agregacja Opis metryki Wymiary
Czas trwania zapytania Milisekundy Średnia, Minimalna, Maksymalna, Suma Łączny czas do odebrania wyników zapytania (nie obejmuje opóźnienia sieci). QueryStatus
QueryResult Liczba Liczba Łączna liczba zapytań. QueryStatus
Łączna liczba współbieżnych zapytań Count Średnia, Maksymalna, Minimalna, Suma Liczba zapytań uruchamianych równolegle w klastrze. Ta metryka jest dobrym sposobem oszacowania obciążenia klastra. Brak
Łączna liczba zapytań z ograniczeniami Count Średnia, Maksymalna, Minimalna, Suma Liczba zapytań ograniczonych (odrzuconych) w klastrze. Dozwolona maksymalna liczba współbieżnych (równoległych) zapytań jest definiowana w zasadach limitu szybkości żądań. Brak

Zmaterializowane metryki widoku

Metryka Jednostka Agregacja Opis metryki Wymiary
MaterializedViewHealth 1, 0 Średnia Wartość to 1, jeśli widok jest uznawany za w dobrej kondycji, w przeciwnym razie 0. Database, MaterializedViewName
MaterializedViewAgeSeconds Sekundy Średnia Widok age jest definiowany przez bieżący czas pomniejszone o czas ostatniego pozyskiwania przetworzonego przez widok. Wartość metryki to czas w sekundach (im niższa jest wartość, widok jest "zdrowszy"). Database, MaterializedViewName
MaterializedViewResult 1 Średnia Metryka zawiera Result wymiar wskazujący wynik ostatniego cyklu materializacji (zobacz metrykę MaterializedViewResult, aby uzyskać szczegółowe informacje o możliwych wartościach). Wartość metryki zawsze jest równa 1. Database, MaterializedViewName, Result
MaterializedViewRecordsInDelta Liczba rekordów Średnia Liczba rekordów obecnie w nieużywanej części tabeli źródłowej. Aby uzyskać więcej informacji, zobacz jak działają zmaterializowane widoki Database, MaterializedViewName
MaterializedViewExtentsRebuild Liczba zakresów Średnia Liczba zakresów wymaganych przez aktualizacje w cyklu materializacji. Database, MaterializedViewName
MaterializedViewDataLoss 1 Maksimum Metryka jest uruchamiana, gdy nieutworzone dane źródłowe zbliżają się do przechowywania. Wskazuje, że zmaterializowany widok jest w złej kondycji. Database, MaterializedViewName, Kind

Powiązana zawartość