Udostępnij za pośrednictwem

Wykonywanie zapytań dotyczących zimnych danych przy użyciu gorących okien

  • Artykuł

Gorące okna umożliwiają wydajne wykonywanie zapytań dotyczących zimnych danych bez konieczności eksportowania danych lub używania innych narzędzi. Użyj gorących okien, gdy rozmiar zimnych danych jest duży, a odpowiednie dane pochodzą z dowolnego czasu w przeszłości. Gorące okna są zdefiniowane w zasadach pamięci podręcznej.

Usługa Azure Data Explorer przechowuje swoje dane w niezawodnym długoterminowym magazynie i buforuje część tych danych w węzłach klastra. Zasady pamięci podręcznej określają, które dane są buforowane. Buforowane dane są traktowane jako gorące, podczas gdy pozostałe dane są uważane za zimne.

Aby wykonywać zapytania dotyczące zimnych danych, platforma Azure Data Explorer przetwarza krok ładowania, który wymaga uzyskania dostępu do warstwy magazynowania o znacznie większym opóźnieniu niż dysk lokalny. Gdy zapytanie jest ograniczone do małego przedziału czasu, często nazywane zapytaniami "punkt w czasie", ilość danych do pobrania będzie zwykle mała, a zapytanie zostanie szybko ukończone. Na przykład analizy kryminalistyczne, które wysyłają zapytania dotyczące danych telemetrycznych w danym dniu w przeszłości, należą do tej kategorii. Wpływ na czas trwania zapytania zależy od rozmiaru danych ściągniętych z magazynu i może być znaczący. Jeśli skanujesz dużą ilość zimnych danych, wydajność zapytań może skorzystać z używania gorących okien.

W tym dokumencie pokazano, jak używać gorących okien do wykonywania zapytań dotyczących zimnych danych.

Wymagania wstępne

Konfigurowanie automatycznego skalowania w klastrze

Po zmianie zasad pamięci podręcznej klaster automatycznie buforuje odpowiednie dane na swoich dyskach. Należy skalować klaster, aby pomieścić dodatkowy dysk wymagany do nowej definicji pamięci podręcznej. Zalecamy skonfigurowanie klastra w celu używania ustawień optymalizacji autoskalowania .

  1. W Azure Portal przejdź do zasobu klastra usługi Azure Data Explorer. W obszarze Ustawienia wybierz pozycję Skaluj w poziomie.

  2. W oknie Skalowanie w poziomie wybierz pozycję Zoptymalizowane autoskalowanie.

  3. Wybierz minimalną liczbę wystąpień i maksymalną liczbę wystąpień. Skalowanie automatyczne klastra obejmuje zakresy między tymi dwiema liczbami na podstawie obciążenia.

  4. Wybierz pozycję Zapisz.

    Zoptymalizowana metoda autoskalowania.

Teraz można oczekiwać optymalnej wydajności podczas korzystania z gorących okien.

Ustawianie gorących okien

Okna gorące są częścią składni poleceń zasad pamięci podręcznej i są ustawione za pomocą .alter policy caching polecenia .

Uwaga

Zaktualizowanie pamięci podręcznej dysku klastra na podstawie zaktualizowanej definicji zasad pamięci podręcznej pamięci podręcznej może potrwać do godziny.

  1. Zanotuj początkowe zasady buforowania przy użyciu .show policy caching polecenia .

    .show table MyDatabase.MyTable policy caching

  2. Zmień zasady pamięci podręcznej przy użyciu następującej składni. Dla pojedynczej bazy danych lub tabeli można zdefiniować kilka gorących okien.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Gdzie:

    • from: Godzina rozpoczęcia okna gorącego (data/godzina)
    • to: Godzina zakończenia gorącego okna (data/godzina)

    Na przykład zapytania uruchamiane w ramach następujących ustawień będą badać dane z ostatnich 14 dni na danych przechowywanych przez trzy lata.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Uruchamianie zapytania

Uruchom zapytanie lub zapytania, które chcesz wykonać w okresie określonym w gorących oknach.

Przywróć ustawienia

  1. Użyj oryginalnych ustawień pamięci podręcznej pobranych powyżej w sekcji Ustawianie gorących okien.
  2. Przywróć zasady pamięci podręcznej do oryginalnych ustawień za pomocą.alter policy caching polecenia .

Ponieważ skonfigurowano zoptymalizowane autoskalowanie dla tego klastra, klaster zmniejszy się do oryginalnego rozmiaru.

Zawartość pokrewna