Dotazování studených dat pomocí horkých oken

  • Článek

Horká okna umožňují efektivně dotazovat studená data bez nutnosti exportu dat nebo použití jiných nástrojů. Horká okna používejte, když jsou studená data velká a příslušná data pocházejí z libovolného času v minulosti. Horká okna jsou definována v zásadách mezipaměti.

Azure Data Explorer ukládá data do spolehlivého dlouhodobého úložiště a část těchto dat ukládá do mezipaměti na uzlech clusteru. Zásady mezipaměti určují, která data se ukládají do mezipaměti. Data uložená v mezipaměti se považují za horká, zatímco ostatní data se považují za studená.

Pokud chcete dotazovat studená data, Azure Data Explorer zpracovat krok načítání, který vyžaduje přístup k vrstvě úložiště s mnohem vyšší latencí než místní disk. Pokud je dotaz omezený na malé časové období, často označované jako dotazy k určitému bodu v čase, bude obvykle množství dat, která se mají načíst, malé a dotaz se dokončí rychle. Do této kategorie spadají například forenzní analýzy dotazující se na telemetrii v daném dni v minulosti. Dopad na dobu trvání dotazu závisí na velikosti dat, která se načtou z úložiště, a může být významný. Pokud kontrolujete velké množství studených dat, může výkon dotazů těžit z používání horkých oken.

Tento dokument ukazuje, jak pomocí horkých oken dotazovat studená data.

Požadavky

Konfigurace automatického škálování v clusteru

Po změně zásad mezipaměti cluster automaticky ukládá příslušná data do mezipaměti na svých discích. Cluster budete muset škálovat tak, aby se pojal další disk potřebný pro novou definici mezipaměti. Doporučujeme nakonfigurovat cluster tak, aby používal nastavení optimalizace automatického škálování .

  1. V Azure Portal přejděte k prostředku clusteru Azure Data Explorer. V části Nastavení vyberte Horizontální navýšení kapacity.

  2. V okně Horizontální navýšení kapacity vyberte Optimalizované automatické škálování.

  3. Vyberte minimální počet instancí a maximální počet instancí. Automatické škálování clusteru se pohybuje mezi těmito dvěma čísly v závislosti na zatížení.

  4. Vyberte Uložit.

    Optimalizovaná metoda automatického škálování.

Nyní můžete očekávat optimální výkon při používání horkých oken.

Nastavení horkých oken

Horká okna jsou součástí syntaxe příkazů zásad mezipaměti a nastavují se .alter policy caching pomocí příkazu .

Poznámka

Úplné aktualizace mezipaměti disku clusteru na základě aktualizované definice zásad mezipaměti může trvat až hodinu.

  1. Poznamenejte si počáteční zásady ukládání do mezipaměti pomocí .show policy caching příkazu .

    .show table MyDatabase.MyTable policy caching

  2. Upravte zásady mezipaměti pomocí následující syntaxe. Pro jednu databázi nebo tabulku může být definováno několik horkých oken.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Kde:

    • from: Počáteční čas horkého okna (datetime)
    • to: Koncový čas horkého okna (datetime)

    Například dotazy spuštěné v následujících nastaveních budou zkoumat data za posledních 14 dnů s daty, která se uchovávají po dobu tří let.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Spuštění dotazu

Spusťte požadovaný dotaz nebo dotazy během časového období zadaného v horkých oknech.

Vrátit zpět nastavení

  1. Použijte původní nastavení mezipaměti načtené výše v části Nastavení horkých oken.
  2. Pomocí příkazu vraťte zásady mezipaměti do původního .alter policy cachingnastavení.

Vzhledem k tomu, že jste pro tento cluster nakonfigurovali optimalizované automatické škálování, cluster se zmenší na původní velikost.

Související obsah