Zásady ukládání do mezipaměti (horká a studená mezipaměť)

  • Článek

Azure Data Explorer používá k zajištění rychlého výkonu dotazů vícevrstvý systém mezipaměti dat. Data se ukládají ve spolehlivém úložišti, například Azure Blob Storage, ale jejich části se ukládají do mezipaměti na výpočetních uzlech, SSD nebo dokonce v paměti RAM pro rychlejší přístup.

Real-Time Analytics používá k zajištění rychlého výkonu dotazů vícevrstvý systém mezipaměti dat. Data se ukládají ve spolehlivém úložišti, jako je OneLake, ale jejich části se ukládají do mezipaměti na výpočetních uzlech, ssd nebo dokonce v paměti RAM pro rychlejší přístup.

Zásady ukládání do mezipaměti umožňují zvolit, která data se mají ukládat do mezipaměti. Mezi horkou mezipamětí dat a mezi mezipamětístudených dat můžete rozlišovat nastavením zásad ukládání do mezipaměti pro horká data. Horká data se uchovávají v místním úložišti SSD pro rychlejší výkon dotazů, zatímco studená data se ukládají ve spolehlivém úložišti, které je levnější, ale pomalejší.

Mezipaměť používá 95 % místního disku SSD pro horká data. Pokud není dostatek místa, nejnovější data se přednostně uchovávají v mezipaměti. Zbývajících 5 % se použije pro data, která nejsou kategorizována jako horká. Tento návrh zajistí, že dotazy, které načítají velké množství studených dat, nebudou z mezipaměti vyřazovat horká data.

Nejlepšího výkonu dotazů dosáhnete při ukládání všech ingestovaných dat do mezipaměti. Některá data však nemusí zaručit náklady spojené s uchováváním v horké mezipaměti. Například zřídka přístupné staré záznamy protokolů mohou být považovány za méně důležité. V takových případech se týmy často rozhodnou pro nižší výkon dotazování oproti placení, aby se data udržovala v teple.

Pomocí příkazů pro správu můžete změnit zásady ukládání do mezipaměti na úrovni databáze, tabulky nebo materializovaného zobrazení .

Pomocí příkazů pro správu můžete změnit zásady ukládání do mezipaměti na úrovni clusteru, databáze, tabulky nebo materializovaného zobrazení .

Tip

Váš cluster je navržený pro ad hoc dotazy s průběžnými sadami výsledků, které odpovídají celkové paměti RAM clusteru. U velkých úloh, jako je mapová redukce, může být užitečné ukládat průběžné výsledky do trvalého úložiště. Uděláte to tak, že vytvoříte úlohu průběžného exportu . Tato funkce umožňuje provádět dlouhotrvající dávkové dotazy pomocí služeb, jako je HDInsight nebo Azure Databricks.

Způsob použití zásad ukládání do mezipaměti

Při příjmu dat systém sleduje datum a čas příjmu dat a rozsah, který byl vytvořen. Hodnota data a času příjmu dat rozsahu (nebo maximální hodnota, pokud byl rozsah sestaven z několika již existujících rozsahů) se používá k vyhodnocení zásad ukládání do mezipaměti.

Poznámka

Hodnotu pro datum a čas příjmu dat můžete zadat pomocí vlastnosti creationTimepříjmu dat . Při tom se ujistěte, že Lookback je vlastnost v efektivních zásadách sloučení rozsahů tabulky zarovnaná s hodnotami, které jste nastavili pro creationTime.

Ve výchozím nastavení je nullefektivní zásada , což znamená, že všechna data jsou považována za horká. Zásada null na úrovni tabulky znamená, že se zdědí z databáze. Zásady nanull úrovni tabulky přepíší zásady na úrovni databáze.

Vymezení rozsahu dotazů na horkou mezipaměť

Při spouštění dotazů můžete obor omezit pouze na data v horké mezipaměti.

Poznámka

Rozsah dat se vztahuje pouze na entity, které podporují zásady ukládání do mezipaměti, jako jsou tabulky a materializovaná zobrazení. U jiných entit, jako jsou externí tabulky a data v úložišti řádků, se ignoruje.

Existuje několik možností dotazu:

  • Přidejte do dotazu vlastnost požadavku klienta s názvem query_datascope . Možné hodnoty: default, alla hotcache.
  • set V textu dotazu použijte příkaz: set query_datascope='...'. Možné hodnoty jsou stejné jako pro vlastnost požadavku klienta.
  • datascope=... Přidejte text hned za odkaz na tabulku v textu dotazu. Možné hodnoty jsou all a hotcache.

Hodnota default označuje použití výchozího nastavení clusteru, které určuje, že dotaz by měl pokrýt všechna data.

Pokud dojde k nesrovnalostem mezi různými metodami, má set přednost před vlastností požadavku klienta. Určení hodnoty pro odkaz na tabulku má přednost před oběma odkazy.

Například v následujícím dotazu všechny odkazy na tabulky používají pouze data horké mezipaměti s výjimkou druhého odkazu na "T", který je vymezený na všechna data:

set query_datascope="hotcache";
T | union U | join (T datascope=all | where Timestamp < ago(365d)) on X

Zásady ukládání do mezipaměti vs. zásady uchovávání informací

Zásady ukládání do mezipaměti jsou nezávislé na zásadách uchovávání informací:

  • Zásady ukládání do mezipaměti definují, jak určit prioritu prostředků. Dotazy na důležitá data jsou rychlejší.
  • Zásady uchovávání informací definují rozsah dotazovatelných dat v tabulce nebo databázi (konkrétně SoftDeletePeriod).

Nakonfigurujte tuto zásadu, abyste dosáhli optimální rovnováhy mezi náklady a výkonem na základě očekávaného vzoru dotazu.

Příklad:

  • SoftDeletePeriod = 56d
  • hot cache policy = 28d

V tomto příkladu budou data za posledních 28 dnů na disku SSD clusteru a dalších 28 dnů se uloží do úložiště objektů blob v Azure. Dotazy můžete spouštět na celých 56 dnů dat.

Související obsah