Tabulky faktů a dimenzí

  • Článek

Při návrhu schématu pro databázi Azure Data Explorer si představte tabulky, které patří do jedné ze dvou kategorií.

Tabulky faktů

Tabulky faktů jsou tabulky, jejichž záznamy jsou neměnná "fakta", jako jsou protokoly služeb a informace o měření. Záznamy se do tabulky postupně připojují streamovaným způsobem nebo ve velkých blocích. Záznamy tam zůstanou, dokud se neodeberou kvůli nákladům nebo ztrátě hodnoty. Záznamy se jinak nikdy neaktualizují.

Data entit se někdy uchovávají v tabulkách faktů, kde se data entity mění pomalu. Například data o nějaké fyzické entitě, například o kancelářském vybavení, které často mění umístění. Vzhledem k tomu, že data v Kusto jsou neměnná, je běžným postupem mít v každé tabulce dva sloupce:

  • Sloupec identity (string), který identifikuje entitu
  • Sloupec časového razítka poslední změny (datetime)

Pak se načte pouze poslední záznam pro každou identitu entity.

Tabulky dimenzí

Tabulky dimenzí:

  • Uložení referenčních dat, jako jsou vyhledávací tabulky z identifikátoru entity, do jejích vlastností
  • Uložení dat podobných snímkům v tabulkách, jejichž celý obsah se změní v jedné transakci

Tabulky dimenzí se pravidelně neingestují s novými daty. Místo toho se celý datový obsah aktualizuje najednou pomocí operací, jako jsou .set-or-replace, .move extents nebo .rename tables.

Někdy můžou být tabulky dimenzí odvozené z tabulek faktů. Tento proces lze provést prostřednictvím materializovaného zobrazení tabulky faktů s dotazem na tabulku, který přebírá poslední záznam pro každou entitu.

Rozlišení tabulek faktů a dimenzí

V Kusto existují procesy, které rozlišují mezi tabulkami faktů a tabulkami dimenzí. Jedním z nich je průběžný export.

Tyto mechanismy zaručeně zpracovávají data v tabulkách faktů přesně jednou. Spoléhají na mechanismus kurzoru databáze .

Například při každém spuštění úlohy průběžného exportu se exportují všechny záznamy, které byly přijaty od poslední aktualizace kurzoru databáze. Úlohy průběžného exportu musí rozlišovat mezi tabulkami faktů a tabulkami dimenzí. Tabulky faktů zpracovávají jenom nově přijatá data a tabulky dimenzí se používají jako vyhledávání. Proto je třeba vzít v úvahu celou tabulku.

Neexistuje žádný způsob, jak "označit" tabulku jako "tabulku faktů" nebo "tabulku dimenzí". Způsob, jakým se data do tabulky ingestují a jak se tabulka používá, určuje její typ.