Jaké jsou běžné scénáře použití zásad aktualizace tabulek?

  • Článek

Tato část popisuje některé známé scénáře, které používají zásady aktualizace. Zvažte použití těchto scénářů, pokud jsou vaše okolnosti podobné.

V tomto článku se dozvíte o následujících běžných scénářích:

Rozšiřování dat architektury Medailon

Zásady aktualizací tabulek poskytují efektivní způsob použití rychlých transformací a jsou kompatibilní s architekturou Lakehouse s medailonovou architekturou v prostředcích infrastruktury.

Když v architektuře medailonu přijdou nezpracovaná data do cílové tabulky (bronzové vrstvy), je možné použít zásady aktualizace k použití počátečních transformací a uložení rozšířeného výstupu do tabulky stříbrné vrstvy. Tento proces může kaskádovitě způsobit, že data z tabulky stříbrné vrstvy můžou aktivovat další zásady aktualizace, které data dále zpřesní a hydratují tabulku zlaté vrstvy.

Následující diagram znázorňuje příklad zásady aktualizace rozšiřování dat s názvem Get_Values. Rozšířená data se vygenerují do tabulky stříbrné vrstvy, která obsahuje počítanou hodnotu časového razítka a vyhledávací hodnoty založené na nezpracovaných datech.

Diagram znázorňující scénář rozšiřování dat v architektuře medailonu pomocí řešení zásad aktualizace

Směrování dat

Zvláštní případ rozšiřování dat nastává, když nezpracovaný datový prvek obsahuje data, která musí být směrována do jiné tabulky na základě jednoho nebo více atributů samotných dat.

Představte si příklad, který používá stejná základní data jako v předchozím scénáři, ale tentokrát existují tři zprávy. První zpráva je zpráva telemetrie zařízení, druhá zpráva je zpráva o alarmu zařízení a třetí zpráva je chyba.

K řešení tohoto scénáře se používají tři zásady aktualizace. Zásady aktualizace Get_Telemetry filtrují zprávy telemetrie zařízení, obohacují data a ukládají je do Device_Telemetry tabulky. Podobně zásada aktualizace Get_Alarms uloží data do Device_Alarms tabulky. Nakonec zásada aktualizace Log_Error odesílá neznámé zprávy do tabulky Error_Log , což operátorům umožňuje detekovat poškozené zprávy nebo neočekávaný vývoj schématu.

Následující diagram znázorňuje příklad se třemi zásadami aktualizace.

Diagram znázorňující scénář směrování dat s využitím řešení zásad aktualizace

Optimalizace datových modelů

Zásady aktualizace tabulek jsou vytvořené pro rychlost. Tabulky obvykle odpovídají návrhu schématu star, který podporuje vývoj datových modelů optimalizovaných z hlediska výkonu a použitelnosti.

Dotazování tabulek ve schématu star často vyžaduje spojování tabulek. Spojení tabulek ale můžou vést k problémům s výkonem, zejména při dotazování na velké objemy dat. Pokud chcete zlepšit výkon dotazů, můžete model zploštět uložením denormalizovaných dat v době příjmu dat.

Spojování tabulek v době příjmu dat má další výhodu operace s malou dávkou dat, což vede ke snížení výpočetních nákladů spojení. Tento přístup může výrazně zlepšit výkon podřízených dotazů.

Můžete například rozšířit nezpracovaná telemetrická data ze zařízení vyhledáním hodnot v tabulce dimenzí. Zásady aktualizace můžou provést vyhledávání v době příjmu dat a uložit výstup do denormalizované tabulky. Kromě toho můžete výstup rozšířit o data z tabulky referenčních dat.

Následující diagram znázorňuje příklad, který obsahuje zásadu aktualizace s názvem Enrich_Device_Data. Rozšiřuje výstupní data o data z tabulky referenčních dat lokality .

Diagram znázorňující scénář optimalizovaných datových modelů s využitím řešení zásad aktualizace

Související obsah