A táblafrissítési szabályzatok használatának gyakori forgatókönyvei

  • Cikk

Ez a szakasz néhány ismert forgatókönyvet ismertet, amelyek frissítési szabályzatokat használnak. Fontolja meg ezeket a forgatókönyveket, ha a körülmények hasonlóak.

Ebben a cikkben a következő gyakori forgatókönyveket ismerheti meg:

Medallion architektúra adatbővítés

A táblákra vonatkozó frissítési szabályzatok hatékony módot biztosítanak a gyors átalakítások alkalmazására, és kompatibilisek a Fabric medallion lakehouse architektúrájával.

A medallion architektúrában, amikor a nyers adatok egy kezdőtáblába (bronzrétegbe) kerülnek, egy frissítési szabályzat használható kezdeti átalakítások alkalmazásához és a bővített kimenet mentéséhez egy ezüstrétegű táblára. Ez a folyamat kaszkádolt lehet, ahol az ezüstréteg-táblából származó adatok egy másik frissítési szabályzatot aktiválhatnak az adatok további finomítása és egy aranyréteg-tábla hidratálása érdekében.

Az alábbi ábra egy Get_Values nevű adatdúsítási frissítési szabályzat példáját szemlélteti. A bővített adatok egy ezüstrétegű táblába kerülnek, amely a nyers adatok alapján számított időbélyeg-értéket és keresési értékeket tartalmaz.

A medallion architektúra adatbővítési forgatókönyvét bemutató ábra a frissítési szabályzatok megoldásával.

Adat-útválasztás

Az adatbővítés különleges esete akkor fordul elő, ha egy nyers adatelem olyan adatokat tartalmaz, amelyeket egy másik táblába kell irányítani magának az adatnak egy vagy több attribútuma alapján.

Vegyünk egy példát, amely ugyanazokat az alapadatokat használja, mint az előző forgatókönyv, de ezúttal három üzenet van. Az első üzenet egy eszköz telemetriai üzenete, a második egy eszközriasztási üzenet, a harmadik pedig egy hiba.

A forgatókönyv kezeléséhez három frissítési szabályzatot használunk. A Get_Telemetry frissítési szabályzat szűri az eszköz telemetriai üzenetét, bővíti az adatokat, és menti azokat a Device_Telemetry táblába. Hasonlóképpen, a Get_Alarms frissítési szabályzat az adatokat a Device_Alarms táblába menti. Végül a Log_Error frissítési szabályzat ismeretlen üzeneteket küld a Error_Log táblába, így az operátorok észlelik a hibásan formázott üzeneteket vagy a séma váratlan fejlődését.

Az alábbi diagram a három frissítési szabályzattal ábrázolja a példát.

A frissítési szabályzatok megoldását használó adat-útválasztási forgatókönyvet bemutató ábra.

Adatmodellek optimalizálása

A táblák frissítési szabályzatai a sebesség érdekében lettek létrehozva. A táblák általában star sématervnek felelnek meg, amely támogatja a teljesítményre és a használhatóságra optimalizált adatmodellek fejlesztését.

A táblák star sémában való lekérdezéséhez gyakran össze kell illeszteni a táblákat. A táblaillesztések azonban teljesítményproblémákhoz vezethetnek, különösen nagy mennyiségű adat lekérdezése esetén. A lekérdezési teljesítmény javítása érdekében simíthatja a modellt a denormalizált adatok betöltéskor történő tárolásával.

A táblák betöltéskor történő összekapcsolásának további előnye, hogy egy kis adatkötegen működik, ami az illesztés alacsonyabb számítási költségeit eredményezi. Ez a megközelítés jelentősen javíthatja az alsóbb rétegbeli lekérdezések teljesítményét.

A nyers telemetriai adatokat például bővítheti egy eszközről, ha egy dimenziótáblából keres értékeket. A frissítési házirendek elvégezhetik a betöltési idő lekérdezését, és menthetik a kimenetet egy denormalizált táblába. Emellett kiterjesztheti a kimenetet egy referenciaadattáblából származó adatforrással is.

Az alábbi ábra a példát mutatja be, amely egy Enrich_Device_Data nevű frissítési szabályzatot tartalmaz. Kibővíti a kimeneti adatokat a helyhivatkozási adattáblából származó adatforrásokkal.

Diagram az optimalizált adatmodellek forgatókönyvéről frissítési szabályzatok megoldásával.

Kapcsolódó tartalom