Zdieľať cez

Použite SQL databázu ako prevádzkové dátové úložisko

Vzťahuje sa na:✅databáza SQL v službe Microsoft Fabric

Tento článok popisuje, ako implementovať operačné dátové úložisko (ODS) pomocou SQL databázy vo Fabric. Poskytuje architektonické usmernenie, návrhové vzory, charakteristiky pracovnej záťaže a špecifické úvahy pre Fabric pri budovaní bezpečného, výkonného a riadeného ODS.

Diagram použitia SQL databázy vo Fabric ako operačného dátového úložiska (ODS).

Čo je to ODS?

Prevádzkové úložisko dát (ODS) je subjektovo orientované, integrované a takmer v reálnom čase uložené úložisko, ktoré konsoliduje dáta z viacerých operačných systémov do ľahko kurátorského, normalizovaného modelu – typicky v normalizovaných schémach. Podporuje prevádzkové reportovanie, ľahkú analytiku, poskytovanie API a následnú propagáciu do analytických vrstiev, ako sú Fabric Warehouse alebo Fabric Lakehouse.

ODS nie je zdrojový systém na spracovanie online transakcií (OLTP) ani dimenzionálny sklad.

Namiesto toho slúži ako "horúca, harmonizovaná pravda" počas posledných N minút, hodín či dní, sediac medzi zdrojovými systémami a analytickými platformami.

Kľúčové charakteristiky ODS

Prevádzkové dátové úložisko (ODS) v Microsoft Fabric je navrhnuté tak, aby poskytovalo takmer reálny pohľad na prevádzkové dáta so silnou správou a zárukami výkonu.

  • Prijíma dáta z viacerých zdrojových systémov s nízkou latenciou.
  • Schéma je zvyčajne normalizovaná v tretej normálnej forme (3NF), aby podporila flexibilitu a sledovateľnosť.
  • Kvalita dát sa zabezpečuje prostredníctvom deduplikácie, riešenia identity a spracovania oneskorených alebo mäkko vymazaných záznamov, čím sa vytvára spoľahlivý základ pre prevádzkové reportovanie a analytiku v downstream procese.
  • Vzory podávania zahŕňajú SQL dotazy, prevádzkové dashboardy, upozornenia a API, zatiaľ čo funkcie správy Fabric zabezpečujú súlad a bezpečnosť v celom životnom cykle dát.

SQL databáza vo Fabric slúži ako bezpečný a efektívny kanál medzi prevádzkovými dátami a analytickými platformami.

Súčasti

Nasledujúce komponenty sú zapojené do používania SQL databázy vo Fabric ako prevádzkového dátového úložiska:

  • Obmedzenia a kľúče: Vynucovať obchodnú logiku a referenčnú integritu (prirodzené kľúče, náhradné kľúče, cudzie kľúče).
  • Riešenie identity: Deduplikácia medzi zdrojmi; Uplatňujte pravidlá o prežití.
  • Obsluha: Zobraziť endpointy GraphQL a/alebo vytvoriť Power BI dashboardy.

Najlepšie postupy pri prijímaní a pracovnej záťaži

Vytvorenie ODS na SQL databáze vo Fabric si vyžaduje stratégie prijímania, ktoré vyvažujú čerstvosť, spoľahlivosť a výkon.

  • Dávkové a inkrementálne zaťaženia sa zvyčajne koordinujú cez Fabric Data Pipelines pomocou konektorov s podporou zachytávania zmenených dát, s logikou vodoznakov a opakovaných pokusov na zabezpečenie konzistencie.
    • Nastavte súbežnosť pipeline tak, aby SQL databáza mohla škálovať počas špičkových záťaží a zároveň splniť ciele na úrovni služieb pre aktuálnosť dát.
    • Vodoznakovanie je dôležitý pojem v procesoch inkrementálneho kopírovania. Pomôže vám to ľahko identifikovať, kde naposledy zastavila inkrementálna záťaž.
  • Vykonávať rozsiahle transformácie vyššie v Dataflow Gen2 alebo Spark Notebooks. SQL vrstvu vyhradiť pre finálne MERGE operácie, ktoré vynucujú obmedzenia a udržiavajú výkon podobný OLTP.
  • Používajte idempotentné návrhové vzory, ktoré kombinujú detekciu zmien, vodoznakovanie, T-SQL MERGE a riadiace tabuľky pre bezpečné reštarty a odolnosť prevádzky.

Engine a prostredie

SQL databáza vo Fabric je založená na rovnakom SQL Database Engine ako Azure SQL Database, čím poskytuje známy T-SQL zážitok s plnou kompatibilitou pre štandardné klientské nástroje.

Použitím SQL databázy v Microsoft Fabric môžete vytvárať end-to-end pracovné postupy od príjmu až po analytiku pomocou ďalších funkcií Microsoft Fabric:

  • Kanály údajov
  • Tok údajov Gen2
  • Notebooks
  • Inteligencia v reálnom čase
  • Power BI
  • Všetko s zjednodušeným DevOps pomocou Git-založeného CI/CD

Súvisiaci obsah

  • Last updated on