Sdílet prostřednictvím

Použití databáze SQL jako provozního úložiště dat

platí pro:✅databáze SQL v Microsoft Fabric

Tento článek popisuje, jak implementovat provozní úložiště dat (ODS) pomocí databáze SQL na platformě Fabric. Poskytuje pokyny k architektuře, vzory návrhu, charakteristiky úloh a konkrétní aspekty týkající se technologie Fabric pro vytvoření zabezpečeného, výkonného a řízeného ODS.

Diagram případu použití pro databázi SQL v rámci systému Fabric jako provozní úložiště dat (ODS).

Co je ODS?

Provozní úložiště dat (ODS) je předmětně orientované, integrované a téměř v reálném čase úložiště, které konsoliduje data z více operačních systémů do mírně kurátorovaného a normalizovaného modelu – obvykle v normalizovaných schématech. Podporuje provozní reportování, lehké analýzy, služby API a propagaci do analytických vrstev, jako je Fabric Warehouse nebo Fabric Lakehouse.

ODS není zdrojový systém pro online zpracování transakcí (OLTP) ani dimenzionální sklad.

Místo toho slouží jako "aktuální, harmonizovaná data" za posledních N minut, hodin nebo dnů, nacházející se mezi zdrojovými systémy a analytickými platformami.

Klíčové charakteristiky ODS

Provozní úložiště dat (ODS) v Microsoft Fabric je navržené tak, aby poskytovalo téměř v reálném čase pohled na provozní data se silnými zárukami správného řízení a výkonu.

  • Ingestuje data z více zdrojových systémů s nízkou latencí.
  • Schéma je obvykle normalizováno ve třetím normálním formátu (3NF), aby podporovalo flexibilitu a sledovatelnost.
  • Kvalita dat je zajištěna odstraněním duplicitních dat, řešením identifikace a zpracováním zpožděných nebo měkce odstraněných záznamů, což vytváří spolehlivý základ pro provozní generování sestav a následnou analýzu.
  • Vzory obsluhy zahrnují dotazy založené na SQL, provozní řídicí panely, výstrahy a rozhraní API, zatímco funkce zásad správného řízení infrastruktury zajišťují dodržování předpisů a zabezpečení napříč životním cyklem dat.

Databáze SQL v rámci Fabric slouží jako zabezpečené a efektivní spojení mezi provozními daty a analytickými platformami.

Components

K používání databáze SQL v Fabric jako provozního úložiště dat se podílejí následující komponenty:

  • Omezení a klíče: Vynucujte obchodní logiku a referenční integritu (přirozené klíče, náhradní klíče, cizí klíče).
  • Řešení identity: Odstranění duplicitních dat napříč zdroji; použít pravidla přeživšího.
  • Obsluha: Zpřístupnění koncových bodů GraphQL a/nebo sestavení řídicích panelů Power BI

Osvědčené postupy pro příjem dat a zatížení úloh

Vytvoření ODS pro SQL databázi v prostředí Fabric vyžaduje strategie příjmu dat, které vyrovnávají aktuálnost, spolehlivost a výkon.

  • Dávkové a přírůstkové načítání se obvykle orchestrují prostřednictvím Fabric Data Pipelines za použití konektorů umožňujících zachycení změn dat, přičemž se používá vodoznak a logika opakování ke zajištění konzistence.
    • Vylaďte souběžnost potrubí, aby se databáze SQL mohla škálovat při zatížením ve špičce, při současném plnění cílů úrovně služby týkajících se čerstvosti dat.
    • Vodoznaky jsou důležitým konceptem procesů přírůstkového kopírování. Pomáhá snadno identifikovat, kde se přírůstkové načítání naposledy zastavilo.
  • Provádění náročných transformací upstreamu v poznámkových blocích Dataflow Gen2 nebo Spark Rezervujte vrstvu SQL pro konečné MERGE operace, které vynucují omezení a udržují výkon podobný OLTP.
  • Používejte idempotentní návrhové vzory, které kombinují detekci změn, vytváření vodoznaků, T-SQL MERGE a řídicí tabulky pro bezpečné restartování a provozní odolnost.

Modul a prostředí

Databáze SQL ve Fabric je založená na stejném databázovém stroji SQL jako Azure SQL Database a poskytuje známou zkušenost s T-SQL s plnou kompatibilitou pro standardní klientské nástroje.

Pomocí databáze SQL v Microsoft Fabric můžete vytvářet kompletní pracovní postupy od příjmu dat po analýzu pomocí dalších funkcí v Microsoft Fabric:

  • Datové kanály
  • Datový tok Gen2
  • Notebooks
  • Inteligence v reálném čase
  • Power BI
  • Vše díky efektivnímu DevOps s využitím CI/CD na bázi Gitu

Související obsah

  • Last updated on