Udostępnij przez

Używanie bazy danych SQL jako działającego magazynu danych

Dotyczy:✅Baza danych SQL w usłudze Microsoft Fabric

W tym artykule opisano sposób implementowania operacyjnego magazynu danych (ODS) przy użyciu bazy danych SQL w sieci szkieletowej. Zawiera wskazówki dotyczące architektury, wzorce projektowe, charakterystykę obciążeń roboczych, a także rozważania specyficzne dla architektury Fabric dotyczące tworzenia bezpiecznego, wydajnego i zarządzanego systemu ODS.

Diagram przypadku użycia bazy danych SQL w usłudze Fabric jako operacyjny magazyn danych (ODS).

Co to jest ODS?

Operacyjny magazyn danych (ODS) to zorientowany na podmiot, zintegrowany i niemal w czasie rzeczywistym magazyn, który konsoliduje dane z wielu systemów operacyjnych w lekko wyselekcjonowany, znormalizowany model — zwykle w znormalizowanych schematach. Obsługuje raportowanie operacyjne, lekką analizę, obsługę API oraz propagację do dalszych warstw analitycznych, takich jak Fabric Warehouse lub Fabric Lakehouse.

System ODS nie jest źródłem systemu przetwarzania transakcji online (OLTP) ani magazynu wymiarowego.

Zamiast tego służy jako "gorąca, zharmonizowana prawda" przez ostatnie N minut, godziny lub dni, znajdując się pomiędzy systemami źródłowymi i platformami analitycznymi.

Kluczowe cechy ODS

Operacyjny magazyn danych (ODS) w usłudze Microsoft Fabric został zaprojektowany w celu zapewnienia niemal rzeczywistego widoku danych operacyjnych z silnymi gwarancjami ładu i wydajności.

  • Pozyskuje dane z wielu systemów źródłowych z małym opóźnieniem.
  • Schemat jest zwykle znormalizowany w trzeciej postaci normalnej (3NF), aby zapewnić elastyczność i możliwość śledzenia.
  • Jakość danych jest zapewniana poprzez deduplikację, rozpoznawanie tożsamości oraz obsługę rekordów przybywających z opóźnieniem lub miękko usuniętych, tworząc solidną podstawę do raportowania operacyjnego i dalszej analizy danych.
  • Wzorce obsługi obejmują zapytania oparte na języku SQL, operacyjne pulpity nawigacyjne, alerty i interfejsy API, a funkcje zarządzania Fabric zapewniają zgodność i bezpieczeństwo w całym cyklu życia danych.

Baza danych SQL w sieci szkieletowej służy jako bezpieczny i wydajny kanał między danymi operacyjnymi a platformami analitycznymi.

Components

Następujące składniki są zaangażowane w używanie bazy danych SQL w usłudze Fabric jako operacyjny magazyn danych:

  • Ograniczenia i klucze: wymuszanie logiki biznesowej i integralności referencyjnej (klucze naturalne, klucze zastępcze, klucze obce).
  • Rozpoznawanie tożsamości: deduplikacja między źródłami; stosowanie zasad ocalałych.
  • Obsługa: udostępniaj punkty końcowe GraphQL i/lub twórz pulpity nawigacyjne w Power BI.

Najlepsze praktyki dotyczące przetwarzania danych i obciążeń roboczych

Tworzenie baz danych ODS na bazie danych SQL w Fabric wymaga strategii pozyskiwania, które równoważą świeżość, niezawodność i wydajność.

  • Obciążenia wsadowe i przyrostowe są zwykle aranżowane za pomocą Fabric Data Pipelines przy użyciu łączników obsługujących przechwytywanie danych zmian, z logiką watermarkowania i ponawiania prób w celu zapewnienia spójności.
    • Dostosowanie współbieżności potoku w celu umożliwienia skalowania bazy danych SQL w czasie szczytowych obciążeń oraz osiągania celów dotyczących poziomu usług związanych ze świeżością danych.
    • Znakowanie wodne to istotna koncepcja w procesach kopiowania inkrementalnego. Ułatwia to łatwe identyfikowanie, gdzie ostatnio zatrzymano obciążenie przyrostowe.
  • Wykonaj duże przekształcenia nadrzędne w usłudze Dataflow Gen2 lub Spark Notebooks. Zarezerwuj warstwę SQL dla operacji finalnych MERGE, które wymuszają ograniczenia i utrzymują wydajność przypominającą OLTP.
  • Użyj idempotentnych wzorców projektowych, które łączą wykrywanie zmian, watermarkowanie, MERGE w T-SQL oraz tabele sterujące, aby zapewnić bezpieczne ponowne uruchomienia i odporność operacyjną.

Aparat i środowisko

Baza danych SQL w Fabric jest oparta na tym samym silniku bazy danych SQL co Azure SQL Database, zapewniając znane środowisko T-SQL z pełną zgodnością ze standardowymi narzędziami klienckimi.

Korzystając z bazy danych SQL w usłudze Microsoft Fabric, można tworzyć kompleksowe przepływy pracy z pozyskiwania do analizy przy użyciu innych funkcji w usłudze Microsoft Fabric:

  • Potoki danych
  • Przepływ danych Gen2
  • Notebooks
  • Inteligencja w czasie rzeczywistym
  • Power BI
  • Wszystko dzięki usprawnionemu procesowi DevOps przy użyciu opartej na Git ciągłej integracji/ciągłego wdrażania (CI/CD)

Treści powiązane

  • Last updated on