Verwenden der SQL-Datenbank als betriebsbereiter Datenspeicher

Gilt für:✅SQL-Datenbank in Microsoft Fabric

In diesem Artikel wird beschrieben, wie Sie einen betriebsbereiten Datenspeicher (ODS) mithilfe der SQL-Datenbank in Fabric implementieren. Es bietet architekturbezogene Anleitungen, Entwurfsmuster, Workloadmerkmale und Fabric-spezifische Überlegungen zum Erstellen eines sicheren, leistungsfähigen und geregelten ODS.

Was ist ein ODS?

Ein operativer Datenspeicher (ODS) ist ein themenorientierter, integrierter und nahezu echtzeitbasierter Speicher, der Daten aus mehreren Betriebssystemen in ein leicht kuratiertes, normalisiertes Modell konsolidiert – in der Regel in normalisierten Schemas. Sie unterstützt die operative Berichterstellung, die einfache Analyse, die API-Bereitstellung und die nachgeschaltete Verteilung an analytische Schichten wie Fabric Warehouse oder Fabric Lakehouse.

Ein ODS ist kein OLTP-System (Online Transaction Processing) oder ein dimensionales Lager.

Stattdessen dient es als "heiße, harmonisierte Wahrheit" für die letzten N Minuten, Stunden oder Tage, die zwischen Quellsystemen und analytischen Plattformen sitzen.

Wichtige Merkmale eines ODS

Ein operativer Datenspeicher (ODS) in Microsoft Fabric wurde entwickelt, um eine nahezu echtzeitbasierte Ansicht von Betriebsdaten mit starken Governance- und Leistungsgarantien bereitzustellen.

• Es erfasst Daten aus mehreren Quellsystemen mit geringer Latenz.
• Das Schema wird in der Regel in dritter Normalform (3NF) normalisiert, um Flexibilität und Rückverfolgbarkeit zu unterstützen.
• Die Datenqualität wird durch Deduplizierung, Identitätsauflösung und Behandlung von spät eintreffenden oder vorläufig gelöschten Datensätzen erzwungen, wodurch eine zuverlässige Grundlage für die operative Berichterstellung und downstream-Analyse geschaffen wird.
• Zu den Bereitstellungsmustern gehören SQL-basierte Abfragen, Betriebsdashboards, Warnungen und APIs, während Fabric-Governancefeatures die Compliance und Sicherheit über den gesamten Datenlebenszyklus hinweg gewährleisten.

DIE SQL-Datenbank in Fabric dient als sichere und effiziente Verbindung zwischen betriebstechnischen Daten und Analytischen Plattformen.

Komponenten

Die folgenden Komponenten sind an der Verwendung der SQL-Datenbank in Fabric als betriebsbereiter Datenspeicher beteiligt:

• Einschränkungen und Schlüssel: Erzwingen von Geschäftslogik und referenzieller Integrität (natürliche Schlüssel, Ersatzschlüssel, Fremdschlüssel).
• Identitätsauflösung: Duplikate über verschiedene Quellen hinweg entfernen; Überlebensregeln anwenden.
• Bereitstellen: Verfügbarmachen von GraphQL-Endpunkten und/oder Erstellen von Power BI-Dashboards.

Bewährte Methoden für Aufnahme und Workload

Das Erstellen einer ODS in SQL-Datenbank in Fabric erfordert Aufnahmestrategien, die Aktualität, Zuverlässigkeit und Leistung ausgleichen.

• Batch- und inkrementelle Ladevorgänge werden in der Regel über Fabric Data Pipelines mithilfe von Änderungsdatenerfassung-aktiviertem Connector inklusive Wasserzeichentechniken und Wiederholungslogik koordiniert, um Konsistenz zu gewährleisten.
  • Optimieren Sie die Pipeline-Konkurrenz, damit die SQL-Datenbank während Spitzenlasten skalieren kann und gleichzeitig die Service-Level-Ziele für die Datenfrische erfüllt werden.
  • Wasserzeichen sind ein wichtiges Konzept bei inkrementellen Kopierprozessen. Es hilft Ihnen, leicht zu erkennen, wo eine inkrementelle Last zuletzt angehalten wurde.
• Führen Sie umfangreiche Transformationen im Vorfeld in Dataflow Gen2 oder Spark Notebooks durch. Reservieren Sie die SQL-Ebene für endgültige MERGE Vorgänge, die Einschränkungen erzwingen und OLTP-ähnliche Leistung beibehalten.
• Verwenden Sie idempotente Entwurfsmuster, die Änderungserkennung, Wasserzeichen, T-SQL MERGE und Kontrolltabellen für sichere Neustarts und operative Resilienz kombinieren.

Engine und Umgebung

DIE SQL-Datenbank in Fabric basiert auf demselben SQL-Datenbankmodul wie Azure SQL-Datenbank und bietet eine vertraute T-SQL-Erfahrung mit vollständiger Kompatibilität für Standardclienttools.

Mithilfe der SQL-Datenbank in Microsoft Fabric können Sie End-to-End-Workflows von der Aufnahme in die Analyse mithilfe anderer Features in Microsoft Fabric erstellen:

• Datenpipelines
• Dataflow Gen2
• Notebooks
• Echtzeit-Intelligenz
• Power BI
• Alles mit optimierten DevOps mithilfe von Git-basiertem CI/CD

Verwandte Inhalte

• Verwenden Sie die SQL-Datenbank in Reverse-ETL
• Verwenden der SQL-Datenbank als Quelle für translytische Anwendungen
• Intelligente Anwendungen und KI