Teilen über

Implementierung der Medallion-Architektur mit materialisierten Ansichten des Sees

In diesem Lernprogramm werden die Schritte und Überlegungen zur Implementierung einer Medallion-Architektur mithilfe materialisierter Seeansichten beschrieben. Am Ende dieses Lernprogramms lernen Sie die wichtigsten Features und Funktionen materialisierter Seeansichten kennen und können einen automatisierten Datentransformationsworkflow erstellen. Dieses Tutorial ist nicht als Referenzarchitektur, vollständige Liste von Features und Funktionen oder als Empfehlung bestimmter bewährter Methoden vorgesehen.

Voraussetzungen

Führen Sie als Voraussetzungen für dieses Tutorial die folgenden Schritte aus:

  1. Melden Sie sich bei Ihrem Power BI-Konto an, oder wenn Sie noch kein Konto besitzen, registrieren Sie sich für eine kostenlose Testversion.
  2. Aktivieren Sie Microsoft Fabric in Ihrem Mandanten. Wählen Sie unten links auf dem Bildschirm das Standardmäßige Power BI-Symbol aus, und wählen Sie "Fabric" aus.
  3. Erstellen Sie einen Microsoft Fabric-aktivierten Arbeitsbereich.
  4. Wählen Sie auf der Registerkarte "Arbeitsbereiche" einen Arbeitsbereich aus, und wählen Sie dann +Neues Element aus, und wählen Sie "Pipeline" aus. Geben Sie einen Namen für Ihre Pipeline an, und wählen Sie "Erstellen" aus.
  5. Erstellen Sie ein Lakehouse mit aktivierten Schemas. Nennen Sie es SalesLakehouse , und laden Sie Beispieldatendateien in das Lakehouse. Weitere Informationen finden Sie im Lakehouse-Lernprogramm.

Beschreibung des Szenarios

In diesem Lernprogramm werden Sie ein Beispiel für eine fiktive Einzelhandelsorganisation, Contoso, nehmen, die eine Medallion-Architektur für Datenanalysen verwendet, um umsetzbare Einblicke in ihre Einzelhandelsverkäufe zu erhalten. Es zielt darauf ab, den Analyseprozess zu optimieren und tiefere Einblicke in die Geschäftsleistung zu generieren, indem sie ihre Daten in drei Ebenen organisieren – Bronze (Rohdaten), Silber (gereinigte und angereicherte Daten) und Gold (aggregierte und analysierte Daten).

Das folgende Diagramm stellt unterschiedliche Entitäten in jeder Ebene der Medallion-Architektur in SalesLakehouse dar:

Screenshot der Medallion-Architektur.

Entitäten

  1. Bestellungen: Diese Entität enthält Details zu jeder Kundenbestellung, z. B. Bestelldatum, Lieferdetails, Produktkategorie und Unterkategorie. Einblicke können gezeichnet werden, um Versandstrategien zu optimieren, beliebte Produktkategorien zu identifizieren und das Bestellmanagement zu verbessern.

  2. Vertrieb: Durch die Analyse von Umsatzdaten kann Contoso wichtige Metriken wie Gesamtumsatz, Gewinnmargen, Auftragsprioritäten und Rabatte bewerten. Korrelationen zwischen diesen Faktoren bieten ein klareres Verständnis des Kundenkaufverhaltens und die Effizienz von Rabattstrategien.

  3. Standort: Dies erfasst die geografische Dimension von Verkäufen und Aufträgen, einschließlich Städten, Staaten, Regionen und Kundensegmenten. Contoso wird unterstützt bei der Identifizierung leistungsstarker Gebiete, der Optimierung gering leistungsstarker Gebiete und der Personalisierung von Strategien für spezifische Kundensegmente.

  4. Agent-Leistung: Mit Details zu Agents, die Transaktionen verwalten, deren Provisionen und Vertriebsdaten kann Contoso die Leistung einzelner Agenten bewerten, Top-Performer anleiten und effektive Kommissionsstrukturen entwerfen.

  5. Agentenkommissionen: Durch die Einbindung von Kommissionsdaten wird Transparenz gewährleistet und ein besseres Kostenmanagement ermöglicht. Das Verständnis der Korrelation zwischen Provisionen und Agentenleistung trägt dazu bei, Anreizsysteme zu verfeinern.

** Beispieldatensatz

Contoso speichert seine Einzelhandelsbetriebsdaten als Rohdaten im CSV-Format in ADLS Gen2. Wir verwenden diese Daten, um die Bronzeschicht zu erstellen und dann die Bronzeschicht zu verwenden, um die materialisierten Seeansichten zu erstellen, die die Silber- und Goldschichten der Medallion-Architektur bilden. Laden Sie zuerst die CSV-Beispieldateien aus dem Fabric-Beispiel-Repository herunter.

Erstellen der Pipeline

Die übergeordneten Schritte sind wie folgt:

  1. Bronzeschicht: Rohdaten in Form von CSV-Dateien in das Daten-Lakehouse importieren.
  2. Silberschicht: Bereinigen von Daten mithilfe materialisierter Seeansichten.
  3. Gold Layer: Zusammenstellen von Daten für Analysen und Berichte mithilfe materialisierter Seeansichten.

Erstellen einer Bronzeschicht der Medallion-Architektur der Vertriebsanalyse

  1. Laden Sie die CSV-Dateien, die verschiedenen Entitäten entsprechen, aus den heruntergeladenen Daten in das Lakehouse. Navigieren Sie dazu zu Ihrem Seehaus, und laden Sie die heruntergeladenen Daten in den Abschnitt "Dateien " des Lakehouse hoch. Er erstellt einen Ordner mit dem Namen "Lernprogramm".

  2. Erstellen Sie als Nächstes eine Verknüpfung dazu im Abschnitt "Tabellen". Wählen Sie ... neben dem Abschnitt „Tabellen“ aus und danach „Neue Schemaverknüpfung“ und dann „Microsoft OneLake“. Wählen Sie " SalesLakehouse " aus den Datenquellentypen aus. Erweitern Sie den Abschnitt "Dateien ", und wählen Sie den Lernprogrammordner und dann "Erstellen" aus. Sie können auch andere alternative Optionen zum Abrufen von Daten in das Lakehouse verwenden.

    Screenshot, der zeigt, wie Sie eine Verknüpfung erstellen, um die Daten in Tabellen abzurufen.

  3. Benennen Sie im Abschnitt Tabellen den Tutorial-Ordner in Bronze um.

    Screenshot der Erstellung einer Bronzeschicht.

Erstellen Sie Silber- und Goldschichten der Medaillon-Architektur

  1. Laden Sie die heruntergeladene Notizbuchdatei in Ihren Arbeitsbereich hoch.

    Screenshot der Erstellung einer silbernen, materialisierten Seeansicht.

  2. Öffnen Sie das Notizbuch aus dem Lakehouse. Weitere Informationen finden Sie unter "Erkunden der Lakehouse-Daten mit einem Notizbuch".

  3. Führen Sie alle Zellen des Notizbuchs mithilfe von Spark SQL aus, um materialisierte Seeansichten mit Datenqualitätseinschränkungen zu erstellen. Sobald alle Zellen erfolgreich ausgeführt wurden, aktualisieren Sie die SalesLakehouse-Quelle, um die neu erstellten materialisierten Seeansichten für Silber - und Goldschema anzuzeigen.

    Screenshot des laufenden Notizbuchs.

Planen der Pipeline

  1. Sobald die materialisierten Seeansichten für Silber- und Goldschichten geschaffen wurden, navigieren Sie zum Seehaus und wählen Sie den verwalteten materialisierten Seeblick aus, um die Linienansicht zu sehen. Es wird basierend auf Abhängigkeiten automatisch generiert, jede abhängige materialisierte Seeansicht bildet die Knoten der Linie.

    Screenshot mit materialisierter Seeansicht.

    Screenshot der Erstellung von Linien.

  2. Wählen Sie im Navigationsmenüband " Zeitplan" aus. Aktivieren Sie den Aktualisierungszeitplan und konfigurieren Sie den Zeitplan.

    Screenshot der Planung der materialisierten Seeansichten.

Überwachung und Problembehandlung

  1. Das Dropdownmenü listet die aktuellen und historischen Läufe auf.

    Screenshot der Terminplanungsausführung.

  2. Wenn Sie einen der Durchläufe auswählen, können Sie die Details der materialisierten Seeansicht im rechten Seitenbereich finden. Der untere Aktivitätsbereich bietet eine allgemeine Übersicht über den Status der Knotenausführung.

    Screenshot mit Ausführungsdetails.

  3. Wählen Sie einen beliebigen Knoten in der Lineage aus, um die Details der Knotenausführung anzuzeigen und einen Link zu detaillierten Protokollen zu erstellen. Wenn der Knotenstatus fehlgeschlagen ist, wird auch eine Fehlermeldung angezeigt.

    Screenshot mit Protokollen zu den Ausführungsdetails.

  4. Wenn Sie den Link "Detaillierte Protokolle " auswählen, gelangen Sie zum Monitor Hub , von wo aus Sie auf Spark-Fehlerprotokolle zugreifen können, um weitere Problembehandlungen zu erhalten.

    Ein Screenshot, der Spark-Protokolle zeigt.

  5. Wählen Sie die Schaltfläche " Datenqualitätsbericht " im Menüband der materialisierten Seeansichtsseite aus, um einen automatisch generierten Datenqualitätsbericht zu erstellen oder anzuzeigen.

  • Last updated on