Implementierung der Medallion-Architektur mit materialisierten Ansichten des Sees

Dieses Lernprogramm führt Sie durch die Implementierung einer Medallion-Architektur mithilfe materialisierter Seeansichten in einem Fabric Lakehouse. Am Ende erstellen Sie einen automatisierten Datentransformationsfluss von Bronze über Silber zu Goldschichten. Dieses Lernprogramm ist keine Referenzarchitektur, kein umfassendes Featurehandbuch oder eine präskriptive Empfehlung für bewährte Methoden.

Voraussetzungen

Bevor Sie beginnen, erfüllen Sie diese Voraussetzungen:

1. Melden Sie sich bei Ihrem Power BI-Konto an, oder registrieren Sie sich für eine Testversion, wenn Sie nicht über ein Konto verfügen.
2. Aktivieren Sie Microsoft Fabric in Ihrem Mandanten.
3. Erstellen Sie einen Fabric-fähigen Arbeitsbereich.
4. Erstellen Sie ein Lakehouse mit aktivierten Schemas , und nennen Sie es SalesLakehouse.

Diese Voraussetzungen werden in diesem Lernprogramm verwendet: Der Arbeitsbereich und das SalesLakehouse sind in den Bronzen-, Silber- und Gold-Ebenen erforderlich sowie bei Planung und Überwachung.

Beschreibung des Szenarios

Dieses Lernprogramm verwendet eine fiktive Einzelhandelsorganisation Contoso als Beispielszenario. Contoso organisiert Umsatzdaten in einer Medallion-Architektur, um Analyseergebnisse zu verbessern, indem Daten in Bronze (roh), Silber (gereinigt und angereichert) und Goldebenen (aggregiert und analysiert) getrennt werden.

Das folgende Diagramm stellt unterschiedliche Entitäten in jeder Ebene der Medallion-Architektur in SalesLakehouse dar:

Wichtige Entitäten im Szenario

Die folgenden Entitäten entsprechen den Entitäten, die im Medallion-Architekturdiagramm im vorherigen Abschnitt angezeigt werden.

• Bestellungen: Diese Entität enthält Details zu jeder Kundenbestellung, z. B. Bestelldatum, Lieferdetails, Produktkategorie und Unterkategorie. Einblicke können gezeichnet werden, um Versandstrategien zu optimieren, beliebte Produktkategorien zu identifizieren und das Bestellmanagement zu verbessern.

• Vertrieb: Durch die Analyse von Umsatzdaten kann Contoso wichtige Metriken wie Gesamtumsatz, Gewinnmargen, Auftragsprioritäten und Rabatte bewerten. Korrelationen zwischen diesen Faktoren bieten ein klareres Verständnis des Kundenkaufverhaltens und die Effizienz von Rabattstrategien.

• Standort: Dies erfasst die geografische Dimension von Verkäufen und Aufträgen, einschließlich Städten, Staaten, Regionen und Kundensegmenten. Contoso wird unterstützt bei der Identifizierung leistungsstarker Gebiete, der Optimierung gering leistungsstarker Gebiete und der Personalisierung von Strategien für spezifische Kundensegmente.

• Agent: Mit Details zu Agents, die Transaktionen verwalten, deren Provisionen und Vertriebsdaten können Contoso die Leistung einzelner Agenten bewerten, Top-Performer anleiten und effektive Kommissionsstrukturen entwerfen.

• Agentenkommissionen: Durch die Einbindung von Kommissionsdaten wird Transparenz gewährleistet und ein besseres Kostenmanagement ermöglicht. Das Verständnis der Korrelation zwischen Provisionen und Agentenleistung trägt dazu bei, Anreizsysteme zu verfeinern.

Beispieldaten und Notizbücher

In diesem Lernprogramm wird ein Beispiel-Dataset aus dem Fabric-Beispiel-Repository verwendet. Laden Sie den vollständigen tutorial Ordner herunter, bevor Sie fortfahren.

Sie verwenden diese Ressourcen, um zuerst die Bronzeschicht zu bauen und dann die silbernen und goldmaterialisierten Seeansichten zu erstellen.

Der heruntergeladene tutorial Ordner enthält:

• CSV-Ordner: agent, , agent_commissions, location, ordersund sales.
• Notizbuchdatei: Notebook.

Medallion-Datenfluss erstellen

In diesem Abschnitt erstellen Sie die Bronze-, Silber- und Goldschichten für die Medallion-Architektur in SalesLakehouse. Diese Ebenen definieren den linienbasierten Datenfluss für Ihre materialisierten Seeansichten.

Die übergeordneten Schritte sind wie folgt:

1. Bronzeschicht: Rohdaten in Form von CSV-Dateien in das Daten-Lakehouse importieren. Siehe Erstellen Sie die Bronzeebene der Vertriebsanalytik-Medaillon-Architektur.
2. Silver- und Gold-Schichten: Daten bereinigen und kuratieren für Analysen und Berichterstattung mit materialisierten Lake-Ansichten. Siehe Erstellen von Silber- und Goldschichten der Medallion-Architektur.

Später in diesem Lernprogramm planen Sie die Aktualisierung für diese Linie, damit der Fluss automatisch ausgeführt wird.

Erstellen einer Bronzeschicht der Medallion-Architektur der Vertriebsanalyse

In diesem Abschnitt erstellen Sie die Bronzeschicht, indem Sie den Inhalt des heruntergeladenen tutorial Ordners in SalesLakehouse hochladen. Diese Dateien entsprechen den entitäten, die weiter oben in diesem Lernprogramm beschrieben wurden.

1. Öffnen Sie in Ihrem Arbeitsbereich SalesLakehouse , und wechseln Sie zum Abschnitt "Dateien ".

2. Laden Sie den Inhalt des heruntergeladenen tutorial Ordners hoch, wobei die Ordnerstruktur erhalten bleibt:

   • agent
   • agent_commissions
   • location
   • orders
   • sales

   Nach dem Hochladen wird ein Ordner namens Lernprogramm unter "Dateien" erstellt und enthält diese Unterordner.

3. Erstellen Sie als Nächstes eine Verknüpfung dazu im Abschnitt "Tabellen". Wählen Sie ... neben dem Abschnitt „Tabellen“ aus und danach „Neue Schemaverknüpfung“ und dann „Microsoft OneLake“. Wählen Sie " SalesLakehouse " aus den Datenquellentypen aus. Erweitern Sie den Abschnitt "Dateien ", und wählen Sie den Lernprogrammordner und dann "Erstellen" aus. Sie können auch andere alternative Optionen zum Abrufen von Daten in das Lakehouse verwenden.

   

4. Benennen Sie im Abschnitt Tabellen den Tutorial-Ordner in Bronze um.

Erstellen Sie Silber- und Goldschichten der Medaillon-Architektur

1. Laden Sie die tutorial Datei aus dem heruntergeladenen Notebook Ordner in Ihren Arbeitsbereich hoch.

   Screenshot der Erstellung einer silbernen, materialisierten Seeansicht.

2. Öffnen Sie das hochgeladene Notizbuch aus SalesLakehouse. Weitere Informationen finden Sie unter "Erkunden der Lakehouse-Daten mit einem Notizbuch".

3. Führen Sie alle Notizbuchzellen mithilfe von Spark SQL aus, um die materialisierten Seeansichten mit Datenqualitätseinschränkungen zu erstellen.

4. Nachdem alle Zellen erfolgreich ausgeführt wurden, aktualisieren Sie SalesLakehouse , um die neuen materialisierten Seeansichten unter den Silber - und Goldschemas anzuzeigen.

   

Zeitplanaktualisierung

1. Öffnen Sie in SalesLakehouse die Registerkarte "Materialisierte Seeansichten ", und wählen Sie "Verwalten " aus, um die Linie zu öffnen.

   Die Linienansicht zeigt das automatisch generierte Abhängigkeitsdiagramm an, in dem jede abhängige materialisierte Seeansicht als Knoten angezeigt wird.

   

2. Wählen Sie " Zeitplan " im Menüband und dann im Bereich "Zeitpläne" die Option "Neuer Zeitplan " aus.

3. Aktivieren Sie den Zeitplan, geben Sie einen Namen ein, und wählen Sie die materialisierten Seeansichten aus, um sie zu aktualisieren.

4. Legen Sie die Zeitplanhäufigkeit fest, und wählen Sie dann "Übernehmen" aus.

5. Wenn Sie den Zeitplan sofort ausführen möchten, wählen Sie "Ausführen " für den erstellten Zeitplan aus.

   

Überwachung und Problembehandlung

1. Überprüfen Sie im Tab Letzte Ausführungen die Status der Ausführungen.

2. Wählen Sie eine Run-ID aus, um Details für diese Ausführung zu öffnen.

   

3. Überprüfen Sie auf der Registerkarte "Ausführungsdetails" den rechten Detailbereich und den unteren Aktivitätsbereich auf den Ausführungsstatus.

4. Wählen Sie einen materialisierten Seeansichtsknoten in einer Linie aus, um Ausführungsdetails, den ABFS-Pfad und einen Link zu detaillierten Protokollen anzuzeigen.

5. Wenn ein Knotenstatus fehlgeschlagen ist, überprüfen Sie die angezeigte Fehlermeldung.

   

6. Wählen Sie detaillierte Protokolle aus, um Monitor Hub zu öffnen und Spark-Fehlerprotokolle zu überprüfen.

   

7. Wählen Sie die Registerkarte "Datenqualitätsbericht " der Ansicht "Materialisierter See" aus, um einen automatisch generierten Datenqualitätsbericht zu erstellen oder anzuzeigen.

Verwandte Inhalte

• Übersicht über materialisierte Seeansichten in Microsoft Fabric
• Spark SQL-Referenz für materialisierte Seeansichten