Implementare l'architettura medallion con viste lake materializzate

Questa esercitazione illustra l'implementazione di un'architettura medallion usando viste lakehouse materializzate in un lakehouse di Fabric. Alla fine, si crea un flusso di trasformazione dei dati automatizzato da bronzo a argento a livelli oro. Questa esercitazione non è un'architettura di riferimento, una guida esaustiva alle funzionalità o una raccomandazione di best practice prescrittive.

Prerequisiti

Prima di iniziare, completare questi prerequisiti:

1. Accedere all'account Power BI o iscriversi per una versione di valutazione se non ne è disponibile uno.
2. Abilitare Microsoft Fabric nel tenant.
3. Creare un'area di lavoro con supporto Fabric.
4. Creare un Lakehouse con schemi abilitati e denominarlo SalesLakehouse.

Questi prerequisiti vengono usati in questo tutorial: l'area di lavoro e SalesLakehouse sono necessari nei passaggi del livello bronze, silver e gold, e nella pianificazione e nel monitoraggio.

Panoramica dello scenario

Questa esercitazione usa un'organizzazione fittizia per la vendita al dettaglio, Contoso, come scenario di esempio. Contoso organizza i dati di vendita in un'architettura di tipo medallion per migliorare i risultati delle analisi, separando i dati in livelli bronze (non elaborati), silver (depurati e arricchiti) e gold (aggregati e analizzati).

Il diagramma seguente rappresenta entità diverse in ogni livello di architettura a medaglioni in SalesLakehouse.

Entità chiave nello scenario

Le seguenti entità corrispondono a quelle presentate nel diagramma dell'architettura medallion nella sezione precedente.

• Ordini: questa entità include dettagli su ogni ordine del cliente, ad esempio data dell'ordine, dettagli della spedizione, categoria di prodotti e sottocategoria. Le informazioni dettagliate possono essere ottenute per ottimizzare le strategie di spedizione, identificare le categorie di prodotti più diffuse e migliorare la gestione degli ordini.

• Vendite: analizzando i dati sulle vendite, Contoso può valutare le metriche chiave, ad esempio ricavi totali, margini di profitto, priorità degli ordini e sconti. Le correlazioni tra questi fattori forniscono una comprensione più chiara dei comportamenti di acquisto dei clienti e dell'efficienza delle strategie di sconto.

• Località: acquisisce la dimensione geografica delle vendite e degli ordini, tra cui città, stati, aree geografiche e segmenti di clienti. Consente a Contoso di identificare aree ad alte prestazioni, gestire aree con prestazioni basse e personalizzare le strategie per segmenti specifici dei clienti.

• Agente: con i dettagli sugli agenti che gestiscono le transazioni, le commissioni e i dati sulle vendite, Contoso può valutare le prestazioni dei singoli agenti, stimolare i migliori performer e progettare strutture di commissione efficaci.

• Commissioni degli agenti: l'incorporazione dei dati della commissione garantisce la trasparenza e consente una migliore gestione dei costi. Comprendere la correlazione tra i tassi di commissione e le prestazioni degli agenti consente di perfezionare i sistemi di incentivi.

Dati e notebook di esempio

Questa esercitazione usa un set di dati di esempio dal repository degli esempi di Fabric. Scaricare la cartella completa tutorial prima di continuare.

Queste risorse vengono utilizzate per creare prima il livello bronzo e quindi creare le viste del lake materializzate in argento e oro.

La cartella scaricata tutorial contiene:

• Cartelle CSV: agent, agent_commissions, location, orders, e sales.
• File del notebook: Notebook.

Creare il flusso di dati medallion

In questa sezione, crei i livelli bronzo, argento e oro per l'architettura medallion in SalesLakehouse. Questi livelli definiscono il flusso di dati basato sulla genealogia per le viste di lago materializzate.

I passaggi generali sono i seguenti:

1. Livello bronzo: inserire dati non elaborati sotto forma di file CSV nel lakehouse. Consulta Crea il livello bronze dell'architettura del medaglione di analisi delle vendite.
2. Livelli Silver e Gold: pulizia e cura dei dati per l'analisi e la creazione di report usando viste materializzate del lake. Consultare Creare livelli argento e oro dell'architettura medallion.

Più avanti in questa esercitazione si pianifica l'aggiornamento per questa derivazione in modo che il flusso venga eseguito automaticamente.

Creare un livello bronze dell'architettura medaglione per l'analisi delle vendite

In questa sezione si crea il livello bronzo caricando il contenuto della cartella scaricata tutorial in SalesLakehouse. Questi file corrispondono alle entità descritte in precedenza in questa esercitazione.

1. Nell'area di lavoro aprire SalesLakehouse e passare alla sezione File .

2. Caricare il contenuto della cartella scaricata tutorial , mantenendo la struttura di cartelle:

   • agent
   • agent_commissions
   • location
   • orders
   • sales

   Dopo il caricamento, viene creata una cartella denominata tutorial in File e contiene queste sottocartelle.

3. Quindi, creare un collegamento verso di esso dalla sezione Tabelle. Selezionare ... accanto alla sezione Tabelle e selezionare Nuovo collegamento allo schema e quindi Microsoft OneLake. Scegliere SalesLakehouse dai tipi di origine dati. Espandere la sezione File e scegliere la cartella tutorial e selezionare Crea. È anche possibile usare altre opzioni alternative per ottenere i dati in Lakehouse.

   

4. Nella sezione Tabelle rinominare la cartella tutorial come bronze.

Creare strati argento e oro dell'architettura a medaglione

1. Dalla cartella scaricata tutorial caricare il file nell'area Notebook di lavoro.

   

2. Aprire il notebook caricato da SalesLakehouse. Per ulteriori informazioni, consultare Esplorare i dati del lakehouse con un notebook.

3. Eseguire tutte le celle del notebook usando Spark SQL per creare le viste del lago materializzate con vincoli di qualità dei dati.

4. Dopo che tutte le celle sono state eseguite con successo, aggiornare SalesLakehouse per visualizzare le nuove viste lake materializzate negli schemi silver e gold.

   

Pianificare l'aggiornamento

1. In SalesLakehouse, aprire la scheda Viste del lago materializzato e selezionare Gestisci per aprire il tracciamento.

   La visualizzazione delle derivazioni mostra il grafico delle dipendenze generato automaticamente, in cui ogni vista materializzata del lago dipendente viene visualizzata come nodo.

   

2. Selezionare Pianifica sulla barra multifunzione e quindi selezionare Nuova pianificazione nel riquadro Pianificazioni.

3. Accendere la pianificazione, specificare un nome e selezionare le viste del lago materializzate da aggiornare.

4. Impostare la frequenza di pianificazione e quindi selezionare Applica.

5. Per eseguire immediatamente la pianificazione, selezionare Esegui nella pianificazione creata.

   

Monitoraggio e risoluzione dei problemi

1. Nella scheda Esecuzioni recenti esaminare gli stati di esecuzione.

2. Selezionare un ID esecuzione per aprire i dettagli dell'esecuzione.

   

3. Nella scheda Dettagli esecuzione, esaminare il pannello dei dettagli sul lato destro e il pannello inferiore delle attività per verificare lo stato di esecuzione.

4. Selezionare un nodo di vista materializzata del lake nel lineage per visualizzare i dettagli di esecuzione, il percorso ABFS corrispondente e un collegamento ai log dettagliati.

5. Se lo stato di un nodo è Non riuscito, esaminare il messaggio di errore visualizzato.

   

6. Selezionare Log dettagliati per aprire l'hub di monitoraggio ed esaminare i log degli errori di Spark.

   

7. Selezionare la scheda Report Qualità dei dati delle viste materializzate del lake per creare o visualizzare un report di qualità dei dati generato automaticamente.

Contenuti correlati

• Panoramica delle viste del lago materializzate di Microsoft Fabric
• Informazioni di riferimento su Spark SQL per viste lake materializzate