Condividi tramite

Implementare l'architettura medallion con viste lake materializzate

Questa esercitazione descrive i passaggi e le considerazioni per l'implementazione di un'architettura medallion usando viste di lake materializzate. Al termine di questa esercitazione verranno illustrate le funzionalità e le funzionalità principali delle viste lake materializzate e sarà possibile creare un flusso di lavoro di trasformazione dei dati automatizzato. Questa esercitazione non è progettata per essere un'architettura di riferimento, un elenco completo di funzionalità o un consiglio di procedure consigliate specifiche.

Prerequisiti

Come prerequisiti per questa esercitazione, completare i seguenti passaggi:

  1. Accedere all'account Power BI o, se non si ha ancora un account, iscriversi per ottenere una versione di valutazione gratuita.
  2. Abilitare Microsoft Fabric nel tenant. Selezionare l'icona predefinita di Power BI nella parte inferiore sinistra della schermata e selezionare Infrastruttura.
  3. Creare un'area di lavoro abilitata per Microsoft Fabric.
  4. Selezionare un'area di lavoro nella scheda Aree di lavoro, quindi selezionare + Nuovo elemento e scegliere Pipeline. Specificare un nome per la pipeline e selezionare Crea.
  5. Crea un Lakehouse con schemi abilitati. Denominarlo SalesLakehouse e caricare i file di dati di esempio in Lakehouse. Per altre informazioni, vedere Esercitazione su Lakehouse.

Panoramica dello scenario

In questa esercitazione verrà illustrato un esempio di organizzazione fittizia per la vendita al dettaglio, Contoso, che usa un'architettura medallion per l'analisi dei dati per ottenere informazioni dettagliate utili sulle operazioni di vendita al dettaglio. Mira a semplificare il processo di analisi e generare informazioni più approfondite sulle prestazioni aziendali organizzando i dati in tre livelli, ovvero bronzo (dati non elaborati), argento (dati puliti e arricchiti) e oro (dati aggregati e analizzati).

Il diagramma seguente rappresenta entità diverse in ogni livello di architettura a medaglioni in SalesLakehouse.

Screenshot che mostra l'architettura medallion.

Entità

  1. Ordini: questa entità include dettagli su ogni ordine del cliente, ad esempio data dell'ordine, dettagli della spedizione, categoria di prodotti e sottocategoria. Le informazioni dettagliate possono essere ottenute per ottimizzare le strategie di spedizione, identificare le categorie di prodotti più diffuse e migliorare la gestione degli ordini.

  2. Vendite: analizzando i dati sulle vendite, Contoso può valutare le metriche chiave, ad esempio ricavi totali, margini di profitto, priorità degli ordini e sconti. Le correlazioni tra questi fattori forniscono una comprensione più chiara dei comportamenti di acquisto dei clienti e dell'efficienza delle strategie di sconto.

  3. Località: acquisisce la dimensione geografica delle vendite e degli ordini, tra cui città, stati, aree geografiche e segmenti di clienti. Consente a Contoso di identificare aree ad alte prestazioni, gestire aree con prestazioni basse e personalizzare le strategie per segmenti specifici dei clienti.

  4. Prestazioni dell'agente: con i dettagli sugli agenti che gestiscono transazioni, sulle commissioni e sui dati sulle vendite, Contoso può valutare le prestazioni dei singoli agenti, stimolare i migliori performer e progettare strutture di commissione efficaci.

  5. Commissioni degli agenti: l'incorporazione dei dati della commissione garantisce la trasparenza e consente una migliore gestione dei costi. Comprendere la correlazione tra i tassi di commissione e le prestazioni degli agenti consente di perfezionare i sistemi di incentivi.

Set di dati di esempio

Contoso gestisce i dati non elaborati delle operazioni di vendita al dettaglio in formato CSV all'interno di ADLS Gen2. Questi dati vengono usati per creare il livello bronzo e quindi usare il livello bronzo per creare le viste del lago materializzate che formano gli strati argento e oro dell'architettura medallion. Scaricare prima di tutto i file CSV di esempio dal repository degli esempi di Fabric.

Creare la pipeline

I passaggi generali sono i seguenti:

  1. Livello bronzo: inserire dati non elaborati sotto forma di file CSV nel lakehouse.
  2. Livello Silver: Rielaborare i dati utilizzando viste di lago materializzate.
  3. Livello Gold: curare i dati per l'analisi e la creazione di report utilizzando viste materializzate del data lake.

Creare un livello bronze dell'architettura medaglione per l'analisi delle vendite

  1. Caricare i file CSV corrispondenti a entità diverse dai dati scaricati in Lakehouse. Per farlo, accedi al tuo lakehouse e carica i dati scaricati nella sezione Files del lakehouse. Crea una cartella denominata tutorial.

  2. Quindi, creare un collegamento verso di esso dalla sezione Tabelle. Selezionare ... accanto alla sezione Tabelle e selezionare Nuovo collegamento allo schema e quindi Microsoft OneLake. Scegliere SalesLakehouse dai tipi di origine dati. Espandere la sezione File e scegliere la cartella tutorial e selezionare Crea. È anche possibile usare altre opzioni alternative per ottenere i dati in Lakehouse.

    Screenshot che mostra come creare un collegamento per ottenere i dati nelle tabelle.

  3. Nella sezione Tabelle rinominare la cartella tutorial come bronze.

    Screenshot che mostra la creazione di un livello di bronzo.

Creare strati argento e oro dell'architettura a medaglione

  1. Caricare il file del notebook scaricato nell'area di lavoro.

    Screenshot che mostra la creazione della vista del lago con creazione materializzata in argento.

  2. Aprire il notebook da Lakehouse. Per ulteriori informazioni, consultare Esplorare i dati del lakehouse con un notebook.

  3. Eseguire tutte le celle del notebook usando Spark SQL per creare viste lake materializzate con vincoli di qualità dei dati. Dopo l'esecuzione di tutte le celle, Aggiornare l'origine SalesLakehouse per visualizzare le nuove visualizzazioni lake materializzate create per i schemi silver e gold.

    Screenshot che mostra il notebook in esecuzione.

Pianificare la pipeline

  1. Dopo aver creato le viste del lago materializzate per i livelli silver e gold, passare alla lakehouse e selezionare Visualizzazione materializzata del lago gestita per visualizzare la visualizzazione della provenienza. Viene generato automaticamente in base alle dipendenze, ogni vista materializzata del lago dipendente forma i nodi della linea di provenienza dei dati.

    Screenshot che mostra la vista materializzata sul lago.

    Screenshot che mostra la creazione della derivazione.

  2. Selezionare Pianifica nella barra multifunzione di spostamento. Attivare l'aggiornamento e configurare la pianificazione.

    Screenshot che mostra la pianificazione dell'esecuzione delle viste del lago materializzate.

Monitoraggio e risoluzione dei problemi

  1. Il menu a tendina elenca le esecuzioni correnti e storiche.

    Screenshot che mostra l'esecuzione della pianificazione.

  2. Selezionando una delle esecuzioni, è possibile trovare i dettagli materializzati della vista del lake sul pannello a destra. Il pannello attività inferiore offre una panoramica generale dello stato di esecuzione del nodo.

    Screenshot che mostra i dettagli dell'esecuzione.

  3. Selezionare un nodo nella derivazione per visualizzare i dettagli di esecuzione del nodo e collegarsi a log dettagliati. Se lo stato del nodo è Non riuscito, verrà visualizzato anche un messaggio di errore.

    Screenshot che mostra i log dei dettagli di esecuzione.

  4. Selezionando il collegamento Log dettagliati si reindirizzerà all'hub di monitoraggio da cui è possibile accedere ai log degli errori di Spark per altre operazioni di risoluzione dei problemi.

    Screenshot che mostra i log di Spark.

  5. Selezionare il pulsante Report Qualità dei dati sulla barra multifunzione della pagina delle visualizzazioni lake materializzate per creare o visualizzare un report qualità dei dati generato automaticamente.

  • Last updated on