Progettare un lakehouse medallion con Azure Data Factory
L'architettura medallion lakehouse è un modello di progettazione dei dati aziendale usato di frequente. È possibile usare questo modello di progettazione per organizzare logicamente i dati non elaborati nel formato nativo all'interno di un repository di grandi dimensioni e centralizzato. Arricchire in modo incrementale i dati man mano che passano attraverso ogni livello dell'architettura. Questo processo migliora la struttura, la qualità e le informazioni dettagliate che è possibile derivare dai dati.
Azure Data Factory è una soluzione piattaforma distribuita come servizio di Azure per l'integrazione e la trasformazione dei dati serverless con scalabilità orizzontale. Data Factory esegue i processi di estrazione, trasformazione e caricamento all'interno del lakehouse medallion necessari nei vari componenti per generare valore dall'origine dati non elaborata.
Questo articolo fornisce una serie di progettazioni che in genere progredisce da un'implementazione iniziale all'adozione a livello aziendale e infine all'espansione cruciale per soluzioni specifiche. Queste linee guida supportano i clienti in un percorso di adozione del cloud simile.
Operazioni preliminari
Se si sta iniziando il percorso di adozione del cloud con l'architettura medallion lakehouse, iniziare con questi moduli di training sulla piattaforma Learn. Puoi usare:
Data Factory per l'inserimento dati.
Azure Databricks per l'elaborazione dei dati su larga scala.
SQL Server per la modellazione dei dati.
Power BI per la gestione dei dati e la creazione di report.
Informazioni su come progettare e creare soluzioni sicure, scalabili e ad alte prestazioni in Azure usando i pilastri di Azure Well-Architected Framework. Questa risorsa online gratuita offre formazione interattiva che include controlli delle conoscenze per valutare l'apprendimento.
Per la documentazione del prodotto, vedere le risorse seguenti:
Implementazione di base
Dopo aver appreso come distribuire Data Factory per l'inserimento dati, sviluppare l'architettura medallion lakehouse per l'elaborazione dei dati usando Azure Databricks e quindi gestire tali dati in Power BI usando Azure SQL come archivio persistente. È possibile applicare le proprie competenze per progettare e stabilire una soluzione semplice usando un'origine dati locale.
Vedere l'architettura di base che distribuisce le istanze di Data Factory per l'inserimento dati, Azure Databricks per l'elaborazione dei dati e Azure SQL per l'archiviazione dei dati elaborati, tutti all'interno di un'unica area con ridondanza della zona.
Adozione e protezione avanzata dell'organizzazione
Per rispettare i requisiti comuni per la sicurezza aziendale e la governance non funzionali (NFR) per i carichi di lavoro di produzione, è necessario aggiungere modelli di protezione avanzata aziendale all'architettura di base. Ad esempio, un NFR potrebbe richiedere alla soluzione di usare risorse federate gestite dai team centrali. Per evitare interruzioni del servizio, è fondamentale comunicare in modo efficace i requisiti con tali team.
Fare riferimento a questa architettura che distribuisce un'implementazione con protezione avanzata aziendale. Questa implementazione estende la topologia hub-spoke in base ai principi della zona di destinazione di Azure.
Innalzamento di livello cruciale
L'ultimo passaggio di questo percorso consiste nell'espandere l'infrastruttura e i processi di una singola infrastruttura di soluzione per supportare un contratto di servizio cruciale. Mission-critical si riferisce a soluzioni che causano problemi critici per l'azienda o per la sicurezza quando sono sottoperformi o non sono disponibili.
La soluzione deve garantire disponibilità elevata, velocità di risposta rapida ai problemi operativi, prestazioni coerenti e sicurezza affidabile. Le architetture cruciali devono bilanciare i requisiti di prestazioni e resilienza e gli obiettivi con l'ottimizzazione dei costi.
Collaboratori
Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.
Autori principali:
- Leo Kozhushnik - Italia | Architetto di soluzioni cloud
- Darren Turchiarelli - Italia | Architetto di soluzioni cloud
- Scott Mckinnon | Architetto di soluzioni cloud
- Nicholas Moore | Cloud Solution Architect
Altri contributori:
- Giustizia Zisanhi | Cloud Solution Architect
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
- Zone di destinazione di Azure
- Framework ben progettato
- Linee guida cruciali per Azure
- Architettura del lago Medallion