Che cos'è il data warehousing in Microsoft Fabric?

Articolo
04/26/2024

Si applica a: Endpoint di analisi SQL e Warehouse in Microsoft Fabric

Microsoft Fabric offre ai clienti un prodotto unificato che si occupa di ogni aspetto del proprio patrimonio di dati offrendo una piattaforma completa di dati, dati, analisi e intelligenza artificiale saaS, incentrati sul lake e aperti. La base di Microsoft Fabric consente all'utente principiante attraverso il professionista esperto di sfruttare i carichi di lavoro database, analisi, messaggistica, Integrazione dei dati e business intelligence attraverso un'esperienza SaaS avanzata, facile da usare e condivisa con Microsoft OneLake come centro.

Un'esperienza SaaS basata sul lago creata per qualsiasi livello di competenza

Microsoft Fabric introduce un data warehouse incentrato sul lake basato su un motore di elaborazione distribuito di livello aziendale che consente prestazioni leader del settore su larga scala, eliminando al tempo stesso la necessità di configurazione e gestione. Grazie a un'esperienza SaaS facile da usare, strettamente integrata con Power BI per semplificare l'analisi e la creazione di report, Warehouse in Microsoft Fabric converge nel mondo dei data lake e dei warehouse con l'obiettivo di semplificare notevolmente l'investimento di un'organizzazione nel proprio patrimonio di analisi. I carichi di lavoro di data warehousing traggono vantaggio dalle funzionalità avanzate del motore SQL in un formato di dati aperto, consentendo ai clienti di concentrarsi sulla preparazione, l'analisi e la creazione di report dei dati su una singola copia dei dati archiviati in Microsoft OneLake.

Il warehouse è costruito per qualsiasi livello di competenza, dal cittadino sviluppatore fino al professionista sviluppatore, DBA o data engineer. Il set completo di esperienze integrate nell'area di lavoro di Microsoft Fabric consente ai clienti di ridurre il tempo necessario per ottenere informazioni dettagliate grazie a un modello semantico facilmente utilizzabile e sempre connesso integrato con Power BI in modalità DirectLake. Ciò consente prestazioni leader del settore second-to-none che garantisce che il report di un cliente abbia sempre i dati più recenti per l'analisi e la creazione di report. È possibile sfruttare l'esecuzione di query tra database per usare in modo rapido e semplice più origini dati che si estendono su più database per informazioni dettagliate rapide e senza duplicazione dei dati.

Warehouse virtuali con query tra database

Microsoft Fabric offre ai clienti la possibilità di gestire i warehouse virtuali contenenti dati da qualsiasi origine usando collegamenti. I clienti possono creare un warehouse virtuale creando collegamenti ai dati ovunque si trovino. Un warehouse virtuale può essere costituito da dati di OneLake, Azure Data Lake Archiviazione o da qualsiasi altro fornitore di servizi cloud all'interno di un singolo limite e senza duplicazione dei dati.

Sbloccare facilmente il valore da un'ampia gamma di origini dati grazie alla ricchezza delle query tra database in Microsoft Fabric. L'esecuzione di query tra database consente ai clienti di usare in modo rapido e semplice più origini dati per ottenere informazioni rapide e senza duplicazione dei dati. I dati archiviati in origini diverse possono essere facilmente uniti, consentendo ai clienti di fornire informazioni dettagliate dettagliate che in precedenza richiedevano un impegno significativo dai team di integrazione e progettazione dei dati.

È possibile creare query tra database tramite l'editor di query visuali, che offre un percorso senza codice per informazioni dettagliate su più tabelle. L'editor di query SQL o altri strumenti noti, ad esempio SQL Server Management Studio (SSMS), può essere usato anche per creare query tra database.

Gestione autonoma del carico di lavoro

I warehouse in Microsoft Fabric sfruttano un motore di elaborazione query distribuito leader del settore, che offre ai clienti carichi di lavoro con un limite di isolamento naturale. Non ci sono manopole per girare con l'allocazione autonoma e rinunciare alle risorse per offrire prestazioni ottimali con scalabilità automatica e concorrenza integrate. Il vero isolamento viene ottenuto separando i carichi di lavoro con caratteristiche diverse, assicurando che i processi ETL non interferiscano mai con i carichi di lavoro di analisi e creazione di report ad hoc.

Formato aperto per l'interoperabilità senza problemi del motore

I dati nel warehouse vengono archiviati nel formato di file parquet e pubblicati come log Delta Lake, abilitando le transazioni ACID e l'interoperabilità tra motori che possono essere sfruttati tramite altri carichi di lavoro di Microsoft Fabric, ad esempio Spark, Pipeline, Power BI e Azure Esplora dati. I clienti non devono più creare più copie dei dati per consentire ai professionisti dei dati di usare set di competenze diversi. I data engineer abituati a lavorare in Python possono usare facilmente gli stessi dati modellati e serviti da un professionista del data warehouse abituato a lavorare in SQL. In parallelo, i professionisti di Business Intelligence possono usare rapidamente e facilmente gli stessi dati per creare un set completo di visualizzazioni in Power BI con prestazioni record e senza duplicazione dei dati.

Separazione dell'archiviazione e del calcolo

Il calcolo e l'archiviazione sono separati in un warehouse che consente ai clienti di ridimensionarsi quasi istantaneamente per soddisfare le esigenze dell'azienda. Ciò consente a più motori di calcolo di leggere da qualsiasi origine di archiviazione supportata con solide garanzie transazionali ACID e sicurezza assoluta.

Inserimento, caricamento e trasformazione su larga scala

I dati possono essere inseriti nel warehouse tramite pipeline, flussi di dati, query tra database o il comando COPY INTO. Una volta inseriti, i dati possono essere analizzati da più gruppi aziendali tramite funzionalità quali la condivisione e l'esecuzione di query tra database. Il tempo necessario per ottenere informazioni dettagliate viene accelerato tramite un'esperienza bi completamente integrata tramite la modellazione grafica dei dati facile da usare per l'esecuzione di query all'interno dell'editor del warehouse.

Elementi di data warehousing in Microsoft Fabric

Esistono due elementi distinti di data warehousing: l'endpoint di analisi SQL di Lakehouse e warehouse.

Endpoint di analisi SQL di Lakehouse

Un endpoint di analisi SQL è un warehouse generato automaticamente da una Lakehouse in Microsoft Fabric. Un cliente può passare dalla vista "Lake" di Lakehouse (che supporta la progettazione dei dati e Apache Spark) alla vista "SQL" della stessa Lakehouse. L'endpoint di analisi SQL è di sola lettura e i dati possono essere modificati solo tramite la visualizzazione "Lake" di Lakehouse usando Spark.

Tramite l'endpoint di analisi SQL di Lakehouse, l'utente ha un subset di comandi SQL che possono definire ed eseguire query su oggetti dati, ma non modificare i dati. È possibile eseguire le azioni seguenti nell'endpoint di analisi SQL:

Eseguire query sulle tabelle che fanno riferimento ai dati nelle cartelle Delta Lake nel lake.
Creare viste, funzioni di tabella e procedure inline per incapsulare la semantica e la logica di business in T-SQL.
Gestire le autorizzazioni per gli oggetti.

In un'area di lavoro di Microsoft Fabric un endpoint di analisi SQL viene etichettato come "endpoint di analisi SQL" nella colonna Tipo . Ogni Lakehouse ha un endpoint di analisi SQL generato automaticamente che può essere sfruttato tramite strumenti SQL familiari, ad esempio SQL Server Management Studio, Azure Data Studio, Microsoft Fabric SQL Editor di query.

Per iniziare a usare l'endpoint di analisi SQL, vedere Insieme: lakehouse e warehouse in Microsoft Fabric.

Data Warehouse in Synapse

In un'area di lavoro di Microsoft Fabric un'istanza di Synapse Data Warehouse o Warehouse viene etichettata come "Warehouse" nella colonna Tipo . Un warehouse supporta transazioni, DDL e query DML.

A differenza di un endpoint di analisi SQL che supporta solo le query di sola lettura e la creazione di visualizzazioni e funzioni di visualizzazione, un warehouse dispone del supporto DDL e DML transazionale completo e viene creato da un cliente. Un warehouse viene popolato da uno dei metodi di inserimento dati supportati, ad esempio COPY INTO, Pipelines, Flussi di dati o opzioni di inserimento tra database, ad esempio CREATE TABLE AS edizione Standard LECT (CTAS), IN edizione Standard RT.. edizione Standard LECT o edizione Standard LECT INTO.

Per iniziare a usare il warehouse, vedere Creare un magazzino in Microsoft Fabric.

Confronta il warehouse e l'endpoint di analisi SQL di Lakehouse

Questa sezione descrive le differenze tra l'endpoint di analisi warehouse e SQL in Microsoft Fabric.

Diagramma dell'area di lavoro Infrastruttura per il data warehousing, incluso l'endpoint di analisi SQL e Warehouse.

L'endpoint di analisi SQL è un warehouse di sola lettura generato automaticamente al momento della creazione da una Lakehouse in Microsoft Fabric. Le tabelle delta create tramite Spark in un lakehouse sono individuabili automaticamente nell'endpoint di analisi SQL come tabelle. L'endpoint di analisi SQL consente ai data engineer di creare un livello relazionale sui dati fisici in Lakehouse ed esporli agli strumenti di analisi e creazione di report usando il stringa di connessione SQL. Gli analisti dei dati possono quindi usare T-SQL per accedere ai dati di Lakehouse usando Synapse Data Warehouse. Usare l'endpoint di analisi SQL per progettare il warehouse per le esigenze di business intelligence e la gestione dei dati.

Synapse Data Warehouse o Warehouse è un data warehouse "tradizionale" e supporta le funzionalità T-SQL transazionali complete, ad esempio un data warehouse aziendale. A differenza dell'endpoint di analisi SQL, in cui vengono create automaticamente tabelle e dati, è possibile controllare completamente la creazione di tabelle, il caricamento, la trasformazione e l'esecuzione di query sui dati nel data warehouse usando il portale di Microsoft Fabric o i comandi T-SQL.

Per altre informazioni sull'esecuzione di query sui dati in Microsoft Fabric, vedere Eseguire query sull'endpoint di analisi SQL o Warehouse in Microsoft Fabric.

Confrontare diverse funzionalità di warehousing

Per soddisfare al meglio i casi d'uso di analisi, sono disponibili diverse funzionalità. In genere, il warehouse può essere considerato come un superset di tutte le altre funzionalità, fornendo una relazione sinergistica tra tutte le altre offerte di analisi che forniscono T-SQL.

All'interno dell'infrastruttura, è possibile che gli utenti debbano decidere tra un warehouse, lakehouse e persino un datamart di Power BI.

Offerta di Microsoft Fabric

Magazzino

Endpoint di analisi SQL di Lakehouse

Datamart di Power BI

Licenze

Infrastruttura o Power BI Premium

Solo Power BI Premium

Funzionalità principali

Conforme a ACID, data warehousing completo con il supporto delle transazioni in T-SQL.

Sola lettura, endpoint di analisi SQL generato dal sistema per Lakehouse per query e gestione T-SQL. Supporta l'analisi sulle tabelle Lakehouse Delta e le cartelle Delta Lake a cui si fa riferimento tramite collegamenti.

Warehousing di dati senza codice e query T-SQL

Profilo sviluppatore

Sviluppatori SQL o sviluppatori cittadini

Ingegnere dei dati o sviluppatori SQL

Solo sviluppatore cittadino

Caso d'uso consigliato

Archiviazione dati per uso aziendale
Archiviazione dati l'uso di reparto, business unit o self-service
Analisi strutturata dei dati in T-SQL con tabelle, viste, procedure e funzioni e supporto SQL avanzato per BI

Esplorazione ed esecuzione di query su tabelle delta dalla lakehouse
Gestione temporanea dei dati e dell'area di archiviazione per l'analisi
Architettura del lago medallion con zone per l'analisi bronzo, argento e oro
Associazione a Warehouse per casi d'uso di analisi aziendale

Piccoli casi d'uso di reparto o business unit
Casi d'uso di data warehousing self-service
Zona di destinazione per i flussi di dati di Power BI e supporto SQL semplice per BI

Esperienza di sviluppo

Editor warehouse con supporto completo per l'inserimento di dati T-SQL, la modellazione, lo sviluppo e l'esecuzione di query nell'interfaccia utente per l'inserimento, la modellazione e l'esecuzione di query sui dati
Supporto di lettura/scrittura per gli strumenti di prima e terza parte

Endpoint di analisi SQL di Lakehouse con supporto T-SQL limitato per viste, funzioni con valori di tabella e query SQL
Esperienze dell'interfaccia utente per la modellazione e l'esecuzione di query
Supporto T-SQL limitato per gli strumenti di prima e terza parte

Editor datamart con esperienze e query dell'interfaccia utente supportate
Esperienze dell'interfaccia utente per l'inserimento, la modellazione e l'esecuzione di query sui dati
Supporto di sola lettura per gli strumenti di terze parti e 1°

Funzionalità T-SQL

Supporto completo di DQL, DML e DDL T-SQL, supporto completo delle transazioni

DQL completo, nessun DML, supporto T-SQL DDL limitato, ad esempio viste SQL e FUNZIONI DI tabella

Solo DQL completo

Caricamento dei dati

SQL, pipeline, flussi di dati

Spark, pipeline, flussi di dati, collegamenti

Solo flussi di dati

Supporto delle tabelle Delta

Letture e scritture di tabelle Delta

Legge le tabelle delta

Livello di archiviazione

Apri formato dati - Delta

Schema generato automaticamente nell'endpoint di analisi SQL di Lakehouse

L'endpoint di analisi SQL gestisce le tabelle generate automaticamente in modo che gli utenti dell'area di lavoro non possano modificarle. Gli utenti possono arricchire il modello di database aggiungendo schemi, viste, routine e altri oggetti di database SQL personalizzati.

Per ogni tabella Delta in Lakehouse, l'endpoint di analisi SQL genera automaticamente una tabella.

Le tabelle nell'endpoint di analisi SQL vengono create con un ritardo. Dopo aver creato o aggiornato la cartella o la tabella Delta Lake nel lake, la tabella warehouse che fa riferimento ai dati lake non verrà creata/aggiornata immediatamente. Le modifiche verranno applicate nel magazzino dopo 5-10 secondi.

Per i tipi di dati dello schema generati automaticamente per l'endpoint di analisi SQL, vedere Tipi di dati in Microsoft Fabric.

Che cos'è il data warehousing in Microsoft Fabric?

Un'esperienza SaaS basata sul lago creata per qualsiasi livello di competenza