Guida alle decisioni di Microsoft Fabric: attività di copia, flusso di dati o Spark

  • Articolo

Usare questa guida di riferimento e gli scenari di esempio per decidere se è necessaria un'attività di copia, un flusso di dati o Spark per i carichi di lavoro di Microsoft Fabric.

proprietà attività Copy, flusso di dati e Spark

Attività di copia della pipeline Flusso di dati Gen 2 Spark
Caso d'uso Migrazione del data lake e del data warehouse,
inserimento dati,
trasformazione leggera		 Inserimento dati,
trasformazione dei dati,
data wrangling,
profiling dati		 Inserimento dati,
trasformazione dei dati,
elaborazione dei dati,
profiling dati
Persona dello sviluppatore principale Data engineer,
integratore di dati		 Data engineer,
integratore di dati,
business analyst		 Data engineer,
data scientist,
sviluppatore di dati
Set di competenze per sviluppatori primario ETL
SQL
JSON		 ETL
M,
SQL		 Spark (Scala, Python, Spark SQL, R)
Codice scritto Nessun codice,
basso codice		 Nessun codice,
basso codice		 Codice
Volume di dati Da basso a elevato Da basso a elevato Da basso a elevato
Interfaccia di sviluppo Mago
canvas		 Power Query Taccuino
Definizione di processo Spark
Sources Oltre 30 connettori Oltre 150 connettori Centinaia di librerie Spark
Destinazioni 18 connettori+ Lakehouse
Database SQL di Azure,
Esplora dati di Azure,
Analisi di Azure Synapse		 Centinaia di librerie Spark
Complessità della trasformazione Bassa:
lightweight - conversione dei tipi, mapping di colonne, unione/suddivisione di file, gerarchia flat		 Da bassa a alta:
300+ funzioni di trasformazione		 Da bassa a alta:
supporto per librerie Spark native e open source

Esaminare i tre scenari seguenti per informazioni sulla scelta di come usare i dati in Fabric.

Scenario1

Leo, un data engineer, deve inserire un volume elevato di dati da sistemi esterni, sia in locale che nel cloud. Questi sistemi esterni includono database, file system e API. Leo non vuole scrivere e gestire il codice per ogni operazione di spostamento dati o connettore. Vuole seguire le procedure consigliate per i livelli medaglioni, con bronzo, argento e oro. Leo non ha alcuna esperienza con Spark, quindi preferisce il più possibile l'interfaccia utente di trascinamento della selezione, con codice minimo. E vuole anche elaborare i dati in base a una pianificazione.

Il primo passaggio consiste nell'ottenere i dati non elaborati nel lakehouse a livello di bronzo dalle risorse dati di Azure e da varie origini di terze parti (ad esempio Snowflake Web, REST, AWS S3, GCS e così via). Vuole un lakehouse consolidato, in modo che tutti i dati provenienti da varie origini LOB, locali e cloud si trovino in un'unica posizione. Leo esamina le opzioni e seleziona l'attività di copia della pipeline come scelta appropriata per la copia binaria non elaborata. Questo modello si applica sia all'aggiornamento dati cronologico che incrementale. Con l'attività di copia, Leo può caricare dati Gold in un data warehouse senza codice se è necessario e le pipeline forniscono un inserimento di dati su larga scala in grado di spostare dati su scala petabyte. attività Copy è la migliore scelta a basso codice e senza codice per spostare petabyte di dati in lakehouse e warehouse da varietà di origini, ad hoc o tramite una pianificazione.

Scenario2

Mary è un data engineer con una conoscenza approfondita dei diversi requisiti di report analitici LOB. Un team upstream ha implementato correttamente una soluzione per eseguire la migrazione di più dati cronologici e incrementali del LOB in un comune lakehouse. Mary è stata incaricata di pulire i dati, applicare le logiche di business e caricarli in più destinazioni (ad esempio database SQL di Azure, ADX e una lakehouse) in preparazione per i rispettivi team di report.

Mary è un utente esperto di Power Query e il volume di dati è compreso nell'intervallo da basso a medio per ottenere le prestazioni desiderate. I flussi di dati forniscono interfacce senza codice o con poco codice per l'inserimento di dati da centinaia di origini dati. Con i flussi di dati, è possibile trasformare i dati usando 300+ opzioni di trasformazione dei dati e scrivere i risultati in più destinazioni con un'interfaccia utente estremamente visiva e facile da usare. Mary esamina le opzioni e decide che è opportuno usare Dataflow Gen 2 come opzione di trasformazione preferita.

Scenario3

Adam è un data engineer che lavora per una grande azienda di vendita al dettaglio che usa un lakehouse per archiviare e analizzare i dati dei clienti. Come parte del suo lavoro, Adam è responsabile della creazione e della gestione delle pipeline di dati che estraggono, trasformano e caricano i dati nel lakehouse. Uno dei requisiti aziendali dell'azienda consiste nell'eseguire analisi di revisione dei clienti per ottenere informazioni dettagliate sulle esperienze dei clienti e migliorare i propri servizi.

Adam decide che l'opzione migliore consiste nell'usare Spark per compilare la logica di estrazione e trasformazione. Spark offre una piattaforma di elaborazione distribuita in grado di elaborare grandi quantità di dati in parallelo. Scrive un'applicazione Spark usando Python o Scala, che legge dati strutturati, semistrutturati e non strutturati da OneLake per commenti e suggerimenti dei clienti. L'applicazione pulisce, trasforma e scrive i dati in tabelle Delta nella lakehouse. I dati sono quindi pronti per essere usati per l'analisi downstream.

Contenuto correlato