Condividi tramite

Migrazione da Azure Synapse Spark a Fabric

  • Articolo

Prima di iniziare la migrazione, è necessario verificare che Fabric Ingegneria dei dati sia la soluzione migliore per il carico di lavoro. Fabric Ingegneria dei dati supporta lakehouse, notebook, ambiente, definizione del processo Spark (SJD) e elementi della pipeline di dati, tra cui supporto di diverse funzionalità di runtime e Spark.

Considerazioni essenziali

Il passaggio iniziale nella creazione di una strategia di migrazione consiste nel valutare l'idoneità. Vale la pena notare che alcune funzionalità di Fabric correlate a Spark sono attualmente in fase di sviluppo o pianificazione. Per altri dettagli e aggiornamenti, visitare la roadmap di Fabric.

Per Spark, vedere differenze di confronto dettagliate tra Azure Synapse Spark e Fabric.

Scenari di migrazione

Se si determina che Fabric Ingegneria dei dati è la scelta giusta per la migrazione dei carichi di lavoro Spark esistenti, il processo di migrazione può includere più scenari e fasi:

  • Elementi: la migrazione degli elementi comporta il trasferimento di uno o più elementi dall'area di lavoro di Azure Synapse esistente a Fabric. Altre informazioni sulla migrazione di pool di Spark, configurazioni Spark, librerie Spark, notebook e definizione del processo Spark.
  • Dati e pipeline: usando i tasti di scelta rapida onelake, è possibile rendere disponibili i dati di ADLS Gen2 (collegati a un'area di lavoro di Azure Synapse) in Fabric lakehouse. La migrazione della pipeline comporta lo spostamento di pipeline di dati esistenti in Infrastruttura, incluse le attività della pipeline di definizione del processo Spark e del notebook. Altre informazioni sulla migrazione di dati e pipeline.
  • Metadati: la migrazione dei metadati implica lo spostamento dei metadati del catalogo Spark (database, tabelle e partizioni) da un metastore Hive (HMS) esistente in Azure Synapse a Fabric lakehouse. Altre informazioni sulla migrazione dei metadati HMS.
  • Area di lavoro: gli utenti possono eseguire la migrazione di un'area di lavoro di Azure Synapse esistente creando una nuova area di lavoro in Microsoft Fabric, inclusi i metadati. La migrazione dell'area di lavoro non è coperta da queste linee guida, presupponendo che gli utenti debbano creare una nuova area di lavoro o avere un'area di lavoro infrastruttura esistente. Altre informazioni sui ruoli dell'area di lavoro in Infrastruttura.

Screenshot che mostra gli scenari di migrazione.

La transizione da Azure Synapse Spark a Fabric Spark richiede una conoscenza approfondita dell'architettura corrente e delle differenze tra Azure Synapse Spark e Fabric. Il primo passaggio cruciale è una valutazione, seguita dalla creazione di un piano di migrazione dettagliato. Questo piano può essere personalizzato in modo che corrisponda ai tratti univoci del sistema, alle dipendenze delle fasi e alle complessità del carico di lavoro.

Contenuto correlato