Migrace z Azure Synapse Sparku do prostředků infrastruktury

Než začnete s migrací, měli byste ověřit, že Datoví technici Fabric je nejlepším řešením pro vaši úlohu. Prostředky infrastruktury Datoví technici podporují lakehouse, poznámkový blok, prostředí, definici úlohy Sparku (SJD) a položky datového kanálu, včetně podpory různých možností modulu runtime a Sparku.

Klíčové aspekty

Počátečním krokem při vytváření strategie migrace je posouzení vhodnosti. Stojí za zmínku, že některé funkce infrastruktury související se Sparkem jsou aktuálně ve vývoji nebo plánování. Další podrobnosti a aktualizace najdete v plánu infrastruktury.

V případě Sparku si prohlédnou podrobné porovnání rozdílů mezi Azure Synapse Sparkem a prostředky infrastruktury.

Scénáře migrace

Pokud zjistíte, že Datoví technici Fabric je správnou volbou pro migraci stávajících úloh Sparku, proces migrace může zahrnovat několik scénářů a fází:

• Položky: Migrace položek zahrnuje přenos jedné nebo různých položek z existujícího pracovního prostoru Azure Synapse do prostředků infrastruktury. Přečtěte si další informace o migraci fondů Sparku, konfigurací Sparku, knihoven Sparku, poznámkových bloků a definici úlohy Spark.
• Data a kanály: Pomocí zkratek OneLake můžete zpřístupnit data ADLS Gen2 (propojená s pracovním prostorem Azure Synapse) v Fabric Lakehouse. Migrace kanálu zahrnuje přesun stávajících datových kanálů do prostředků infrastruktury, včetně aktivit kanálu definice úloh Poznámkový blok a Spark. Přečtěte si další informace o migraci dat a kanálů.
• Metadata: Migrace metadat zahrnuje přesun metadat katalogu Sparku (databáze, tabulky a oddíly) z existujícího metastoru Hive (HMS) v Azure Synapse do fabric lakehouse. Přečtěte si další informace o migraci metadat HMS.
• Pracovní prostor: Uživatelé můžou migrovat existující pracovní prostor Azure Synapse vytvořením nového pracovního prostoru v Microsoft Fabric, včetně metadat. Migrace pracovního prostoru se v těchto doprovodných materiálech nevztahuje, předpokládá se, že uživatelé potřebují vytvořit nový pracovní prostor nebo mít existující pracovní prostor Fabric. Přečtěte si další informace o rolích pracovního prostoru v prostředcích infrastruktury.

Přechod z Azure Synapse Sparku na Fabric Spark vyžaduje hluboké porozumění vaší aktuální architektuře a rozdíly mezi Azure Synapse Sparkem a prostředky infrastruktury. Prvním zásadním krokem je posouzení, po kterém následuje vytvoření podrobného plánu migrace. Tento plán je možné přizpůsobit tak, aby odpovídal jedinečným vlastnostem systému, závislostem fází a složitostem úloh.

Související obsah

• Prostředky infrastruktury vs. Azure Synapse Spark
• Další informace o možnostech migrace pro fondy, konfigurace, knihovny, poznámkové bloky a definici úloh Sparku
• Migrace dat a kanálů
• Migrace metadat metastoru Hive