Fáze 3: Hive Metastore a migrace dat

Tento článek je třetí z celkově čtyř fází v sérii osvědčených postupů migrace z Azure Synapse Spark do Microsoft Fabric.

Tento článek použijte, když jste připraveni migrovat katalog Metastore Hive a naplánovat přístup k datům v Fabric. Tento článek se zaměřuje na dvě rozhodnutí: jak migrovat metadata tabulky a jestli používat klávesové zkratky OneLake (nulové kopírování) nebo přesunout data do přístupného úložiště.

V tomto článku se naučíte:

  • Posouzením spravovaných a externích tabulek určete přístup k migraci.
  • Export a import metadat metastoru Hive pomocí pracovních postupů poznámkových bloků
  • Vytvořte zástupce OneLake pro přístup k existujícím zdrojům dat bez nutnosti kopírování.
  • Volba mezi zkratkami, kopírováním kanálů a nástroji hromadného přenosu pro přesun dat

Tip

Vytvořte si cílový lakehouse se zapnutými schématy. Schémata Lakehouse umožňují uspořádat tabulky do pojmenovaných kolekcí (například prodej, marketing, hr). Spark Pomocník s migrací mapuje výchozí databázi Synapse na dbo schéma a další databáze na další schémata ve stejném jezerním domě. Schémata jsou ve výchozím nastavení povolena při vytváření nového jezerního domu v portálu Fabric.

Úplný průvodce migrací HMS najdete v tématu Migrace metadat metastoru Hive.

Posouzení spravovaných a externích tabulek

Důležitým prvním krokem je rozlišení mezi spravovanými a externími tabulkami ve vašem Metastore Synapse Hive.

  • Externí tabulky: Pokud jsou data v ADLS Gen2 ve formátu Delta, vytvořte zástupce OneLake přímo k cestám ADLS Gen2. Není potřeba žádný přesun dat.
  • Spravované tabulky: Data se ukládají v interním adresáři skladu Synapse. Musíte vytvořit zástupce OneLake k této cestě nebo zkopírovat data do přístupného umístění ADLS Gen2.

Cesta k adresáři spravovaného skladu tabulek Synapse:

abfss://<container>@<storage>.dfs.core.windows.net/synapse/workspaces/<workspace>/warehouse

Pracovní postup migrace

Microsoft poskytuje poznámkové bloky pro export a import pro migraci metastoru Hive. Proces má dvě fáze.

Úplný průvodce migrací HMS najdete v tématu Migrace metadat metastoru Hive.

Fáze 1: Export metadat ze služby Synapse

  1. Importujte poznámkový blok pro export HMS do pracovního prostoru Azure Synapse. Tento notebook se dotazuje a exportuje metadata HMS databází, tabulek a oddílů do zprostředkujícího adresáře v OneLake.

  2. Nakonfigurujte parametry. Nastavte název pracovního prostoru Synapse, názvy databází pro export a cílový onelake lakehouse pro přípravu. Rozhraní API katalogu systému Spark se používá ke čtení objektů katalogu.

  3. Spusťte export. Spusťte všechny buňky poznámkového bloku. Metadata je zapsána do sekce Soubory vašeho Fabric Lakehouse ve strukturované hierarchii složek.

Fáze 2: Import metadat do Fabric Lakehouse

  1. Vytvořte zástupce pro přístup k datům. Vytvořte zástupce v části Soubory v Lakehouse odkazující na adresář skladu Synapse Spark. Díky tomu jsou data spravovaných tabulek přístupná pro Fabric.

  2. Nakonfigurujte mapování skladu. U spravovaných tabulek zadejte WarehouseMappings, abyste mohli nahradit staré cesty k adresářům skladu Synapse zkratkami cest v Fabric. Všechny spravované tabulky se během importu převedou na externí tabulky.

  3. Spusťte poznámkový blok importu v Fabric a vytvořte v Lakehouse objekty katalogu (databáze, tabulky, oddíly) pomocí rozhraní API interního katalogu Sparku.

  4. Ověřit. Zkontrolujte, zda jsou všechny importované tabulky viditelné v sekci Tabulky v rozhraní Lakehouse Explorer.

Omezení a úvahy

  • Skripty migrace používají rozhraní API interního katalogu Sparku, nikoli přímá připojení databáze HMS. To nemusí být vhodné pro velmi rozsáhlé katalogy – pro velká prostředí zvažte úpravu logiky exportu pro přímé dotazování databáze HMS.

  • Během exportu neexistuje žádná záruka izolace. Pokud výpočetní prostředí Synapse Spark upraví metastore souběžně, mohou být zavedeny nekonzistentní data. Naplánujte migraci během časového období údržby.

  • Funkce nejsou součástí aktuálních skriptů migrace.

  • Po migraci poskytují klávesové zkratky OneLake průběžný přístup k datům. Pokud Synapse pokračuje v zápisu do stejných adresářů ADLS Gen2, Fabric automaticky zobrazí aktualizovaná data pomocí zástupců (synchronizace na datové úrovni). Nové tabulky nebo změny schématu v Synapse HMS se však automaticky nešíří — musíte znovu spustit migrační skripty nebo ručně vytvořit nové tabulky v lakehouse ve Fabric.

  • External Hive Metastore (Azure SQL DB / MySQL): Některé pracovní prostory Synapse používají externí službu HMS podporovanou Azure SQL Database nebo Azure Database for MySQL k zachování metadat katalogu mimo pracovní prostor a jejich sdílení se službou HDInsight nebo Databricks. Fabric nepodporuje připojení k externímu metastoru Hive – používá výhradně katalog Lakehouse. Pokud používáte externí HMS, musíte metadata migrovat do katalogu Fabric Lakehouse. Můžete to udělat tak, že se do externí databáze HMS dotazujete přímo (přes JDBC) a exportujete definice tabulek a pak je znovu vytvoříte v Fabric pomocí Spark SQL nebo poznámkových bloků importu HMS. Všimněte si, že externí podpora HMS ve službě Synapse je po Sparku 3.4 zastaralá.

Tip

Pro probíhající synchronizaci, když jsou synapse i Fabric aktivní: používejte klávesové zkratky OneLake pro synchronizaci na úrovni dat (automaticky) a naplánujte pravidelné opakované spuštění poznámkových bloků HMS pro export/import nebo vytvořte poznámkový blok odsouhlasení pro detekci a synchronizaci nových tabulek.

Možnosti migrace dat

Máte data v ADLS Gen2 propojená s vaším pracovním prostorem v Synapse, která musíte zpřístupnit v lakehouse ve Fabric bez zbytečného duplikování dat. Vyberte si z následujících přístupů.

  • OneLake Shortcuts (doporučeno, zero-copy): Vytvořte zástupce v Fabric Lakehouse odkazující na existující cesty ADLS Gen2. Data formátu Delta v oddílu Tabulky se automaticky registrují v katalogu Lakehouse. Data CSV/JSON/Parquet jsou v části Soubory. Nevyžaduje se přesun dat.

  • mssparkutils fastcp: Slouží k kopírování dat z ADLS Gen2 do OneLake v rámci poznámkových bloků.

  • AzCopy: nástroj příkazového řádku pro hromadné kopírování dat z ADLS Gen2 do OneLake.

  • Aktivita kopírování v Data Factory: K přenosu dat do Lakehouse použijte Fabric Data Factory (nebo stávající kanály ADF/Synapse).

  • Průzkumník služby Azure Storage: Vizualizační nástroj pro přesun souborů z ADLS Gen2 do OneLake.

Tip

Pokud je to možné, dejte přednost zkratkám před přesunem dat. Klávesové zkratky se vyhýbají duplicitním datům a nákladům na úložiště a tabulky Delta v části Tabulky jsou automaticky zjistitelné v koncovém bodu analýzy SQL a Power BI.

Související obsah

  • Poslední aktualizace v