Fáze 4: Migrace zabezpečení a zásad správného řízení

Tento článek je fáze 4 ze 4 v sérii osvědčených postupů migrace z Azure Synapse Spark do Microsoft Fabricu.

Využijte tento článek v závěrečné fázi migrace k ověření pracovních zátěží, sladění kontrolních mechanismů zabezpečení a řízení a plánování přechodu do produkčního prostředí. Tento článek poskytuje pokyny k mapování zabezpečení a přístup řízený kontrolním seznamem k validaci, optimalizaci a připravenosti k převedení.

V tomto článku se naučíte:

  • Mapovat Synapse RBAC a síťové vzory na Fabric pracovní prostor, OneLake a řízení spravované sítě.
  • Obnovte workflow správy a ochrany pomocí OneLake Catalog a Microsoft Purview Information Protection.
  • Kontrolní seznam pro fázovou migraci použijte k ověření, optimalizaci a provedení přechodu na nový systém.
  • Naplánujte vyřazení zastaralých prostředků Synapse Spark z provozu po úspěšném přepnutí systému.

Řízení přístupu

  • Role Synapse RBAC (Správce Synapse, Správce Synapse SQL, Správce Synapse Sparku a další) se mapují na role pracovního prostoru Fabric (správce, člen, přispěvatel, prohlížeč). model Fabric je jednodušší se čtyřmi rolemi.

  • Propojené služby Synapse se nahrazují službou Fabric Connections. Vytváření připojení prostřednictvím nastavení> pracovního prostoruUmožňuje spravovat připojení a brány. U kódu poznámkového bloku nahraďte odkazy na propojené služby buď ověřováním na základě Key Vault, nebo konfigurací přímého koncového bodu.

  • OneLake RBAC poskytuje jemně odstupňované řízení přístupu k datům na úrovni složek a tabulek v rámci lakehouse.

Zabezpečení sítě

  • Spravované virtuální sítě Synapse a privátní koncové body se mapují na Fabric spravované virtuální sítě + spravované privátní koncové body. Mějte na paměti, že Fabric Spark vyžaduje vlastní fondy (nikoli počáteční fondy) pro podporu spravovaných privátních koncových bodů.

  • Místní Self-hosted Integration Runtime (SHIR) ve službě Synapse se v platformě Fabric nahradí lokálními datovými bránami (OPDG). VNet IRs se nahrazují bránami dat virtuální sítě.

Vládnutí

Použijte katalog OneLake k objevování a správě migrovaných položek Fabric a přezkoumání jejich původu. Použijte Microsoft Purview Information Protection k aplikaci štítků citlivosti a ochranných politik na podporované položky Fabric.

Kontrolní seznam pro migraci

Pomocí tohoto kontrolního seznamu můžete sledovat průběh migrace Sparku. Každá fáze vychází z předchozí fáze. Než přejdete na další, dokončete všechny položky ve fázi.

Fáze 1: Posouzení a plánování

Pokyny k plánování, vzory migrace a porovnání funkcí najdete ve fázi 1: Strategie migrace a plánování.

  • 1.1 Dokončení inventáře prostředků Sparku: fondy Sparku, poznámkové bloky, definice úloh Sparku, databáze lake, databáze Hive Metastore (HMS) a propojené služby používané v poznámkových blocích.
  • 1.2 Zkontrolujte rozdíly mezi funkcemi Synapse a Fabric. Blokátory: úlohy GPU, nepodporovaná API katalogu, závislosti na propojených službách.
  • 1.3 Spusťte předaktoringový audit: Ve všech poznámkových blocích vyhledejte vzory specifické pro Synapse (spark.synapse.linkedService, getSecretWithLS, TokenLibrary, synapsesql). Počet ovlivněných notebooků
  • 1.4 Zkontrolujte kompatibilitu knihovny: spusťte pip freeze v Synapse poolech, porovnejte s integrovanými nativními knihovnami Fabric Runtime 1.3. Seznam knihoven, které je potřeba předinstalovat.
  • 1.5 Vytvořit pracovní prostory Fabric, zřídit kapacitu a vytvořit cílové položky Lakehouse.
  • 1.6 Export konfigurací fondu Sparku, vlastních knihoven a vlastností Sparku z Synapse Studio.

Fáze 2: Nastavení připojení a přihlašovacích údajů

Pokyny k nahrazení a ověřování propojených služeb najdete ve fázi 2: Migrace úloh Sparku a fáze 4: Migrace zabezpečení a zásad správného řízení.

  • 2.1 Inventarizace všech propojených služeb Synapse používaných poznámkovými bloky, definicemi úloh Sparku a přístupem k datům Lakehouse
  • 2.2 Vytvořte připojení Fabric pro externí zdroje dat (ADLS Gen2, Cosmos DB, Azure SQL a další) prostřednictvím Nastavení pracovního prostoru>Spravujte připojení a brány.
  • 2.3 Nastavte Azure Key Vault s tajnými klíči pro zdroje dat, které vyžadují ověřování založené na klíči (klíče cosmos DB, klíče účtu úložiště, tokeny Kusto). Nakonfigurujte zásady přístupu pro identitu pracovního prostoru Fabric.
  • 2.4 Konfigurace přihlašovacích údajů služebního principálu pro přístup k ADLS Gen2 přes OAuth: registrace aplikace v Entra ID, udělení role Přispěvatel dat úložiště Blob, poznamenejte si ID klienta, tajný klíč a tenant.
  • 2.5 Ověřte připojení: Před pokračováním otestujte získání tajemství z Key Vault a přístup k úložišti z poznámkového bloku Fabric.

Fáze 3: Migrace dat a metastoru Hive

Pokyny k migraci metadat lake a přístupu k datům najdete ve fázi 3: Metastore Hive a migrace dat a migrace dat a kanálů.

  • 3.1 Vytvořte zástupce OneLake pro existující cesty ADLS Gen2 (upřednostňovaný přístup bez kopírování). Pro přístup prostřednictvím datové brány použijte připojení Fabric Connections nastavená ve fázi 2.
  • 3.2 Pro jiné soubory než Delta (CSV, JSON, Parquet) vytvořte zástupce v části Soubory. Pokud je vyžadováno kopírování dat, použijte AzCopy nebo aktivitu kopírování služby Data Factory.
  • 3.3 Migrace objektů metastoru Hive Zvolte jeden přístup: Možnost A: Spuštění poznámkových bloků pro export a import HMS pro všechna metadata. Možnost B: Použijte Pomocník s migrací pro databázové tabulky Delta Lake a HMS export/import pouze pro tabulky, které nejsou Delta.
  • 3.4 Ověřte automatickou registraci tabulky Delta v Lakehouse Exploreru.
  • 3.5 Ověřit, zda jsou všechny importované tabulky a zkratky viditelné v Lakehouse Explorer a přístupné z notebooků.

Fáze 4: Migrace úloh Sparku

Pokyny k migraci položek, refaktoringu kódu a nastavení prostředí najdete ve fázi 2: Migrace úloh Sparku.

  • 4.1 Spusťte Pomocník s migrací pro poznámkové bloky, definice úloh Spark, fondy Spark a databáze datových jezer. Zkontrolujte ve zprávě o migraci chyby a upozornění.
  • 4.2 Vytvoření prostředí Fabric s cílovým prostředím runtime pro Spark, konfigurací fondu a vlastními knihovnami. Předinstalujte chybějící knihovny identifikované ve fázi 1.
  • 4.3 Refaktoring poznámkového bloku a kódu SJD: nahraďte mssparkutils s notebookutils, aktualizujte cesty k souborům na cesty OneLake abfss://, nahraďte odkazy na propojené služby s odkazy do Key Vault nebo Fabric Connections a nahraďte nepodporované metody spark.catalog ekvivalenty Spark SQL.
  • 4.4 Refaktorizujte konektory: Kusto/ADX – nahraďte propojenou službu pomocí accessToken prostřednictvím getToken(). Cosmos DB — nahraďte getSecretWithLS s getSecret(akvName, secret).
  • 4.5 Nahrazení zprostředkovatelů tokenů Synapse (LinkedServiceBasedTokenProvider, TokenLibrary) standardním OAuth ClientCredsTokenProvider prostřednictvím spark.conf.set().
  • 4.6 Komplexní testování refaktorovaných poznámkových bloků a SJD s ohledem na data (fáze 3) a připojení (fáze 2).

Fáze 5: Zabezpečení, zásady správného řízení a síť

Pokyny k zabezpečení, zásadám správného řízení a mapování sítí najdete ve fázi 4: Migrace zabezpečení a zásad správného řízení.

  • 5.1 Přiřadit role Synapse RBAC k rolím pracovního prostoru Fabric (správce, člen, přispěvatel, prohlížeč).
  • 5.2 Nakonfigurujte OneLake RBAC pro jemně odstupňované řízení přístupu k datům na úrovni složky a tabulky.
  • 5.3 Konfigurace spravovaných virtuálních sítí a spravovaných privátních koncových bodů pro úlohy Sparku, které přistupují k privátním zdrojům dat (vyžaduje vlastní fondy).
  • 5.4 Nahraďte SHIR místní bránou dat (OPDG) a nahraďte VNet IR bránou dat virtuální sítě.
  • 5.5 Ověřit, že migrované položky se objevují v katalogu OneLake a zkontrolovat jejich původ.
  • 5.6 Zkontrolujte a aplikujte podle potřeby popisky citlivosti na migrované položky Lakehouse.

Fáze 6: Optimalizace a ověření

Pokyny k ověřování po migraci a připravenosti pro produkční prostředí najdete ve fázi 4: Migrace zabezpečení a zásad správného řízení.

  • 6.1 Povolte nativní prováděcí modul (NEE) pro zlepšení výkonu Sparku u úloh Parquet a Delta.
  • 6.2 Spusťte OPTIMIZE VORDER u tabulek používaných službou Power BI Direct Lake nebo koncovým bodem analýzy SQL.
  • 6.3 Spusťte paralelní úlohy a porovnejte výsledky úloh Sparku a výkon mezi Synapse a Fabric.
  • 6.4 Přesměrujte podřízené odběratele, včetně sestav Power BI, rozhraní API a aplikací, na fabricové koncové body.
  • 6.5 Monitorujte úlohy Fabric pomocí Centra monitorování a Diagnostického emitoru po dobu nejméně jednoho až dvou týdnů.

Fáze 7: Přepnutí

Konečné ověření, přesměrování podřízené a přímé pokyny najdete ve fázi 4: Migrace zabezpečení a zásad správného řízení.

  • 7.1 Potvrďte, že se všechny migrované poznámkové bloky, SJD a úlohy Sparku úspěšně spouštějí v Fabric.
  • 7.2 Ověření integrity dat prostřednictvím počtu řádků, ověření schématu a porovnání výsledků dotazu.
  • 7.3 Oznámit přechod na nové řešení zúčastněným stranám a aktualizovat dokumentaci.
  • 7.4 Vyřazení fondů Synapse Spark, poznámkových bloků a souvisejících prostředků z provozu

Note

Po migraci zvažte nastavení Fabric integrace Gitu pro migrované poznámkové bloky a definice úloh Sparku. Fabric podporuje integraci Azure DevOps Git pro správu zdrojového kódu, větvení a potrubí pro nasazení. Na rozdíl od Synapse (který používá šablony ARM pro CI/CD) Fabric používá model založený na pracovním prostoru, ve kterém připojíte pracovní prostor ke větvi Gitu a synchronizujete položky přímo. Poznámkové bloky, prostředí a SJDs podporují integraci Gitu. Nastavte kanály nasazení (Dev → Test → Prod) pro správu povýšení napříč prostředími.

Související obsah

  • Poslední aktualizace v