Dela via

Migreringsplanering för Azure Data Factory till Fabric Data Factory

Microsoft Fabric sammanför Microsofts analysverktyg till en enda SaaS-plattform. Den erbjuder starka funktioner för arbetsflödesorkestrering, dataförflyttning, replikering och transformering i stor skala. Fabric Data Factory tillhandahåller en SaaS-miljö som bygger på Azure Data Factory (ADF) PaaS genom användarvänliga förbättringar och extra funktioner, vilket gör Fabric Data Factory till den perfekta moderniseringen av dina befintliga dataintegreringslösningar.

Den här guiden visar migreringsstrategier, överväganden och metoder som hjälper dig att flytta från Azure Data Factory till Fabric Data Factory.

Varför ska man migrera?

Att migrera från ADF- och Synapse-pipelines till Fabric Data Factory är mer än en lift-and-shift: det är en möjlighet att förenkla styrning, standardisera mönster och använda Fabric Data Factorys avancerade funktioner för att förbättra din strategi för dataintegrering.

Fabric erbjuder många nya funktioner, bland annat:

En detaljerad jämförelse finns i jämförelseguiden för Azure Data Factory och Fabric Data Factory.

Kritiska arkitekturskillnader

Innan du migrerar från Azure Data Factory till Fabric Data Factory bör du överväga dessa kritiska arkitekturskillnader som tenderar att ha störst effekt på migreringsplaneringen:

Kategori Azure Data Factory Fabric Data Factory Migreringspåverkan
Anpassad kod Anpassad aktivitet Azure Batch-aktivitet Aktivitetsnamnet är annorlunda, men har stöd för samma funktioner.
Dataflows Mappa dataflöden (Spark-baserade) Dataflöde Gen2 (Power Query-motor) med snabb kopiering och flera mål Olika transformeringsmotorer och funktioner. Mer information finns i vår guide till dataflöden för mappning av dataflödesanvändare .
Datauppsättningar Separata, återanvändbara datauppsättningsobjekt Egenskaper definieras direkt i aktiviteter När du konverterar från ADF till Fabric finns information om dataset inom varje aktivitet.
Dynamiska anslutningar Länkade tjänstegenskaper kan vara dynamiska med hjälp av parametrar Anslutningsegenskaper stöder inte dynamiska egenskaper, men pipelineaktiviteter kan använda dynamiskt innehåll för anslutningsobjekt. För metadatadrivna arkitekturbaserade lösningar som förlitar sig på parametriserade anslutningar kan du parametrisera anslutningsobjektet i Infrastrukturresurser.
globala parametrar Globala parametrar Fabric-variabelbibliotek Olika implementeringsmönster och datatyper, även om vi har en migreringsguide.
HDInsight-aktiviteter Fem separata aktiviteter (Hive, Pig, MapReduce, Spark, Streaming) Enskild HDInsight-aktivitet Du behöver bara en aktivitetstyp när du konverterar, men alla funktioner stöds.
Identitet Hanterad identitet Fabric-arbetsytans identitet Olika identitetsmodeller, med viss planering som krävs för att skifta.
密钥保管�� Mogen integrering med alla autentiseringstyper Begränsad integrering via Fabric Key Vault Reference Jämför för närvarande stödda Key Vault-källor och autentisering med dina befintliga konfigurationer.
Pipelinekörning Utföra pipelineaktivitet Anropa Pipeline-aktivitet med anslutningstypen FabricDataPipeline Aktivitetsnamn och anslutningskrav ändras vid konvertering.
Scheduling En utlösare för många pipelines eller många utlösare per pipeline med centraliserad hantering Ett schema per pipeline eller många scheman per pipeline utan återanvändning av schema eller central knutpunkt Fabric kräver för närvarande schemahantering per pipeline.

Migreringssökvägar

Migreringsvägar beror på dina ADF-tillgångar och deras funktionsparitet. Alternativen inkluderar:

Azure Data Factory-objekt på din Infrastruktur-arbetsyta

Genom att lägga till en befintlig ADF i din Fabric-arbetsyta får du omedelbar insyn och styrning medan du migrerar stegvis. Det är idealiskt för identifiering, ägarskapstilldelning och parallel testning eftersom team kan se pipelines, organisera dem under Fabric arbetsytor och planera övergångar per domän. Använd Azure Data Factory-objekt för att katalogisera det som finns, prioritera pipelines med högst värde/lägsta risk först och upprätta konventioner (namngivning, mappar, återanvändning av anslutningar) som dina konverteringsskript och partnerverktyg kan följa konsekvent.

Montering i Fabric sker via objekttypen Azure Data Factory: Bring your Azure Data Factory to Fabric.

Använda PowerShell-uppgraderingsverktyget

Microsoft erbjuder migreringsverktyget ADF-till-Fabric i Azure PowerShell-modulen. När du använder modulen kan du översätta en stor delmängd av ADF JSON (pipelines, aktiviteter, parametrar) till infrastrukturbaserade definitioner, vilket ger dig en snabb startpunkt. Förvänta dig stark täckning av mönster för kopiering/sökning/lagrad procedur och kontrollflöde, med manuell uppföljning av undantagsfall (anpassade anslutningar, komplexa uttryck, vissa dataflödeskonstruktioner). Behandla skriptutdata som en scaffold: kör det i batchar, utför kodstil/lintkontroller, koppla sedan anslutningar och korrigera eventuella egenskapsmissmatchningar. Bygg in detta i en upprepningsbar CI-körning så att du kan iterera när du lär dig, i stället för att redigera varje pipeline för hand.

En fullständig guide finns i PowerShell-migrering. En detaljerad självstudiekurs med exempel finns i självstudien om PowerShell-migrering.

Manuell migrering

Manuell migrering är nödvändig för komplexa pipelines med låg paritet, men det är också en chans att modernisera din arkitektur och använda Fabrics integrerade funktioner. Den här sökvägen kräver mer planering och utveckling i förväg, men kan ge långsiktiga fördelar när det gäller underhåll, prestanda och kostnader.

Följ dessa steg för att migrera effektivt:

  1. Utvärdera och inventera: Katalogisera alla ADF-tillgångar, inklusive pipelines, datauppsättningar, länkade tjänster och integreringskörningar. Identifiera beroenden och användningsmönster.
  2. Identifiera dubbletter och oanvända objekt: Rensa oanvända eller redundanta objekt i ADF för att effektivisera migreringen och din dataintegreringsmiljö.
  3. Identifiera luckor: Använd migreringsutvärderingsverktyget och granska paritet för anslutningsappar och aktivitetsparitet för att identifiera luckor mellan dina ADF-pipelines och Fabric-pipelines och planera för alternativ.
  4. Granska nya funktioner: Använd vår beslutsguide för dataflyttning och beslutsguide för dataintegration för att avgöra vilka Fabric-verktyg som fungerar bäst för dina behov.
  5. Planera: Granska metodtipsen för migrering för att ta hänsyn till var och en av dina objekt och riktlinjer för att få ut det mesta av Fabrics förbättrade funktioner.
  6. Om du använder globala parametrar i ADF, planera att migrera dem till Fabric-variabelbibliotek. Se Konvertera globala ADF-parametrar till Fabric-variabelbibliotek för detaljerade steg.
  7. ADF-övergång: Överväg att lägga till ett Azure Data Factory-objekt i Microsoft Fabric som ett första steg i migreringen, vilket möjliggör gradvis övergång på en enda plattform.
  8. Prioritera: Rangordna dina pipelines baserat på affärspåverkan, komplexitet och enkel migrering.
  9. Automatisera var du kan: För alla pipelines med låg komplexitet bör du överväga att använda PowerShell-uppgraderingsverktyget för att automatisera migreringen.
  10. Överväg verktyg: Använd dessa verktyg för att göra rekreation enklare:
  11. Manuell migrering: Återskapa dem i Fabric för scenarier som andra migreringsmetoder inte stöder:
    1. Återskapa anslutningar: Konfigurera Anslutningar i Fabric för att ersätta länkade tjänster i ADF
    2. Återskapa aktiviteter: Konfigurera dina aktiviteter i dina pipelines, ersätt aktiviteter som inte stöds med Fabric-alternativ eller använd aktiviteten Anropa pipeline
    3. Schemalägg och ange utlösare: Återskapa scheman och händelseutlösare i Fabric så att de matchar dina ADF-scheman
  12. Testa noggrant: Verifiera migrerade pipelines mot förväntade utdata, prestandamått och efterlevnadskrav.

Exempel på migreringsscenarier

Att flytta från ADF till Fabric kan omfatta olika strategier beroende på ditt användningsfall. I det här avsnittet beskrivs vanliga migreringsvägar och överväganden som hjälper dig att planera effektivt.

Scenario 1: ADF-pipelines och dataflöden

Modernisera din ETL-miljö genom att flytta pipelines och dataflöden till Fabric. Planera för följande element:

  • Återskapa länkade tjänster som anslutningar
  • Återskapa globala parametrar som variabelbibliotek
  • Definiera datamängdsegenskaper direkt i pipelineaktiviteter
  • Ersätt SHIR (lokalt installerade integrationskörningar) med OPDG:er (lokala datagatewayer) och VNet IR:er med virtuella nätverksdatagatewayer
  • Återskapa ADF-aktiviteter som inte stöds med hjälp av infrastrukturresurser eller aktiviteten Anropa pipeline. Aktiviteter som inte stöds är:
    • Data Lake Analytics (U-SQL), en föråldrad Azure-tjänst
    • Valideringsaktivitet, som kan återskapas med hjälp av Hämta metadata, pipeline-loopar och If-aktiviteter
    • Power Query, som är helt integrerat i Fabric som dataflöden där M code kan återanvändas
    • Notebook-, Jar- och Python-aktiviteter kan ersättas med Databricks-aktiviteten i Fabric
    • Aktiviteterna Hive, Pig, MapReduce, Spark och Streaming kan ersättas med HDInsight-aktiviteten i Fabric

Här är till exempel konfigurationssidan för ADF-datauppsättningen med dess filsökväg och komprimeringsinställningar:

Skärmbild av konfigurationssidan för ADF-datauppsättningen.

Och här är en kopieringsaktivitet för Data Factory i Fabric, där komprimering och filsökväg är integrerade i aktiviteten.

Skärmbild av konfigurationsinställningarna för komprimering i Fabric Copy-aktiviteten.

Scenario 2: ADF med CDC, SSIS och Airflow

Återskapa CDC som Kopiera jobbobjekt . För Airflow kopierar du dina DAG:er till Fabrics Apache Airflow-erbjudande. Kör SSIS-paket med hjälp av ADF-pipelines och anropa dem från Infrastrukturresurser.

Scenario 3: PowerShell-migrering

Använd PowerShell-modulen Microsoft.FabricPipelineUpgrade för att migrera dina Azure Data Factory-pipelines till Fabric. Den här metoden fungerar bra för att automatisera migreringen av pipelines, aktiviteter och parametrar i stor skala. PowerShell-modulen översätter en stor delmängd av ADF JSON till fabric-inbyggda definitioner, vilket ger en snabb startpunkt för migrering.

Detaljerad vägledning finns i självstudien om PowerShell-migrering.

Scenario 4: ADF-objekt i en Fabric-arbetsyta

Du kan lägga till en hel ADF-fabrik i en Fabric-arbetsyta som ett inbyggt objekt. På så sätt kan du hantera ADF-fabriker tillsammans med Infrastrukturartefakter i samma gränssnitt. ADF-användargränssnittet är fortfarande fullt tillgängligt så att du kan övervaka, hantera och redigera dina ADF-fabriksobjekt direkt från arbetsytan Infrastruktur. Körning av pipelines, aktiviteter och integreringskörningar sker dock fortfarande inom dina Azure-resurser.

Den här funktionen är användbar för organisationer som övergår till Infrastrukturresurser eftersom den ger en enhetlig vy över både ADF- och Infrastrukturresurser, vilket förenklar hanteringen och planeringen för migrering.

Mer information finns i Bring your Azure Data Factory into Fabric (Ta med din Azure Data Factory i Infrastrukturresurser).

Relaterat innehåll

  • Last updated on