Share via

Migratieplanning voor Azure Data Factory naar Fabric Data Factory

Microsoft Fabric brengt de analysehulpprogramma's van Microsoft samen in één SaaS-platform. Het biedt sterke mogelijkheden voor werkstroomindeling, gegevensverplaatsing, replicatie en transformatie op schaal. Fabric Data Factory biedt een SaaS-omgeving die voortbouwt op Azure Data Factory (ADF) PaaS door gebruiksvriendelijke verbeteringen en extra functionaliteit, waardoor Fabric Data Factory de perfecte modernisering van uw bestaande oplossingen voor gegevensintegratie biedt.

In deze handleiding ziet u migratiestrategieën, overwegingen en benaderingen waarmee u kunt overstappen van Azure Data Factory naar Fabric Data Factory.

Voordelen van migratie

Migreren van ADF- en Synapse-pijplijnen naar Fabric Data Factory is meer dan een lift-and-shift: het is een mogelijkheid om governance te vereenvoudigen, patronen te standaardiseren en de geavanceerde functies van Fabric Data Factory te gebruiken om uw strategie voor gegevensintegratie te verbeteren.

Fabric biedt veel nieuwe functies, waaronder:

Zie de vergelijkingshandleiding voor Azure Data Factory en Fabric Data Factory voor een gedetailleerde vergelijking.

Overwegingen voordat u migreert

Het migreren van Azure Data Factory (ADF) naar Fabric Data Factory omvat verschillende belangrijke overwegingen. Houd rekening met het volgende:

  • Complexe pijplijnen en aangepaste connectors: hiervoor zijn mogelijk handmatige aanpassingen nodig om in de nieuwe omgeving te werken.
  • Integratieruntimes: verouderde runtimes moeten mogelijk worden geherstructurerd om te worden afgestemd op de architectuur van Fabric.
  • Verschillen in gegevensstromen: ADF-toewijzingsgegevensstromen maken gebruik van op Spark gebaseerde transformaties, terwijl Fabric Dataflow Gen2 anders werkt en mogelijk opnieuw moet worden bewerkt.
  • Beveiliging en netwerken: Controleer de beheerde identiteit, privé-eindpunten en gatewayconfiguraties. Test deze instellingen opnieuw en werk de machtigingen zo nodig bij.
  • Testen en valideren: zorg ervoor dat gemigreerde pijplijnen nauwkeurige uitvoer produceren, voldoen aan SLA's en voldoen aan de vereisten. Gebruik robuuste testharnas voor objectieve vergelijkingen.

Volg deze aanbevolen procedures om deze uitdagingen aan te pakken:

  1. Voer een grondige inventaris van activa uit. Dubbele items, ongebruikte items en afhankelijkheden identificeren.
  2. Gebruik het hulpprogramma voor migratie-evaluatie en controleer connectorpariteit en activiteitspariteit om vroegtijdig kenmerkenverschillen te identificeren en in kaart te brengen.
  3. Overweeg het gebruik van geautomatiseerde scripts en partnerhulpprogramma's voor bulkmigratie.
  4. Gedetailleerde documentatie en terugdraaiplannen onderhouden.
  5. Betrek belanghebbenden tijdens het proces.
  6. Voer incrementele migraties uit om het risico te minimaliseren.
  7. Gebruik validatiescripts op basis van AI om het oplossen van problemen te versnellen.

Migratiepaden

Migratiepaden zijn afhankelijk van uw ADF-assets en hun functiepariteit. De volgende opties zijn beschikbaar:

Azure Data Factory-items in uw Fabric-werkruimte

Het toevoegen van een bestaande ADF aan uw Fabric-werkruimte, geeft u onmiddellijk inzicht en controle terwijl u incrementeel migreert. Het is ideaal voor ontdekking, eigendomstoewijzing en parallel testen, omdat teams pijplijnen kunnen zien, ze kunnen organiseren onder Fabric-werkruimten en cutovers per domein kunnen plannen. Gebruik Azure Data Factory-items om te catalogiseren wat er bestaat, prioriteit te geven aan de pijplijnen met het hoogste waarde/laagste risico en om conventies (naamgeving, mappen, opnieuw gebruiken van verbindingen) vast te stellen die uw conversiescripts en partnerhulpprogramma's consistent kunnen volgen.

Koppelen in Fabric wordt bereikt via het Azure Data Factory-itemtype: Breng uw Azure Data Factory naar Fabric.

Het hulpprogramma voor het upgraden van PowerShell gebruiken

Microsoft biedt een ADF-naar-Fabric-migratiehulpprogramma in de Azure PowerShell-module. Wanneer u de module gebruikt, kunt u een grote subset van ADF JSON (pijplijnen, activiteiten, parameters) omzetten in infrastructuureigen definities, zodat u snel kunt beginnen. Verwacht een sterke dekking voor kopieer-/opzoek-/opgeslagen procedurepatronen en controlestroom, met handmatige opvolging voor edge-cases (aangepaste connectors, complexe expressies, bepaalde gegevensstroomconstructies). Behandel de scriptuitvoer als een scaffold: voer deze uit in batches, dwing codestijl/lintcontroles af, koppel vervolgens verbindingen en corrigeer eventuele niet-overeenkomende eigenschappen. Bouw dit in op een herhaalbare CI-uitvoering, zodat u deze kunt herhalen terwijl u leert, in plaats van elke pijplijn met de hand te bewerken.

Zie PowerShell-migratie voor een volledige handleiding. Zie de zelfstudie over PowerShell-migratie voor een gedetailleerde zelfstudie met voorbeelden.

Handmatige migratie

Handmatige migratie is nodig voor complexe pijplijnen met lage pariteit, maar het is ook een kans om uw architectuur te moderniseren en de geïntegreerde functies van Fabric te gebruiken. Dit pad vereist meer planning en ontwikkeling vooraf, maar kan langetermijnvoordelen opleveren in onderhoudbaarheid, prestaties en kosten.

Als u effectief wilt migreren, kunt u de volgende stappen overwegen:

  1. Evalueren en inventariseren: Catalogiseer alle ADF-assets, waaronder pijplijnen, datasets, gekoppelde services en integratie-runtimes. Afhankelijkheden en gebruikspatronen identificeren.
  2. Duplicaten en ongebruikte items identificeren: verwijder ongebruikte of redundante items in ADF om de migratie en uw gegevensintegratieomgeving te stroomlijnen.
  3. Hiaten identificeren: gebruik het hulpprogramma voor migratiebeoordeling en controleer de pariteit van connectors en de pariteit van activiteiten om hiaten tussen uw ADF-pijplijnen en Fabric-pijplijnen te identificeren, en plan alternatieven.
  4. Bekijk nieuwe functies: gebruik onze handleiding voor beslissingen over het verplaatsen van gegevens en de handleiding voor beslissingen over gegevensintegratie om te bepalen welke Fabric-hulpprogramma's het beste werken voor uw behoeften.
  5. Plan: Bekijk de aanbevolen procedures voor migratie voor overwegingen voor elk van uw items en richtlijnen voor het optimaal benutten van de verbeterde mogelijkheden van Fabric.
  6. ADF-overgang: Overweeg om een Azure Data Factory-item in Microsoft Fabric toe te voegen als eerste stap in de migratie, waardoor een geleidelijke overgang in één platform mogelijk is.
  7. Prioriteit: Rangschik uw pijplijnen op basis van bedrijfsimpact, complexiteit en eenvoudigere migratie.
  8. Automatiseer waar u kunt: Voor alle pijplijnen met lage complexiteit kunt u overwegen om het Hulpprogramma voor het upgraden van PowerShell te gebruiken om een aantal migraties te automatiseren.
  9. Overweeg hulpprogramma's: gebruik deze hulpmiddelen om recreatie gemakkelijker te maken:
  10. Handmatige migratie: voor scenario's die niet worden ondersteund door andere migratiemethoden, bouwt u deze opnieuw op in Fabric:
    1. Verbindingen opnieuw maken: Verbindingen instellen in Fabric om gekoppelde services in ADF te vervangen
    2. Activiteiten opnieuw maken: uw activiteiten in uw pijplijnen instellen, niet-ondersteunde activiteiten vervangen door alternatieven voor Fabric of het gebruik van de activiteit Pijplijn aanroepen
    3. Triggers plannen en instellen: Schema's en gebeurtenistriggers opnieuw samenstellen in Fabric zodat deze overeenkomen met uw ADF-schema's
  11. Grondig testen: gemigreerde pijplijnen valideren op basis van verwachte uitvoer, prestatiebenchmarks en nalevingsvereisten.

Voorbeeldmigratiescenario's

Overstappen van ADF naar Fabric kan verschillende strategieën omvatten, afhankelijk van uw use-case. In deze sectie worden algemene migratiepaden en overwegingen beschreven om u te helpen effectief te plannen.

Scenario 1: ADF-pijplijnen en gegevensstromen

Moderniseer uw ETL-omgeving door pijplijnen en gegevensstromen naar Fabric te verplaatsen. Plan deze elementen:

  • Gekoppelde diensten hercreëren als verbindingen
  • Gegevensseteigenschappen inline definiëren in pijplijnactiviteiten
  • SHIR's (zelf-hostende integration runtimes) vervangen door OPDG's (on-premises gegevensgateways) en VNet-IR's door gegevensgateways voor virtuele netwerken
  • Bouw niet-ondersteunde ADF-activiteiten opnieuw met infrastructuuralternatieven of de activiteit Pijplijn aanroepen. Niet-ondersteunde activiteiten zijn onder andere:
    • Data Lake Analytics (U-SQL), een afgeschafte Azure-service
    • Validatieactiviteit, die opnieuw kan worden opgebouwd met behulp van Get Metadata, pijplijnlussen en If-activiteiten
    • Power Query, dat volledig is geïntegreerd in Fabric als gegevensstromen waar M-code opnieuw kan worden gebruikt
    • Notebook-, Jar- en Python-activiteiten kunnen worden vervangen door de Databricks-activiteit in Fabric
    • Hive-, Pig-, MapReduce-, Spark- en Streaming-activiteiten kunnen worden vervangen door de HDInsight-activiteit in Fabric

Hier ziet u bijvoorbeeld de configuratiepagina van de ADF-gegevensset, met de bestandspad- en compressie-instellingen:

Schermopname van de configuratiepagina van de ADF-gegevensset.

En hier volgt een kopieeractiviteit voor Data Factory in Fabric, waarbij compressie en bestandspad inline zijn in de activiteit:

Schermopname van de compressieconfiguratie van de Fabric Copy-activiteit.

Scenario 2: ADF met CDC, SSIS en Airflow

Maak CDC opnieuw als taakitems kopiëren . Kopieer voor Airflow uw DAG's naar de Apache Airflow-aanbieding van Fabric. Voer SSIS-pakketten uit met behulp van ADF-pijplijnen en roep ze aan vanuit Fabric.

Scenario 3: PowerShell-migratie

Gebruik de PowerShell-module Microsoft.FabricPipelineUpgrade om uw Azure Data Factory-pijplijnen te migreren naar Fabric. Deze aanpak werkt goed voor het automatiseren van de migratie van pijplijnen, activiteiten en parameters op schaal. De PowerShell-module vertaalt een grote subset van ADF JSON in systeemeigen fabricdefinities, wat een snel uitgangspunt biedt voor migratie.

Zie de zelfstudie over PowerShell-migratie voor gedetailleerde richtlijnen.

Scenario 4: ADF-items in een Fabric-werkruimte

U kunt een volledige ADF-factory toevoegen in een Fabric-werkruimte als een native item. Hiermee kunt u ADF-factory's naast Fabric-artefacten in dezelfde interface beheren. De ADF-gebruikersinterface blijft volledig toegankelijk, zodat u uw ADF-factory-items rechtstreeks vanuit de infrastructuurwerkruimte kunt bewaken, beheren en bewerken. De uitvoering van pijplijnen, activiteiten en integratieruntimes vindt echter nog steeds plaats binnen uw Azure-resources.

Deze functie is handig voor organisaties die overstappen naar Fabric, omdat deze een uniforme weergave biedt van zowel ADF- als Infrastructuurresources, waardoor het beheer en de planning voor migratie wordt vereenvoudigd.

Zie Bring your Azure Data Factory in Fabric voor meer informatie.

Verwante inhoud

  • Last updated on