Freigeben über

Migrationsplanung für Azure Data Factory zu Fabric Data Factory

Microsoft Fabric vereint die Analysetools von Microsoft in einer einzigen SaaS-Plattform. Es bietet starke Funktionen für Workflow-Orchestrierung, Datenbewegung, Replikation und Transformation im großen Maßstab. Fabric Data Factory bietet eine SaaS-Umgebung, die auf Azure Data Factory (ADF) PaaS basiert, durch benutzerfreundliche Verbesserungen und zusätzliche Funktionen, wodurch Fabric Data Factory zur perfekten Modernisierung Ihrer vorhandenen Datenintegrationslösungen wird.

Dieser Leitfaden zeigt Ihnen Migrationsstrategien, Überlegungen und Ansätze, die Ihnen helfen, von Azure Data Factory zu Fabric Data Factory zu wechseln.

Vorteile der Migration

Die Migration von ADF- und Synapse-Pipelines zu Fabric Data Factory ist mehr als ein Lift-and-Shift: Es ist eine Möglichkeit, Governance zu vereinfachen, Muster zu standardisieren und die erweiterten Features von Fabric Data Factory zu verwenden, um Ihre Datenintegrationsstrategie zu verbessern.

Fabric bietet viele neue Features, darunter:

Einen detaillierten Vergleich finden Sie im Vergleichshandbuch zu Azure Data Factory und Fabric Data Factory.

Überlegungen vor der Migration

Die Migration von Azure Data Factory (ADF) zu Fabric Data Factory umfasst mehrere wichtige Überlegungen. Folgendes sollten Sie beachten:

  • Komplexe Pipelines und benutzerdefinierte Konnektoren: Diese können manuelle Anpassungen erfordern, um in der neuen Umgebung zu arbeiten.
  • Integration Runtimes: Legacy-Runtimes müssen möglicherweise umgestaltet werden, um mit der Architektur von Fabric in Einklang zu bringen.
  • Dataflow-Unterschiede: ADF-Zuordnungsdatenflüsse verwenden Spark-basierte Transformationen, während Fabric Dataflow Gen2 anders funktioniert und möglicherweise neu überarbeitet werden muss.
  • Sicherheit und Netzwerk: Überprüfen sie verwaltete Identitäten, private Endpunkte und Gatewaykonfigurationen. Testen Sie diese Einstellungen erneut, und aktualisieren Sie die Berechtigungen nach Bedarf.
  • Tests und Validierung: Stellen Sie sicher, dass migrierte Pipelines genaue Ausgaben erzeugen, SLAs erfüllen, und Anforderungen erfüllen. Verwenden Sie robuste Testgurte für objektive Vergleiche.

Um diese Herausforderungen zu bewältigen, befolgen Sie die folgenden bewährten Methoden:

  1. Führen Sie eine gründliche Bestandsaufnahme durch. Identifizieren Sie Duplikate, nicht verwendete Elemente und Abhängigkeiten.
  2. Verwenden Sie das Tool zur Migrationsbewertung, und überprüfen Sie die Connector-Parität und die Aktivitätsparität, um Funktionalitätslücken frühzeitig zu identifizieren und zuzuordnen.
  3. Erwägen Sie die Verwendung automatisierter Skripts und Partnertools für die Massenmigration.
  4. Verwalten Sie detaillierte Dokumentationen und Rollbackpläne.
  5. Binden Sie die Projektbeteiligten während des gesamten Prozesses ein.
  6. Führen Sie inkrementelle Migrationen aus, um das Risiko zu minimieren.
  7. Verwenden Sie KI-basierte Validierungsskripts, um die Problemauflösung zu beschleunigen.

Migrationspfade

Migrationspfade hängen von Ihren ADF-Ressourcen und deren Featureparität ab. Zu den Optionen gehören:

Azure Data Factory-Elemente in Ihrem Fabric-Arbeitsbereich

Durch das Hinzufügen einer vorhandenen ADF zu Ihrem Fabric-Arbeitsbereich erhalten Sie sofortige Sichtbarkeit und Governance, während Sie inkrementell migrieren. Es eignet sich ideal für Ermittlungen, Besitzzuweisungen und parallele Tests, da Teams Pipelines sehen, sie unter Fabric-Arbeitsbereichen organisieren und Übernahmen pro Domäne planen können. Verwenden Sie Azure Data Factory-Elemente, um zu katalogisieren, was vorhanden ist, priorisieren Sie zuerst die Pipelines mit dem höchsten/niedrigsten Risiko, und richten Sie Konventionen (Benennung, Ordner, Wiederverwendung von Verbindungen) ein, die Ihre Konvertierungsskripts und Partnertools konsistent befolgen können.

Die Montage in Fabric erfolgt über den Azure Data Factory-Elementtyp: Bringen Sie Ihre Azure Data Factory in Fabric.

Verwenden des PowerShell-Upgradetools

Microsoft bietet ein ADF-zu-Fabric-Migrationsprogramm im Azure PowerShell-Modul an. Wenn Sie das Modul verwenden, können Sie eine große Teilmenge von ADF JSON (Pipelines, Aktivitäten, Parameter) in Fabric-native Definitionen übersetzen, sodass Sie einen schnellen Ausgangspunkt erhalten. Erwarten Sie eine starke Abdeckung für Kopier-/Nachschlage-/Gespeicherte Prozedurmuster und den Steuerungsfluss mit manueller Nachverfolgung für Randfälle (benutzerdefinierte Konnektoren, komplexe Ausdrücke, bestimmte Datenflusskonstrukte). Behandeln Sie die Skriptausgabe als Gerüst: Führen Sie es in Batches aus, erzwingen Sie Codestil-/Lintprüfungen, fügen Sie Verbindungen an, und beheben Sie alle Eigenschaftenkonflikte. Integrieren Sie dies in einen wiederholbaren CI-Lauf, damit Sie iterieren können, während Sie lernen, anstatt jede Pipeline manuell zu editieren.

Eine vollständige Anleitung finden Sie unter PowerShell-Migration. Ein ausführliches Lernprogramm mit Beispielen finden Sie im PowerShell-Migrationslernprogramm.

Manuelle Migration

Die manuelle Migration ist für komplexe Pipelines mit geringer Parität erforderlich, bietet aber auch die Möglichkeit, Ihre Architektur zu modernisieren und die integrierten Features von Fabric zu übernehmen. Dieser Weg erfordert eine umfassendere Planung und Entwicklung, kann aber langfristige Vorteile bei der Wartung, Leistung und Kosten erzielen.

Gehen Sie folgendermaßen vor, um effektiv zu migrieren:

  1. Bewerten und Inventarisieren: Katalogisieren sie alle ADF-Ressourcen, einschließlich Pipelines, Datasets, verknüpfter Dienste und Integrationslaufzeiten. Identifizieren von Abhängigkeiten und Verwendungsmustern.
  2. Identifizieren Sie Duplikate und nicht verwendete Elemente: Bereinigen Sie nicht verwendete oder redundante Elemente in ADF, um die Migration und Ihre Datenintegrationsumgebung zu optimieren.
  3. Identifizieren von Lücken: Verwenden Sie das Migrationsbewertungstool und überprüfen Sie die Parität der Konnektoren und Aktivitäten, um Lücken zwischen Ihren ADF-Pipelines und Fabric-Pipelines zu erkennen und mögliche Alternativen zu planen.
  4. Überprüfen Sie neue Features: Verwenden Sie unser Entscheidungsleitfaden für die Datenverschiebung und den Entscheidungsleitfaden für die Datenintegration , um zu entscheiden, welche Fabric-Tools für Ihre Anforderungen am besten geeignet sind.
  5. Plan: Überprüfen Sie die bewährten Methoden zur Migration für jede Ihrer Komponenten und die Richtlinien zur optimalen Nutzung der verbesserten Funktionen von Fabric.
  6. ADF-Übergang: Erwägen Sie das Hinzufügen eines Azure Data Factory-Elements in Microsoft Fabric als ersten Schritt bei der Migration, was einen schrittweisen Übergang in einer einzelnen Plattform ermöglicht.
  7. Priorisieren: Bewerten Sie Ihre Pipelines basierend auf geschäftlichen Auswirkungen, Komplexität und einfacher Migration.
  8. Automatisieren Sie, wo Sie können: Für alle Pipelines mit geringer Komplexität sollten Sie das PowerShell Upgradetool verwenden, um die Migration zu automatisieren.
  9. Berücksichtigen Sie Werkzeuge: Verwenden Sie diese Werkzeuge, um die Nutzung zu erleichtern:
  10. Manuelle Migration: Für Szenarien, die von anderen Migrationsmethoden nicht unterstützt werden, erstellen Sie sie in Fabric neu:
    1. Neu erstellen von Verbindungen: Einrichten von Verbindungen in Fabric zum Ersetzen von verknüpften Diensten in ADF
    2. Aktivitäten neu erstellen: Einrichten Ihrer Aktivitäten in Ihren Pipelines, Ersetzen nicht unterstützter Aktivitäten durch Fabric-Alternativen oder Verwenden der Aufrufpipelineaktivität
    3. Planen und Festlegen von Triggern: Neuerstellen von Zeitplänen und Ereignistriggern in Fabric , um Ihren ADF-Zeitplänen zu entsprechen
  11. Testen Sie sorgfältig: Überprüfen Sie migrierte Pipelines anhand erwarteter Ausgaben, Leistungs-Benchmarks und Complianceanforderungen.

Beispielmigrationsszenarien

Der Wechsel von ADF zu Fabric kann je nach Anwendungsfall unterschiedliche Strategien umfassen. In diesem Abschnitt werden allgemeine Migrationspfade und Überlegungen beschrieben, die Ihnen bei der effektiven Planung helfen.

Szenario 1: ADF-Pipelines und Datenflüsse

Modernisieren Sie Ihre ETL-Umgebung, indem Sie Pipelines und Datenflüsse in Fabric verschieben. Planen Sie diese Elemente:

  • Verknüpfte Dienste als Verbindungen neu erstellen
  • Datensatz-Eigenschaften inline in Pipelineaktivitäten definieren
  • Ersetzen von SHIRs (selbst gehostete Integrationslaufzeiten) durch OPDGs (lokale Datengateways) und VNet-IRs durch virtuelle Netzwerk-Datengateways.
  • Erstellen Sie nicht unterstützte ADF-Aktivitäten mithilfe von Fabric-Alternativen oder der Invoke-Pipelineaktivität neu. Nicht unterstützte Aktivitäten umfassen:
    • Data Lake Analytics (U-SQL), ein veralteter Azure-Dienst
    • Überprüfungsaktivität, die mithilfe von Get Metadata, Pipelineschleifen und If-Aktivitäten neu erstellt werden kann
    • Power Query, das vollständig in Fabric als Datenflüsse integriert ist, in denen M-Code wiederverwendet werden kann
    • Notizbuch-, Jar- und Python-Aktivitäten können durch die Databricks-Aktivität in Fabric ersetzt werden.
    • Hive, Pig, MapReduce, Spark und Streaming-Aktivitäten können durch die HDInsight-Aktivität in Fabric ersetzt werden.

Als Beispiel sehen Sie hier die Konfigurationsseite des ADF-Datasets mit den Dateipfad- und Komprimierungseinstellungen:

Screenshot der Konfigurationsseite des ADF-Datasets.

Und hier ist eine Kopieraktivität für Data Factory in Fabric, bei der komprimierung und Dateipfad inline in der Aktivität sind:

Screenshot der Fabric Copy-Aktivitätskomprimierungskonfiguration.

Szenario 2: ADF mit CDC, SSIS und Airflow

Erstellen Sie CDC als Kopierauftragselemente neu. Kopieren Sie für Airflow Ihre DAGs in das Apache Airflow-Angebot von Fabric. Führen Sie SSIS-Pakete mithilfe von ADF-Pipelines aus, und rufen Sie sie aus Fabric auf.

Szenario 3: PowerShell-Migration

Verwenden Sie das PowerShell-Modul "Microsoft.FabricPipelineUpgrade ", um Ihre Azure Data Factory-Pipelines zu Fabric zu migrieren. Dieser Ansatz eignet sich gut für die Automatisierung der Migration von Pipelines, Aktivitäten und Parametern im großen Maßstab. Das PowerShell-Modul übersetzt eine große Teilmenge von ADF JSON in Fabric-native Definitionen und stellt einen schnellen Ausgangspunkt für die Migration bereit.

Ausführliche Anleitungen finden Sie im PowerShell-Migrationslernprogramm.

Szenario 4: ADF-Elemente in einem Fabric-Arbeitsbereich

Sie können eine gesamte ADF-Factory in einem Fabric-Arbeitsbereich als systemeigenes Element hinzufügen. Auf diese Weise können Sie ADF-Fabriken zusammen mit Fabric-Artefakten innerhalb derselben Schnittstelle verwalten. Auf die ADF-Benutzeroberfläche kann weiterhin vollständig zugegriffen werden, sodass Sie Ihre ADF-Factoryelemente direkt aus dem Fabric-Arbeitsbereich überwachen, verwalten und bearbeiten können. Die Ausführung von Pipelines, Aktivitäten und Integrationslaufzeiten erfolgt jedoch weiterhin in Ihren Azure-Ressourcen.

Dieses Feature ist nützlich für Organisationen, die auf Fabric umsteigen, da es eine einheitliche Ansicht von ADF- und Fabric-Ressourcen bietet, die Verwaltung und Planung für die Migration vereinfachen.

Weitere Informationen finden Sie unter Bring your Azure Data Factory into Fabric.

Verwandte Inhalte

  • Last updated on