Anmerkung
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen, dich anzumelden oder die Verzeichnisse zu wechseln.
Der Zugriff auf diese Seite erfordert eine Genehmigung. Du kannst versuchen , die Verzeichnisse zu wechseln.
Microsoft Fabric vereint die Analysetools von Microsoft in einer einzigen SaaS-Plattform. Es bietet starke Funktionen für Workflow-Orchestrierung, Datenbewegung, Replikation und Transformation im großen Maßstab. Fabric Data Factory bietet eine SaaS-Umgebung, die auf Azure Data Factory (ADF) PaaS basiert, durch benutzerfreundliche Verbesserungen und zusätzliche Funktionen, wodurch Fabric Data Factory zur perfekten Modernisierung Ihrer vorhandenen Datenintegrationslösungen wird.
Dieser Leitfaden zeigt Ihnen Migrationsstrategien, Überlegungen und Ansätze, die Ihnen helfen, von Azure Data Factory zu Fabric Data Factory zu wechseln.
Vorteile der Migration
Die Migration von ADF- und Synapse-Pipelines zu Fabric Data Factory ist mehr als ein Lift-and-Shift: Es ist eine Möglichkeit, Governance zu vereinfachen, Muster zu standardisieren und die erweiterten Features von Fabric Data Factory zu verwenden, um Ihre Datenintegrationsstrategie zu verbessern.
Fabric bietet viele neue Features, darunter:
- Integrierte Pipelineaktivitäten wie E-Mail und Teams für das Nachrichtenrouting
- Integrierte CI/CD (Bereitstellungspipelinen) ohne externe Git-Abhängigkeiten
- Nahtlose Arbeitsbereichintegration mit OneLake, Warehouse und Lakehouse für einheitliche Analysen
- Optimierte semantische Datenmodell-Aktualisierungen, die skaliert werden, um sowohl den Anforderungen für Self-Service-Daten als auch Unternehmensdaten gerecht zu werden.
- Integrierte KI-Funktionen mit Copilot , die Ihnen beim Erstellen und Verwalten von Pipelines helfen
Einen detaillierten Vergleich finden Sie im Vergleichshandbuch zu Azure Data Factory und Fabric Data Factory.
Kritische Architekturunterschiede
Bevor Sie von Azure Data Factory zu Fabric Data Factory migrieren, sollten Sie diese kritischen Architekturunterschiede berücksichtigen, die tendenziell die größte Auswirkung auf die Migrationsplanung haben:
| Kategorie | Azure Data Factory | Fabric Data Factory | Auswirkungen auf die Migration |
|---|---|---|---|
| Benutzerdefinierter Code | Benutzerdefinierte Aktivität | Azure Batch-Aktivität | Der Aktivitätsname ist anders, unterstützt jedoch die gleiche Funktionalität. |
| Dataflows | Zuordnen von Datenflüssen (Spark-basiert) | Dataflow Gen2 (Power Query-Modul) mit schneller Kopie und mehreren Zielen | Verschiedene Transformationsmodule und Funktionen. Weitere Informationen finden Sie in unserem Leitfaden zu Datenflüssen zum Zuordnen von Datenflussbenutzern . |
| Dateien | Separate, wiederverwendbare Datasetobjekte | Eigenschaften werden innerhalb von Aktivitäten inline definiert. | Wenn Sie von ADF in Fabric konvertieren, befinden sich "Dataset"-Informationen innerhalb jeder Aktivität. |
| Dynamische Verbindungen | Verknüpfte Diensteigenschaften können mithilfe von Parametern dynamisch sein | Verbindungspoerties unterstützen keine dynamischen Eigenschaften, aber Pipelineaktivitäten können dynamische Inhalte für Verbindungsobjekte verwenden. | Für metadatengesteuerte architekturbasierte Lösungen, die auf parametrisierten Verbindungen basieren, parametrisieren Sie das Verbindungsobjekt in Fabric. |
| globale Parameter | Globale Parameter | Fabric Variable Library | Verschiedene Implementierungsmuster und Datentypen, obwohl wir einen Migrationsleitfaden haben. |
| HDInsight-Aktivitäten | Fünf separate Aktivitäten (Hive, Pig, MapReduce, Spark, Streaming) | Einzelne HDInsight-Aktivität | Sie benötigen nur einen Aktivitätstyp beim Konvertieren, aber alle Funktionen werden unterstützt. |
| Identität | Verwaltete Identität | Fabric Workspace Identity | Verschiedene Identitätsmodelle, wobei einige Planung erforderlich ist, um den Übergang zu vollziehen. |
| Schlüsseltresor | Reife Integration mit allen Authentifizierungstypen | Eingeschränkte Integration über Fabric Key Vault-Referenz | Vergleichen Sie derzeit unterstützte Key Vault-Quellen und -Authentifizierung mit Ihren vorhandenen Konfigurationen. |
| Pipelineausführung | Ausführen der Pipelineaktivität | Aufrufen der Pipelineaktivität mit FabricDataPipeline-Verbindungstyp | Der Aktivitätsname und die Verbindungsanforderungen ändern sich beim Konvertieren. |
| Scheduling | Ein Trigger für viele Pipelines oder viele Trigger pro Pipeline mit zentralisierter Verwaltung | Ein Zeitplan pro Pipeline oder viele Zeitpläne pro Pipeline, ohne dass Zeitpläne wiederverwendet oder ein zentraler Hub genutzt wird. | Fabric erfordert derzeit eine Verwaltung des Zeitplans pro Pipeline. |
Migrationspfade
Migrationspfade hängen von Ihren ADF-Ressourcen und deren Featureparität ab. Zu den Optionen gehören:
- Azure Data Factory-Elemente in Fabric für Kontinuität. – Eine Liveansicht Ihrer vorhandenen Azure Data Factory-Instanz in Fabric, wodurch schrittweise Migration und Tests ermöglicht werden. Dies ist auch ein guter erster Schritt, bevor Sie Konvertierungstools oder Replatforming verwenden.
- Verwenden Sie das PowerShell-Konvertierungstool, um Pipelines mit hoher Parität zu migrieren. – Automatisieren Sie die Migration von Pipelines, Aktivitäten und Parametern im großen Maßstab. Ideal für Standardmuster wie "Kopieren", "Nachschlagen" und "Gespeicherte Prozedur".
- Manuelle Migration für komplexe Umgebungen – Erstellen Sie Pipelines in Fabric neu, um neue Features zu nutzen und die Leistung zu optimieren. Dies ist für Pipelines mit geringer Parität oder benutzerdefinierter Logik erforderlich, bietet aber auch die Möglichkeit, Ihre Architektur zu modernisieren.
Azure Data Factory-Elemente in Ihrem Fabric-Arbeitsbereich
Durch das Hinzufügen einer vorhandenen ADF zu Ihrem Fabric-Arbeitsbereich erhalten Sie sofortige Sichtbarkeit und Governance, während Sie inkrementell migrieren. Es eignet sich ideal für Ermittlungen, Besitzzuweisungen und parallele Tests, da Teams Pipelines sehen, sie unter Fabric-Arbeitsbereichen organisieren und Übernahmen pro Domäne planen können. Verwenden Sie Azure Data Factory-Elemente, um zu katalogisieren, was vorhanden ist, priorisieren Sie zuerst die Pipelines mit dem höchsten/niedrigsten Risiko, und richten Sie Konventionen (Benennung, Ordner, Wiederverwendung von Verbindungen) ein, die Ihre Konvertierungsskripts und Partnertools konsistent befolgen können.
Die Montage in Fabric erfolgt über den Azure Data Factory-Elementtyp: Bringen Sie Ihre Azure Data Factory in Fabric.
Verwenden des PowerShell-Upgradetools
Microsoft bietet ein ADF-zu-Fabric-Migrationsprogramm im Azure PowerShell-Modul an. Wenn Sie das Modul verwenden, können Sie eine große Teilmenge von ADF JSON (Pipelines, Aktivitäten, Parameter) in Fabric-native Definitionen übersetzen, sodass Sie einen schnellen Ausgangspunkt erhalten. Erwarten Sie eine starke Abdeckung für Kopier-/Nachschlage-/Gespeicherte Prozedurmuster und den Steuerungsfluss mit manueller Nachverfolgung für Randfälle (benutzerdefinierte Konnektoren, komplexe Ausdrücke, bestimmte Datenflusskonstrukte). Behandeln Sie die Skriptausgabe als Gerüst: Führen Sie es in Batches aus, erzwingen Sie Codestil-/Lintprüfungen, fügen Sie Verbindungen an, und beheben Sie alle Eigenschaftenkonflikte. Integrieren Sie dies in einen wiederholbaren CI-Lauf, damit Sie iterieren können, während Sie lernen, anstatt jede Pipeline manuell zu editieren.
Eine vollständige Anleitung finden Sie unter PowerShell-Migration. Ein ausführliches Lernprogramm mit Beispielen finden Sie im PowerShell-Migrationslernprogramm.
Manuelle Migration
Die manuelle Migration ist für komplexe Pipelines mit geringer Parität erforderlich, bietet aber auch die Möglichkeit, Ihre Architektur zu modernisieren und die integrierten Features von Fabric zu übernehmen. Dieser Weg erfordert eine umfassendere Planung und Entwicklung, kann aber langfristige Vorteile bei der Wartung, Leistung und Kosten erzielen.
Führen Sie die folgenden Schritte aus, um effektiv zu migrieren:
- Bewerten und Inventarisieren: Katalogisieren sie alle ADF-Ressourcen, einschließlich Pipelines, Datasets, verknüpfter Dienste und Integrationslaufzeiten. Identifizieren von Abhängigkeiten und Verwendungsmustern.
- Identifizieren Sie Duplikate und nicht verwendete Elemente: Bereinigen Sie nicht verwendete oder redundante Elemente in ADF, um die Migration und Ihre Datenintegrationsumgebung zu optimieren.
- Identifizieren von Lücken: Verwenden Sie das Migrationsbewertungstool und überprüfen Sie die Parität der Konnektoren und Aktivitäten, um Lücken zwischen Ihren ADF-Pipelines und Fabric-Pipelines zu erkennen und mögliche Alternativen zu planen.
- Überprüfen Sie neue Features: Verwenden Sie unser Entscheidungsleitfaden für die Datenverschiebung und den Entscheidungsleitfaden für die Datenintegration , um zu entscheiden, welche Fabric-Tools für Ihre Anforderungen am besten geeignet sind.
- Plan: Überprüfen Sie die bewährten Methoden zur Migration für jede Ihrer Komponenten und die Richtlinien zur optimalen Nutzung der verbesserten Funktionen von Fabric.
- Wenn Sie globale Parameter in ADF verwenden, planen Sie die Migration zu Fabric-Variablenbibliotheken. Ausführliche Schritte finden Sie unter Konvertieren von globalen ADF-Parametern in Fabric-Variablenbibliotheken .
- ADF-Übergang: Erwägen Sie das Hinzufügen eines Azure Data Factory-Elements in Microsoft Fabric als ersten Schritt bei der Migration, was einen schrittweisen Übergang in einer einzelnen Plattform ermöglicht.
- Priorisieren: Bewerten Sie Ihre Pipelines basierend auf geschäftlichen Auswirkungen, Komplexität und einfacher Migration.
- Automatisieren Sie, wo Sie können: Für alle Pipelines mit geringer Komplexität sollten Sie das PowerShell Upgradetool verwenden, um die Migration zu automatisieren.
-
Berücksichtigen Sie Werkzeuge: Verwenden Sie diese Werkzeuge, um die Nutzung zu erleichtern:
- Verwenden Sie Fabric-Vorlagen als Ausgangspunkt für Pipelines mit allgemeinen Datenintegrationsszenarien.
- Verwenden Sie die Parametrisierung zur Erstellung von wiederverwendbaren Pipelines
- Verwenden von Copilot in Fabric Data Factory zur Unterstützung der Pipelineerstellung
- Verwenden Sie Bereitstellungspipelines für CI/CD und Versionskontrolle
-
Manuelle Migration: Für Szenarien, die von anderen Migrationsmethoden nicht unterstützt werden, erstellen Sie sie in Fabric neu:
- Neu erstellen von Verbindungen: Einrichten von Verbindungen in Fabric zum Ersetzen von verknüpften Diensten in ADF
- Aktivitäten neu erstellen: Einrichten Ihrer Aktivitäten in Ihren Pipelines, Ersetzen nicht unterstützter Aktivitäten durch Fabric-Alternativen oder Verwenden der Aufrufpipelineaktivität
- Planen und Festlegen von Triggern: Neuerstellen von Zeitplänen und Ereignistriggern in Fabric , um Ihren ADF-Zeitplänen zu entsprechen
- Testen Sie sorgfältig: Überprüfen Sie migrierte Pipelines anhand erwarteter Ausgaben, Leistungs-Benchmarks und Complianceanforderungen.
Beispielmigrationsszenarien
Der Wechsel von ADF zu Fabric kann je nach Anwendungsfall unterschiedliche Strategien umfassen. In diesem Abschnitt werden allgemeine Migrationspfade und Überlegungen beschrieben, die Ihnen bei der effektiven Planung helfen.
- Szenario 1: ADF-Pipelines und Datenflüsse
- Szenario 2: ADF mit CDC, SSIS und Airflow
- Szenario 3: PowerShell-Migration
- Szenario 4: ADF-Elemente in einem Fabric-Arbeitsbereich
Szenario 1: ADF-Pipelines und Datenflüsse
Modernisieren Sie Ihre ETL-Umgebung, indem Sie Pipelines und Datenflüsse in Fabric verschieben. Planen Sie diese Elemente:
- Verknüpfte Dienste als Verbindungen neu erstellen
- Erstellen sie globale Parameter als Variablenbibliotheken neu
- Datensatz-Eigenschaften inline in Pipelineaktivitäten definieren
- Ersetzen von SHIRs (selbst gehostete Integrationslaufzeiten) durch OPDGs (lokale Datengateways) und VNet-IRs durch virtuelle Netzwerk-Datengateways.
- Erstellen Sie nicht unterstützte ADF-Aktivitäten mithilfe von Fabric-Alternativen oder der Invoke-Pipelineaktivität neu. Nicht unterstützte Aktivitäten umfassen:
- Data Lake Analytics (U-SQL), ein veralteter Azure-Dienst
- Überprüfungsaktivität, die mithilfe von Get Metadata, Pipelineschleifen und If-Aktivitäten neu erstellt werden kann
- Power Query, das vollständig in Fabric als Datenflüsse integriert ist, in denen M-Code wiederverwendet werden kann
- Notizbuch-, Jar- und Python-Aktivitäten können durch die Databricks-Aktivität in Fabric ersetzt werden.
- Hive, Pig, MapReduce, Spark und Streaming-Aktivitäten können durch die HDInsight-Aktivität in Fabric ersetzt werden.
Als Beispiel sehen Sie hier die Konfigurationsseite des ADF-Datasets mit den Dateipfad- und Komprimierungseinstellungen:
Und hier ist eine Kopieraktivität für Data Factory in Fabric, bei der komprimierung und Dateipfad inline in der Aktivität sind:
Szenario 2: ADF mit CDC, SSIS und Airflow
Erstellen Sie CDC als Kopierauftragselemente neu. Kopieren Sie für Airflow Ihre DAGs in das Apache Airflow-Angebot von Fabric. Führen Sie SSIS-Pakete mithilfe von ADF-Pipelines aus, und rufen Sie sie aus Fabric auf.
Szenario 3: PowerShell-Migration
Verwenden Sie das PowerShell-Modul "Microsoft.FabricPipelineUpgrade ", um Ihre Azure Data Factory-Pipelines zu Fabric zu migrieren. Dieser Ansatz eignet sich gut für die Automatisierung der Migration von Pipelines, Aktivitäten und Parametern im großen Maßstab. Das PowerShell-Modul übersetzt eine große Teilmenge von ADF JSON in Fabric-native Definitionen und stellt einen schnellen Ausgangspunkt für die Migration bereit.
Ausführliche Anleitungen finden Sie im PowerShell-Migrationslernprogramm.
Szenario 4: ADF-Elemente in einem Fabric-Arbeitsbereich
Sie können eine gesamte ADF-Factory in einem Fabric-Arbeitsbereich als systemeigenes Element hinzufügen. Auf diese Weise können Sie ADF-Fabriken zusammen mit Fabric-Artefakten innerhalb derselben Schnittstelle verwalten. Auf die ADF-Benutzeroberfläche kann weiterhin vollständig zugegriffen werden, sodass Sie Ihre ADF-Factoryelemente direkt aus dem Fabric-Arbeitsbereich überwachen, verwalten und bearbeiten können. Die Ausführung von Pipelines, Aktivitäten und Integrationslaufzeiten erfolgt jedoch weiterhin in Ihren Azure-Ressourcen.
Dieses Feature ist nützlich für Organisationen, die auf Fabric umsteigen, da es eine einheitliche Ansicht von ADF- und Fabric-Ressourcen bietet, die Verwaltung und Planung für die Migration vereinfachen.
Weitere Informationen finden Sie unter Bring your Azure Data Factory into Fabric.