Auf Englisch lesen

Freigeben über


Neuerungen und Planungen für Data Factory in Microsoft Fabric

Wichtig

In den Freigabeplänen werden Funktionen beschrieben, die möglicherweise noch nicht freigegeben wurden. Die Liefer-Zeitachsen und die geplante Funktion können sich ändern oder werden möglicherweise nicht geliefert. Weitere Informationen finden Sie unter Microsoft-Richtlinie.

Data Factory in Microsoft Fabric vereint die Fähigkeiten zur Datenintegration sowohl für Citizen Developer als auch für professionelle Entwickelnde in einer einzigen, modernen Datenintegrationslösung. Es bietet Konnektivität zu mehr als 100 relationalen und nicht-relationalen Datenbanken, Lakehouses, Data Warehouses, generischen Schnittstellen wie REST-APIs, OData und mehr.

Dataflows: Dataflow Gen2 ermöglicht es Ihnen, umfangreiche Datentransformationen durchzuführen und verschiedene Ausgabeziele zu unterstützen, die in Azure SQL-Datenbank, Lakehouse, Data Warehouse und mehr speichern. Der Dataflows-Editor bietet mehr als 300 Transformationen, einschließlich KI-basierter Optionen, und ermöglicht Ihnen das einfache Transformieren von Daten mit besserer Flexibilität als jedes andere Tool. Unabhängig davon, ob Sie Daten aus einer unstrukturierten Datenquelle wie einer Webseite extrahieren oder eine vorhandene Tabelle im Power Query-Editor umgestalten, können Sie die Power Query-Funktion „Data Extraction By Example“ (Datenextraktion anhand von Beispielen) verwenden, die künstliche Intelligenz (KI) nutzt und so den Prozess vereinfacht.

Datenpipelines: Datenpipelines bieten die Möglichkeit, vielseitige Workflows zur Datenorchestrierung zu erstellen, die Aufgaben wie die Extraktion von Daten, das Laden in bevorzugte Datenspeicher, die Ausführung von Notebooks, die Ausführung von SQL-Skripten und vieles mehr zusammenführen. Sie können schnell leistungsstarke metadatengesteuerte Datenpipelines erstellen, die sich wiederholende Aufgaben automatisieren. Beispielsweise das Laden und Extrahieren von Daten aus verschiedenen Tabellen in einer Datenbank, das Durchlaufen mehrerer Container in Azure Blob Storage und vieles mehr. Außerdem können Sie mit Datenpipelines über den Connector von Microsoft Graph Data Connection (MGDC) auf die Daten von Microsoft 365 zugreifen.

Kopierauftrag: Der Kopierauftrag vereinfacht die Datenaufnahme mit einem optimierten und benutzerfreundlichen Prozess, das Verschieben von Daten auf Petabyte-Skalierung von jeder Quelle zu jedem Beliebigen Ziel. Sie können Daten mit verschiedenen Datenübermittlungsformaten kopieren, einschließlich Batchkopie, inkrementeller Kopie und mehr.

Apache Airflow Job: Apache Airflow Job ist die nächste Generation des Workflow Orchestration Managers von Azure Data Factory. Es ist eine einfache und effiziente Möglichkeit, Apache Airflow-Orchestrierungsaufträge zu erstellen und zu verwalten, sodass Sie "Directed Acyclic Graphs"(DAGs) mühelos im Maßstab ausführen können. Der Apache Airflow-Auftrag ermöglicht Ihnen eine moderne Datenintegrationserfahrung, um Daten aus einer vielzahl von Datenquellen mithilfe von Code aufzunehmen, vorzubereiten, zu transformieren und zu koordinieren.

Datenbankspiegelung: Datenbankspiegelung in Fabric ist eine kostengünstige Lösung mit geringer Latenz, die mit offenen Standards (z. B. Delta Lake-Tabellenformat) entwickelt wurde. Es ermöglicht Ihnen, Daten und Metadaten aus verschiedenen Systemen schnell zu replizieren. Mithilfe der Datenbankspiegelung können Sie Ihre Datenstruktur kontinuierlich in Microsoft Fabric OneLake für Analysen replizieren. Mit einer hochgradig integrierten, einfach zu bedienenden Erfahrung können Sie jetzt vereinfachen, wie Sie mit Ihren Analyseanforderungen beginnen können.

Weitere Informationen finden Sie in der Dokumentation.

Schwerpunkte

In den nächsten Monaten wird Data Factory in Microsoft Fabric seine Konnektivitätsoptionen erweitern und die umfangreiche Bibliothek an Transformationen und Datenpipelineaktivitäten weiter ausbauen. Darüber hinaus können Sie die Echtzeit-, Hochleistungsdatenreplikation aus betriebstechnischen Datenbanken durchführen und diese Daten zur Analyse in den Lake einzuspeisen.

Funktion Geschätzter Zeitplan für die Veröffentlichung
Unterstützung von Dataflow Gen2 CI/CD und öffentlichen APIs Q4 2024
Semantische Modellaktualisierungstabellen und Partitionen Q4 2024
Importieren und Exportieren von Fabric Data Factory-Pipeline Q4 2024
Copilot für Data Factory (Datenpipeline) Q4 2024
Spiegelung für Azure SQL DB Q4 2024
Spiegelung öffnen Q4 2024
Unterstützung für öffentliche APIs für Datenpipelines SPN Q4 2024
Datenpipelineunterstützung für Fabric Workspace-Variablen Q4 2024
Automatische Aktualisierung des lokalen Datengateways Q1 2025
Unterstützung der Datenpipeline für VNET-Gateways Q1 2025
Ausgabeziel der Dataflow Gen2 in SharePoint-Dateien Q1 2025
Datenpipelineunterstützung für Tumbling-Fenstertrigger Q1 2025
Azure Data Factory-Element Q1 2025
Datenpipelinekopie-Aktivitätsunterstützung für zusätzliche Quellen Q1 2025
Parallelisierte Ausführung von Dataflows Gen 2 Q1 2025
Identitätsverwaltung für Datenquellen (Azure Key Vault) Q1 2025
Spiegelung für CosmosDB Q1 2025
Unterstützung von Dataflow Gen2 CI/CD und öffentlichen APIs Q1 2025
Unterstützung öffentlicher APIs der Dataflow Gen2 Q1 2025
Inkrementelle Aktualisierung von Dataflow Gen2 Q1 2025
Dataflow Gen2 Inkrementelle Aktualisierungsunterstützung für Lakehouse-Ziel Q1 2025
Dataflow Gen2-Parameterisierung Q1 2025
Dataflow Gen2-Unterstützung für "Speichern unter" Q1 2025
Dataflow Gen1-Unterstützung für neues Element "Speichern unter Datenfluss gen2" Q1 2025
Kopierauftrag – Inkrementelle Kopie, ohne dass Benutzer Wasserzeichenspalten angeben müssen Q1 2025
Kopierauftrag Q1 2025
Kopierauftrag CI/CD-Unterstützung Q1 2025
Unterstützung öffentlicher APIs für den Kopierauftrag Q1 2025
Dataflow Gen2-Unterstützung für zusätzliche Fast Copy-Quellen Q1 2025
Kopierauftragsunterstützung für zusätzliche Quellen Q1 2025
Datenpipelineunterstützung für OneLake-Speicherereignistrigger Q1 2025
Ermöglichen, dass die Kundschaft ihre Verbindungen parametrisieren kann Q1 2025
Unterstützung der Datenpipeline für DBT Q1 2025
Unterstützung für vom Benutzer zugewiesene verwaltete Identitäten in Connections Q2 2025
Azure Data Factory in Fabric Verfügbar (Q3 2024)
Unterstützung für das Aufrufen von arbeitsbereichsübergreifenden Datenpipelines Verfügbar (Q3 2024)
Datenpipelines wurden um die Unterstützung des lokalen Datengateways (OPDG) erweitert Verfügbar (Q3 2024)
Kopierauftrag Verfügbar (Q3 2024)
Mirroring für Snowflake Verfügbar (Q3 2024)
Verbesserte E-Mail-Benachrichtigungen für Aktualisierungsfehler Verfügbar (Q3 2024)
Unterstützung der Schnellkopie in Dataflow Gen2 Verfügbar (Q3 2024)
Unterstützung der inkrementellen Aktualisierung in Dataflow Gen2 Verfügbar (Q3 2024)
Identitätsverwaltung für Datenquellen (verwaltete Identität) Verfügbar (Q3 2024)
Unterstützung der Datenpipeline für Azure Databricks-Aufträge Verfügbar (Q3 2024)
Copilot für Data Factory (Dataflow) Verfügbar (Q3 2024)
Unterstützung der Datenpipeline für SparkJobDefinition Verfügbar (Q2 2024)
Unterstützung der Datenpipeline für ereignisgesteuerte Trigger Verfügbar (Q2 2024)
Stagingstandardwerte für das Ausgabeziel von Dataflow Gen 2 Verfügbar (Q2 2024)
Unterstützung der Datenpipeline für Azure HDInsight Verfügbar (Q2 2024)
Neue Connectors für Copy-Aktivität Verfügbar (Q2 2024)
Apache Airflow-Auftrag: Erstellen von Datenpipelines, die von Apache Airflow unterstützt werden Verfügbar (Q2 2024)
Identitätsverwaltung für Datenquellen (SPN) Verfügbar (Q2 2024)
Git-Integration von Data Factory für Datenpipelines Verfügbar (Q1 2024)
Verbesserungen an Ausgabezielen in Dataflow Gen2 (Abfrageschema) Verfügbar (Q1 2024)
Verbesserungen der GET-Datenerfahrung (Durchsuchen von Azure-Ressourcen) Verfügbar (Q1 2024)
Datenpipelines wurden um die Unterstützung des lokalen Datengateways (OPDG) erweitert Verfügbar (Q1 2024)
Unterstützung der Schnellkopie in Dataflow Gen2 Verfügbar (Q1 2024)
Abbrechen der Aktualisierungsunterstützung in Dataflow Gen2 Verfügbar (Q4 2023)

Unterstützung von Dataflow Gen2 CI/CD und öffentlichen APIs

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Öffentliche Vorschau

Dataflow Gen2-Funktionen werden erweitert, um die folgenden Features in Fabric zu unterstützen, einschließlich:

  • Die Möglichkeit, Dataflow Gen2-Elemente in ALM-Bereitstellungspipelinen einzuschließen.
  • Die Möglichkeit, Dataflow Gen2-Elemente mit Git-Integrationsfunktionen (Source Control) zu nutzen.
  • Öffentliche CRUDLE-APIs für Dataflow Gen2-Elemente.

Dies sind sehr angeforderte Funktionen von vielen Kunden, und wir freuen uns, sie als Vorschaufeature verfügbar zu machen.

Semantische Modellaktualisierungstabellen und Partitionen

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Öffentliche Vorschau

Pipelinebenutzer freuen sich sehr über unsere sehr beliebte Pipelineaktivität des Semantikmodells. Eine häufige Anforderung war es, ihre ELT-Verarbeitungspipeline zu verbessern, indem bestimmte Tabellen und Partitionen in ihren Modellen aktualisiert werden. Wir haben dieses Feature jetzt aktiviert, sodass die Pipelineaktivität die effektivste Möglichkeit ist, Sie Fabric-Semantikmodelle zu aktualisieren!

Importieren und Exportieren von Fabric Data Factory-Pipeline

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Allgemeine Verfügbarkeit

Als Data Factory-Pipelineentwickler möchten Sie Ihre Pipelinedefinition häufig exportieren, um sie für andere Entwickler freizugeben oder in anderen Arbeitsbereichen wiederzuverwenden. Wir haben nun die Funktion zum Exportieren und Importieren Ihrer Data Factory-Pipelines aus Ihrem Fabric-Arbeitsbereich hinzugefügt. Dieses leistungsstarke Feature ermöglicht noch mehr Funktionen für die Zusammenarbeit und ist unschätzbar, wenn Sie Ihre Pipelines mit unseren Supportteams beheben.

Copilot für Data Factory (Datenpipeline)

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Öffentliche Vorschau

Copilot für Data Factory (Datenpipeline) ermöglicht es Kundschaft, Datenpipelines mit natürlicher Sprache zu erstellen und bietet Anleitungen zur Problembehandlung.

Spiegelung für Azure SQL DB

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Allgemeine Verfügbarkeit

Spiegelung bietet eine nahtlose No-ETL-Erfahrung, um Ihre vorhandenen Azure SQL DB-Daten in den Rest Ihrer Daten in Microsoft Fabric zu integrieren. Sie können Ihre Azure SQL DB-Daten kontinuierlich direkt in Fabric OneLake in Echtzeit replizieren, ohne auswirkungen auf die Leistung Ihrer Transaktionsworkloads.

Weitere Informationen zur Spiegelung in Microsoft Fabric

Spiegelung öffnen

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Öffentliche Vorschau

Open Mirroring ist ein leistungsstarkes Feature, mit dem die Erweiterbarkeit von Fabric verbessert wird, indem jeder Anwendungs- oder Datenanbieter seine Datenfläche mit minimalem Aufwand direkt in OneLake übertragen kann. Durch die Möglichkeit von Datenanbietern und Anwendungen, Daten direkt in eine gespiegelte Datenbank in Fabric zu schreiben, vereinfacht Open Mirroring die Behandlung komplexer Datenänderungen, um sicherzustellen, dass alle gespiegelten Daten kontinuierlich auf dem neuesten Stand sind und zur Analyse bereit sind.

Unterstützung für öffentliche APIs für Datenpipelines SPN

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Öffentliche Vorschau

Um die Verwendung von Pipeline-REST-APIs in Fabric wesentlich einfacher und sicherer zu machen, aktivieren wir die SPN-Unterstützung (Dienstprinzipal) für öffentliche APIs.

Datenpipelineunterstützung für Fabric Workspace-Variablen

Geschätzter Zeitplan für die Veröffentlichung: Q4 2024

Versionstyp: Öffentliche Vorschau

Bei der Implementierung von CICD in Ihren Fabric Data Factory-Pipelineumgebungen ist es sehr wichtig, Werte von Dev zu Test zu prod usw. zu aktualisieren. Mithilfe von Variablen innerhalb von Fabric können Sie Werte zwischen Umgebungen ersetzen und werte auch über Pipelines freigeben, die den globalen Parametern von ADF ähneln.

Automatische Aktualisierung des lokalen Datengateways

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Das feature für das automatische Upgrade des lokalen Datengateways stellt sicher, dass das Gateway immer die neueste Version ausführt und verbesserte Funktionen, Sicherheitsupdates und neue Features ohne manuelle Eingriffe bereitstellt. Dieses Feature vereinfacht die Verwaltung des Gateways, indem Updates automatisch heruntergeladen und installiert werden, sobald sie verfügbar sind.

Unterstützung der Datenpipeline für VNET-Gateways

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Das VNET-Datengateway unterstützt Fabric Data Pipeline, einschließlich Pipelinekopieaktivitäten und anderer Pipelineaktivitäten. Kunden können über das VNET-Datengateway sicher eine Verbindung mit ihren Datenquellen herstellen.

Ausgabeziel der Dataflow Gen2 in SharePoint-Dateien

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Nach dem Bereinigen und Vorbereiten von Daten mit Dataflow Gen 2 kann dieses Feature SharePoint-Dateien als Datenziel auswählen. Mit diesem Feature können Sie transformierte Daten ganz einfach in eine CSV-Datei exportieren und in Microsoft SharePoint speichern, damit sie allen Benutzern mit Der Berechtigung für die Website zur Verfügung gestellt werden kann.

Datenpipelineunterstützung für Tumbling-Fenstertrigger

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Die Terminplanungspipeline wird mit Zeitfenstern ausgeführt, die nicht überlappend sind und "wiedergegeben" werden können, ist ein sehr wichtiges Feature in Pipelines, die viele ADF-Benutzer verwendet haben. Wir freuen uns sehr, dieses Tumbling-Fensterfeature zur Pipelineplanung an Fabric Data Factory zu bringen.

Azure Data Factory-Element

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Allgemeine Verfügbarkeit

Wir freuen uns über die allgemeine Verfügbarkeit des Azure Data Factory-Elements in Fabric. Mit dieser neuen Funktion können vorhandene ADF-Benutzer ihre Datenfabriken von Azure schnell und einfach für ihren Fabric-Arbeitsbereich verfügbar machen. Jetzt können Sie Ihre ADF-Pipelines direkt über Fabric verwalten, bearbeiten und aufrufen!

Datenpipelinekopie-Aktivitätsunterstützung für zusätzliche Quellen

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Allgemeine Verfügbarkeit

Wir erweitern die Unterstützung für weitere Quellconnectors in Copy-Aktivität, sodass Kunden Daten aus einer Vielzahl von Quellen nahtlos kopieren können, darunter Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (gebündelt) und vieles mehr.

Parallelisierte Ausführung von Dataflows Gen 2

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

"Benutzer möchten eine flexible Möglichkeit, die Logik ihrer Dataflow Gen2-Transformationen zu definieren und die Ausführung mit verschiedenen Argumenten parallelisieren. Heute müssen sie mehrere Datenflüsse oder mehrere Abfragen innerhalb ihres einzelnen Datenflusses erstellen, um über eine Logik zu verfügen, die mit unterschiedlichen Argumenten wiederverwendet werden kann.

Im Rahmen dieser Erweiterung ermöglichen wir Benutzern, eine "Foreach"-Schleife für das gesamte Datenflusselement festzulegen, das von einer eigenständigen Abfrage gesteuert wird, die als Liste der Parameterwerte fungiert, um diesen containerisierten Ansatz für parallelisierte und dynamische Ausführung zu durchlaufen und zu steuern."

Identitätsverwaltung für Datenquellen (Azure Key Vault)

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Unterstützung für Azure Key Vault: Sie können Ihre Schlüssel und Geheimnisse in Azure Key Vault speichern und eine Verbindung damit herstellen. Auf diese Weise können Sie Ihre Schlüssel an einem zentralen Ort verwalten.

Spiegelung für CosmosDB

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Allgemeine Verfügbarkeit

Spiegelung bietet eine nahtlose No-ETL-Erfahrung, um Ihre vorhandenen Azure Cosmos DB-Daten in den Rest Ihrer Daten in Microsoft Fabric zu integrieren. Sie können Ihre Azure Cosmos DB-Daten kontinuierlich und nahezu in Echtzeit direkt in Fabric OneLake replizieren, ohne dass dies Auswirkungen auf die Leistung Ihrer transaktionalen Workloads hat.

Unterstützung von Dataflow Gen2 CI/CD und öffentlichen APIs

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Allgemeine Verfügbarkeit

Dataflow Gen2-Elemente unterstützen CI/CD-Funktionen in Fabric, einschließlich Quellcodeverwaltung (Git-Integration) sowie ALM-Bereitstellungspipelines. Darüber hinaus können Kunden programmgesteuert mit Dataflow Gen2-Elementen in Fabric über die Fabric-REST-APIs interagieren, die Unterstützung für CRUDLE-Vorgänge über Dataflow Gen2-Elemente bieten.

Unterstützung öffentlicher APIs der Dataflow Gen2

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Dataflow Gen2-Elemente werden über Fabric-REST-APIs mit Unterstützung der Dienstprinzipalauthentifizierung unterstützt.

Inkrementelle Aktualisierung von Dataflow Gen2

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Allgemeine Verfügbarkeit

Ende September 2024 haben wir dataflow Gen2 Inkrementelle Aktualisierung als öffentliche Vorschau-Funktion veröffentlicht. Wir werden weiterhin das Kundenfeedback überwachen und dieses Feature verbessern, das bis zum Ende der Q1CY2025 geplant ist.

Dataflow Gen2 Inkrementelle Aktualisierungsunterstützung für Lakehouse-Ziel

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Dataflow Gen2 Inkrementelle Aktualisierung optimiert die Datenflussausführung, um nur die neuesten Daten abzurufen, die in den Datenquellen Ihres Datenflusses geändert wurden, basierend auf einer Datetime-Partitionsspalte. Dadurch wird sichergestellt, dass Daten in OneLake inkrementell geladen werden können, um nachgelagerte Transformationen oder ausgaben an ein Datenflussausgabeziel zu senden.

Im Rahmen dieser Erweiterung bieten wir direkte Unterstützung für die inkrementelle Aktualisierung, um Daten direkt in Fabric Lakehouse-Tabellen auszugeben.

Dataflow Gen2-Parameterisierung

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Benutzer sind daran gewöhnt, metadatengesteuerte Pipelines auszuführen, in denen sie Variablen oder Parameter in verschiedene Aktivitäten einer Pipeline einfügen und so Dinge dynamischer ausführen können: Einmal erstellen, mehrmals wiederverwenden.

Im Rahmen dieser Erweiterung werden wir es so gestalten, dass Datenflüsse, die über eine Datenpipeline in Fabric ausgeführt werden, mit Parameterwerten für ihre vorhandenen Datenflussparameter bereitgestellt werden können.

Dataflow Gen2-Unterstützung für "Speichern unter"

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Kunden möchten häufig einen vorhandenen Datenfluss als neuen Datenfluss neu erstellen. Um dies zu erreichen, müssen sie das neue Dataflow Gen2-Element ganz neu erstellen und ihre vorhandenen Abfragen kopieren und einfügen oder die Power Query-Vorlagenfunktionen exportieren/importieren nutzen. Dies ist jedoch nicht nur aufgrund unnötiger Schritte unannelich, sondern führt auch keine zusätzlichen Datenflusseinstellungen wie "Geplante Aktualisierung" und andere Elementeigenschaften (Name, Beschreibung, Vertraulichkeitsbezeichnung usw.) durch.

Im Rahmen dieser Erweiterung bieten wir eine schnelle "Speichern unter"-Geste innerhalb der Bearbeitungsoberfläche "Dataflow Gen2", sodass Benutzer ihren vorhandenen Datenfluss als neuen Datenfluss speichern können.

Dataflow Gen1-Unterstützung für neues Element "Speichern unter Datenfluss gen2"

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Kunden möchten häufig ein vorhandenes Dataflow Gen1-Element als neues Dataflow Gen2-Element neu erstellen. Um dies zu erreichen, müssen sie das neue Dataflow Gen2-Element ganz neu erstellen und ihre vorhandenen Abfragen kopieren und einfügen oder die Power Query-Vorlagenfunktionen exportieren/importieren nutzen. Dies ist jedoch nicht nur aufgrund unnötiger Schritte unannelich, sondern führt auch keine zusätzlichen Datenflusseinstellungen wie "Geplante Aktualisierung" und andere Elementeigenschaften (Name, Beschreibung, Vertraulichkeitsbezeichnung usw.) durch.

Im Rahmen dieser Erweiterung bieten wir eine schnelle "Speichern unter"-Geste innerhalb der Bearbeitungsoberfläche "Dataflow Gen1", sodass Benutzer ihr vorhandenes Dataflow Gen1-Element als neues Dataflow Gen2-Element speichern können.

Kopierauftrag – Inkrementelle Kopie, ohne dass Benutzer Wasserzeichenspalten angeben müssen

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Wir werden systemeigene CDC-Funktion (Change Data Capture) in Kopierauftrag für Schlüsselconnectors einführen. Dies bedeutet, dass die inkrementelle Kopie Änderungen automatisch erkennt , ohne dass Kunden inkrementelle Spalten angeben müssen.

Kopierauftrag

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Allgemeine Verfügbarkeit

Der Kopierauftrag in Data Factory erhöht die Datenaufnahmeerfahrung auf einen optimierteren und benutzerfreundlicheren Prozess von jeder Quelle zu jedem beliebigen Ziel. Jetzt ist das Kopieren Ihrer Daten einfacher als je zuvor. Der Kopierauftrag unterstützt verschiedene Formatvorlagen für die Datenübermittlung, einschließlich Batchkopie und inkrementeller Kopie, die die Flexibilität bietet, ihre spezifischen Anforderungen zu erfüllen.

Kopierauftrag CI/CD-Unterstützung

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Kopierauftragselemente unterstützen CI/CD-Funktionen in Fabric, einschließlich Quellcodeverwaltung (Git-Integration) sowie ALM-Bereitstellungspipelines.

Unterstützung öffentlicher APIs für den Kopierauftrag

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Kunden können programmgesteuert mit Kopierauftragselementen in Fabric über die öffentlichen Fabric-APIs interagieren, die Unterstützung für CRUDLE-Vorgänge über Kopierauftragselemente bieten.

Dataflow Gen2-Unterstützung für zusätzliche Fast Copy-Quellen

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Wir erweitern fast copy in Dataflow Gen2, um weitere Quellconnectors zu unterstützen, sodass Kunden Daten mit höherer Leistung laden können. Zu den neuen Connectors gehören Fabric Lakehouse-Dateien, Google BigQuery, Amazon Redshift und mehr – dies ermöglicht eine schnellere und effizientere Datenintegration.

Kopierauftragsunterstützung für zusätzliche Quellen

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Wir erweitern die Unterstützung für weitere Quellconnectors im Kopierauftrag, sodass Kunden Daten nahtlos aus einer Vielzahl von Quellen kopieren können. Gleichzeitig behalten wir die vereinfachte Erfahrung bei und bieten vielfältige Kopiermuster, einschließlich vollkopier und inkrementeller Kopie.

Datenpipelineunterstützung für OneLake-Speicherereignistrigger

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Ein beliebter Mechanismus zum Aufrufen von Pipelines in Fabric Data Factory verwendet den Dateitrigger. Wenn Dateiereignisse (d. h. Dateiankunft, Dateilöschung ...) für blob-Speicher oder ADLS Gen2 erkannt werden, wird Ihre Fabric Data Factory-Pipeline aufgerufen. Jetzt haben wir OneLake-Dateiereignisse zu den Triggerereignistypen in Fabric hinzugefügt.

Ermöglichen, dass die Kundschaft ihre Verbindungen parametrisieren kann

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

Verbindungen bieten einen gemeinsamen Rahmen für die Definition von Konnektivität und Authentifizierung für Ihre Datenspeicher. Diese Verbindungen können für verschiedene Elemente freigegeben werden. Mit der Parametrisierungsunterstützung können Sie komplexe und wiederverwendbare Pipelines, Notebooks, Dataflows und andere Elementtypen erstellen.

Unterstützung der Datenpipeline für DBT

Geschätzter Zeitplan für die Veröffentlichung: Q1 2025

Versionstyp: Öffentliche Vorschau

DBT CLI Orchestration (Data Build Tool): Integriert das Datenbuildtool (dbt) für Datentransformationsworkflows.

Unterstützung für vom Benutzer zugewiesene verwaltete Identitäten in Connections

Geschätzte Veröffentlichungszeitachse: Q2 2025

Versionstyp: Öffentliche Vorschau

Diese Erweiterung zur Unterstützung von vom Benutzer zugewiesenen verwalteten Identitäten in Connections bietet einen erheblichen Nutzen, indem eine sicherere und flexiblere Authentifizierungsmethode für den Zugriff auf Datenressourcen angeboten wird. Es vermeidet Hardcoding-Anmeldeinformationen, vereinfacht die Verwaltung, indem die Notwendigkeit, geheime Schlüssel zu drehen, die Einhaltung von Sicherheitsrichtlinien gewährleistet, nahtlos in Azure-Dienste integriert und Skalierbarkeit in Verbindungen unterstützt wird, indem mehrere Instanzen dieselbe Identität gemeinsam nutzen können.

Verfügbare Features

Azure Data Factory in Fabric

Verfügbar (Q3 2024)

Versionstyp: Öffentliche Vorschau

Bringen Sie Ihre vorhandene Azure Data Factory (ADF) in Ihren Fabric-Arbeitsbereich! Dies ist eine neue Vorschaufunktion, mit der Sie über Ihren Fabric-Arbeitsbereich eine Verbindung mit Ihren vorhandenen ADF-Fabriken herstellen können.

Jetzt können Sie Ihre ADF-Fabriken direkt über die Fabric-Arbeitsbereich-UI vollständig verwalten! Sobald Ihre ADF mit Ihrem Fabric-Arbeitsbereich verknüpft ist, können Sie Ihre Pipelines wie in ADF, aber direkt in Fabric auslösen, ausführen und überwachen.

Unterstützung für das Aufrufen von arbeitsbereichsübergreifenden Datenpipelines

Verfügbar (Q3 2024)

Versionstyp: Öffentliche Vorschau

Aktualisierung der Aktivität zum Aufrufen von Pipelines: Wir ermöglichen einige neue und aufregende Aktualisierungen der Aktivität „Pipeline aufrufen“. Als Reaktion auf die überwältigenden Anfragen von Kundinnen und Kunden und der Community ermöglichen wir die Ausführung von Datenpipelines in verschiedenen Arbeitsbereichen. Sie können nun Pipelines aus anderen Arbeitsbereichen aufrufen, auf die Sie Zugriff haben. Dies ermöglicht sehr spannende Datenworkflowmuster, die die Zusammenarbeit von Ihren Datentechnik- und Integrationsteams über Arbeitsbereiche und funktionsübergreifende Teams hinweg nutzen können.

Datenpipelines wurden um die Unterstützung des lokalen Datengateways (OPDG) erweitert

Verfügbar (Q3 2024)

Versionstyp: Allgemeine Verfügbarkeit

Diese Funktion ermöglicht es Datenpipelines, Fabric-Datengateways zu verwenden, um auf Daten zuzugreifen, die sich vor Ort und hinter einem virtuellen Netzwerk befinden. Benutzende, die selbstgehostete Integration Runtimes (SHIR) verwenden, können in Fabric auf lokale Datengateways umsteigen.

Kopierauftrag

Verfügbar (Q3 2024)

Versionstyp: Öffentliche Vorschau

Der Kopierauftrag vereinfacht die Benutzererfahrung für Kunden und Kundinnen, die Daten erfassen wollen, ohne einen Dataflow oder eine Datenpipeline erstellen zu müssen. Der Kopierauftrag unterstützt vollständige und inkrementelle Kopien aus beliebigen Datenquellen zu beliebigen Datenzielen. Jetzt für die private Vorschau registrieren

Mirroring für Snowflake

Verfügbar (Q3 2024)

Versionstyp: Allgemeine Verfügbarkeit

Spiegelung bietet eine nahtlose No-ETL-Erfahrung, um Ihre vorhandenen Snowflake-Daten in den Rest Ihrer Daten in Microsoft Fabric zu integrieren. Sie können Ihre Snowflake-Daten kontinuierlich direkt in Fabric OneLake in Echtzeit replizieren, ohne dass sich dies auf die Leistung Ihrer Transaktionsworkloads auswirkt.

Verbesserte E-Mail-Benachrichtigungen für Aktualisierungsfehler

Verfügbar (Q3 2024)

Versionstyp: Öffentliche Vorschau

E-Mail-Benachrichtigungen ermöglichen es Dataflow Gen2-Erstellenden, die Ergebnisse (Erfolg/Fehler) des Aktualisierungsvorgangs eines Dataflows zu überwachen.

Unterstützung der Schnellkopie in Dataflow Gen2

Verfügbar (Q3 2024)

Versionstyp: Allgemeine Verfügbarkeit

Wir fügen Unterstützung für die Aufnahme großer Datenmengen direkt in Dataflow Gen2 hinzu, indem wir die Pipeline-Funktion „Copy-Aktivität“ nutzen. Diese Erweiterung erhöht die Datenverarbeitungskapazität von Dataflow Gen2 erheblich und bietet ELT-Funktionen (Extract-Load-Transform) in großem Umfang.

Unterstützung der inkrementellen Aktualisierung in Dataflow Gen2

Verfügbar (Q3 2024)

Versionstyp: Öffentliche Vorschau

Wir fügen in Dataflow Gen2 Unterstützung für inkrementelle Aktualisierungen hinzu. Mit diesem Feature können Sie schrittweise Daten aus Datenquellen extrahieren, Power Query-Transformationen anwenden und in verschiedene Ausgabeziele laden.

Identitätsverwaltung für Datenquellen (verwaltete Identität)

Verfügbar (Q3 2024)

Versionstyp: Öffentliche Vorschau

Dies ermöglicht die Konfiguration von verwalteten Identitäten auf Arbeitsbereichsebene. Sie können die von Fabric verwalteten Identitäten verwenden, um eine sichere Verbindung mit Ihrer Datenquelle herzustellen.

Unterstützung der Datenpipeline für Azure Databricks-Aufträge

Verfügbar (Q3 2024)

Versionstyp: Öffentliche Vorschau

Wir aktualisieren die Data Factory-Datenpipelines für Azure Databricks-Aktivitäten, um jetzt die neueste Auftrags-API zu verwenden, die spannende Workflowfunktionen wie das Ausführen von DLT-Aufträgen ermöglicht.

Copilot für Data Factory (Dataflow)

Verfügbar (Q3 2024)

Versionstyp: Allgemeine Verfügbarkeit

Copilot für Data Factory (Dataflow) ermöglicht Kundinnen und Kunden, ihre Anforderungen bei der Erstellung von Datenintegrationslösungen mit Dataflows Gen2 in natürlicher Sprache auszudrücken.

Unterstützung der Datenpipeline für SparkJobDefinition

Verfügbar (Q2 2024)

Versionstyp: Allgemeine Verfügbarkeit

Jetzt können Sie Ihren Spark-Code, einschließlich JAR-Dateien, direkt aus einer Pipelineaktivität ausführen. Verweisen Sie einfach auf Ihren Spark-Code, und die Pipeline führt den Auftrag auf Ihrem Spark-Cluster in Fabric aus. Diese neue Aktivität ermöglicht aufregende Datenworkflowmuster, die die Leistung der Spark-Engine von Fabric nutzen und gleichzeitig die Kontrollfluss- und Datenflussfunktionen der Data Factory in dieselbe Pipeline wie Ihre Spark-Aufträge integrieren.

Unterstützung der Datenpipeline für ereignisgesteuerte Trigger

Verfügbar (Q2 2024)

Versionstyp: Öffentliche Vorschau

Ein gängiger Anwendungsfall für den Aufruf von Data Factory-Datenpipelines ist das Auslösen der Pipeline bei Dateiereignissen wie dem Eintreffen einer Datei oder dem Löschen einer Datei. Für Kundinnen und Kunden, die von ADF oder Synapse zu Fabric wechseln, ist die Verwendung von ADLS/Blog-Speicherereignissen sehr üblich, um entweder eine neue Pipeline-Ausführung zu signalisieren oder die Namen der erstellten Dateien zu erfassen. Trigger in Fabric Data Factory nutzen die Fähigkeiten der Fabric-Plattform, einschließlich EventStreams und Reflex-Trigger. Im Design-Canvas der Data Factory-Pipeline von Fabric finden Sie eine Trigger-Schaltfläche, mit der Sie einen Reflex-Trigger für Ihre Pipeline erstellen können. Sie können den Trigger aber auch direkt aus Data Activator heraus erstellen.

Stagingstandardwerte für das Ausgabeziel von Dataflow Gen 2

Verfügbar (Q2 2024)

Versionstyp: Öffentliche Vorschau

Dataflow Gen2 bietet die Möglichkeit, Daten aus einer Vielzahl von Datenquellen in Fabric OneLake zu erfassen. Nach der Bereitstellung dieser Daten können sie mit der High-Scale Dataflows Gen2-Engine (basierend auf Fabric Lakehouse/Warehouse SQL Compute) im großen Maßstab transformiert werden.

Das Standardverhalten von Dataflows Gen2 besteht darin, Daten in OneLake bereitzustellen, um Datentransformationen in großem Maßstab zu ermöglichen. Dies funktioniert zwar hervorragend für umfangreiche Szenarien, aber nicht so gut für Szenarien mit kleinen Datenmengen, da es einen zusätzlichen Sprung (Staging) für die Daten einführt, bevor sie schließlich in das Ziel der Dataflowausgabe geladen werden.

Mit den geplanten Verbesserungen wird das standardmäßige Staging-Verhalten für Abfragen mit einem Ausgabeziel, das kein Staging erfordert (nämlich Fabric Lakehouse und Azure SQL Database), deaktiviert.

Das Staging-Verhalten kann für jede Abfrage manuell über den Bereich „Abfrageeinstellungen“ oder über das Kontextmenü der Abfrage im Bereich „Abfragen“ konfiguriert werden.

Unterstützung der Datenpipeline für Azure HDInsight

Verfügbar (Q2 2024)

Versionstyp: Allgemeine Verfügbarkeit

HDInsight ist der Azure PaaS-Service für Hadoop, mit dem Entwickelnde sehr leistungsfähige Big Data-Lösungen in der Cloud erstellen können. Die neue HDI-Pipelineaktivität ermöglicht HDInsights-Auftrags-Aktivitäten innerhalb Ihrer Data Factory-Datenpipelines, ähnlich der bestehenden Funktionalität, die Sie seit Jahren in ADF- und Synapse-Pipelines nutzen. Wir haben diese Funktion jetzt direkt in die Fabric-Datenpipelines integriert.

Neue Connectors für Copy-Aktivität

Verfügbar (Q2 2024)

Versionstyp: Öffentliche Vorschau

Neue Connectors werden für Copy-Aktivität hinzugefügt, um der Kundschaft die Erfassung aus den folgenden Quellen zu ermöglichen, während sie die Datenpipeline nutzen: Oracle, MySQL, Azure KI-Suche, Azure Files, Dynamics AX und Google BigQuery.

Apache Airflow-Auftrag: Erstellen von Datenpipelines, die von Apache Airflow unterstützt werden

Verfügbar (Q2 2024)

Versionstyp: Öffentliche Vorschau

Apache Airflow-Auftrag (früher als Datenworkflow bezeichnet) werden von Apache Airflow unterstützt und bieten eine integrierte Apache Airflow-Laufzeitumgebung, mit der Sie Python-DAGs mühelos erstellen, ausführen und planen können.

Identitätsverwaltung für Datenquellen (SPN)

Verfügbar (Q2 2024)

Versionstyp: Allgemeine Verfügbarkeit

Dienstprinzipal: Um auf Ressourcen zuzugreifen, die durch einen Azure AD-Mandanten gesichert sind, muss die Entität, die Zugriff benötigt, durch einen Sicherheitsprinzipal dargestellt werden. Mit dem Dienstprinzipal können Sie eine Verbindung zu Ihren Datenquellen herstellen.

Git-Integration von Data Factory für Datenpipelines

Verfügbar (Q1 2024)

Versionstyp: Öffentliche Vorschau

Sie können eine Verbindung zu Ihrem Git-Repository herstellen, um Datenpipelines in Zusammenarbeit zu entwickeln. Die Integration von Datenpipelines mit der ALM-Funktion (Application Lifecycle Management) der Fabric-Plattform ermöglicht Versionskontrolle, Verzweigungen, Commits und Pull Requests.

Erweiterungen der Ausgabeziele in Dataflow Gen2 (Abfrageschema)

Verfügbar (Q1 2024)

Versionstyp: Öffentliche Vorschau

Wir erweitern die Ausgabeziele in Dataflow Gen2 um die folgenden stark nachgefragten Funktionen:

  • Möglichkeit zum Behandeln von Abfrageschema-Änderungen nach dem Konfigurieren eines Ausgabeziels.
  • Standardzieleinstellungen zum Beschleunigen der Dataflowerstellung.

Weitere Informationen finden Sie unter Datenziele und verwaltete Einstellungen zu Dataflow Gen2

Verbesserungen der GET-Datenerfahrung (Durchsuchen von Azure-Ressourcen)

Verfügbar (Q1 2024)

Versionstyp: Öffentliche Vorschau

Die Azure-Ressourcensuche bietet eine nahtlose Navigation zum Durchsuchen von Azure-Ressourcen. Sie können ganz einfach in Ihren Azure-Abonnements navigieren und über eine intuitive Benutzeroberfläche eine Verbindung mit Ihren Datenquellen herstellen. Es hilft Ihnen, die benötigten Daten schnell zu finden und eine Verbindung zu ihnen herzustellen.

Datenpipelines wurden um die Unterstützung des lokalen Datengateways (OPDG) erweitert

Verfügbar (Q1 2024)

Versionstyp: Öffentliche Vorschau

Diese Funktion ermöglicht es Datenpipelines, Fabric-Datengateways zu verwenden, um auf Daten zuzugreifen, die sich vor Ort und hinter einem virtuellen Netzwerk befinden. Benutzende, die selbstgehostete Integration Runtimes (SHIR) verwenden, können in Fabric auf lokale Datengateways umsteigen.

Unterstützung der Schnellkopie in Dataflow Gen2

Verfügbar (Q1 2024)

Versionstyp: Öffentliche Vorschau

Wir fügen Unterstützung für die Aufnahme großer Datenmengen direkt in Dataflow Gen2 hinzu, indem wir die Pipeline-Funktion „Copy-Aktivität“ nutzen. Dies unterstützt Quellen wie Azure SQL-Datenbanken, CSV- und Parquet-Dateien in Azure Data Lake Storage und Blob Storage.

Diese Erweiterung erhöht die Datenverarbeitungskapazität von Dataflow Gen2 erheblich und bietet ELT-Funktionen (Extract-Load-Transform) in großem Umfang.

Abbrechen der Aktualisierungsunterstützung in Dataflow Gen2

Verfügbar (Q4 2023)

Versionstyp: Öffentliche Vorschau

Wir fügen Unterstützung für das Abbrechen laufender Dataflow Gen2-Aktualisierungen aus der Ansicht der Arbeitsbereichselemente hinzu.