Neuerungen und Planungen für Data Factory in Microsoft Fabric
Artikel
Wichtig
In den Freigabeplänen werden Funktionen beschrieben, die möglicherweise noch nicht freigegeben wurden. Die Liefer-Zeitachsen und die geplante Funktion können sich ändern oder werden möglicherweise nicht geliefert. Weitere Informationen finden Sie unter Microsoft-Richtlinie.
Data Factory in Microsoft Fabric vereint die Fähigkeiten zur Datenintegration sowohl für Citizen Developer als auch für professionelle Entwickelnde in einer einzigen, modernen Datenintegrationslösung. Es bietet Konnektivität zu mehr als 100 relationalen und nicht-relationalen Datenbanken, Lakehouses, Data Warehouses, generischen Schnittstellen wie REST-APIs, OData und mehr.
Dataflows: Dataflow Gen2 ermöglicht es Ihnen, umfangreiche Datentransformationen durchzuführen und verschiedene Ausgabeziele zu unterstützen, die in Azure SQL-Datenbank, Lakehouse, Data Warehouse und mehr speichern. Der Dataflows-Editor bietet mehr als 300 Transformationen, einschließlich KI-basierter Optionen, und ermöglicht Ihnen das einfache Transformieren von Daten mit besserer Flexibilität als jedes andere Tool. Unabhängig davon, ob Sie Daten aus einer unstrukturierten Datenquelle wie einer Webseite extrahieren oder eine vorhandene Tabelle im Power Query-Editor umgestalten, können Sie die Power Query-Funktion „Data Extraction By Example“ (Datenextraktion anhand von Beispielen) verwenden, die künstliche Intelligenz (KI) nutzt und so den Prozess vereinfacht.
Datenpipelines: Datenpipelines bieten die Möglichkeit, vielseitige Workflows zur Datenorchestrierung zu erstellen, die Aufgaben wie die Extraktion von Daten, das Laden in bevorzugte Datenspeicher, die Ausführung von Notebooks, die Ausführung von SQL-Skripten und vieles mehr zusammenführen. Sie können schnell leistungsstarke metadatengesteuerte Datenpipelines erstellen, die sich wiederholende Aufgaben automatisieren. Beispielsweise das Laden und Extrahieren von Daten aus verschiedenen Tabellen in einer Datenbank, das Durchlaufen mehrerer Container in Azure Blob Storage und vieles mehr. Außerdem können Sie mit Datenpipelines über den Connector von Microsoft Graph Data Connection (MGDC) auf die Daten von Microsoft 365 zugreifen.
Kopierauftrag: Der Kopierauftrag vereinfacht die Datenaufnahme mit einem optimierten und benutzerfreundlichen Prozess, das Verschieben von Daten auf Petabyte-Skalierung von jeder Quelle zu jedem Beliebigen Ziel. Sie können Daten mit verschiedenen Datenübermittlungsformaten kopieren, einschließlich Batchkopie, inkrementeller Kopie und mehr.
Apache Airflow Job: Apache Airflow Job ist die nächste Generation des Workflow Orchestration Managers von Azure Data Factory. Es ist eine einfache und effiziente Möglichkeit, Apache Airflow-Orchestrierungsaufträge zu erstellen und zu verwalten, sodass Sie "Directed Acyclic Graphs"(DAGs) mühelos im Maßstab ausführen können. Der Apache Airflow-Auftrag ermöglicht Ihnen eine moderne Datenintegrationserfahrung, um Daten aus einer vielzahl von Datenquellen mithilfe von Code aufzunehmen, vorzubereiten, zu transformieren und zu koordinieren.
Datenbankspiegelung: Datenbankspiegelung in Fabric ist eine kostengünstige Lösung mit geringer Latenz, die mit offenen Standards (z. B. Delta Lake-Tabellenformat) entwickelt wurde. Es ermöglicht Ihnen, Daten und Metadaten aus verschiedenen Systemen schnell zu replizieren. Mithilfe der Datenbankspiegelung können Sie Ihre Datenstruktur kontinuierlich in Microsoft Fabric OneLake für Analysen replizieren. Mit einer hochgradig integrierten, einfach zu bedienenden Erfahrung können Sie jetzt vereinfachen, wie Sie mit Ihren Analyseanforderungen beginnen können.
Weitere Informationen finden Sie in der Dokumentation.
Schwerpunkte
In den nächsten Monaten wird Data Factory in Microsoft Fabric seine Konnektivitätsoptionen erweitern und die umfangreiche Bibliothek an Transformationen und Datenpipelineaktivitäten weiter ausbauen. Darüber hinaus können Sie die Echtzeit-, Hochleistungsdatenreplikation aus betriebstechnischen Datenbanken durchführen und diese Daten zur Analyse in den Lake einzuspeisen.
Unterstützung von Dataflow Gen2 CI/CD und öffentlichen APIs
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Dataflow Gen2-Funktionen werden erweitert, um die folgenden Features in Fabric zu unterstützen, einschließlich:
Die Möglichkeit, Dataflow Gen2-Elemente in ALM-Bereitstellungspipelinen einzuschließen.
Die Möglichkeit, Dataflow Gen2-Elemente mit Git-Integrationsfunktionen (Source Control) zu nutzen.
Öffentliche CRUDLE-APIs für Dataflow Gen2-Elemente.
Dies sind sehr angeforderte Funktionen von vielen Kunden, und wir freuen uns, sie als Vorschaufeature verfügbar zu machen.
Semantische Modellaktualisierungstabellen und Partitionen
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Pipelinebenutzer freuen sich sehr über unsere sehr beliebte Pipelineaktivität des Semantikmodells. Eine häufige Anforderung war es, ihre ELT-Verarbeitungspipeline zu verbessern, indem bestimmte Tabellen und Partitionen in ihren Modellen aktualisiert werden. Wir haben dieses Feature jetzt aktiviert, sodass die Pipelineaktivität die effektivste Möglichkeit ist, Sie Fabric-Semantikmodelle zu aktualisieren!
Importieren und Exportieren von Fabric Data Factory-Pipeline
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Allgemeine Verfügbarkeit
Als Data Factory-Pipelineentwickler möchten Sie Ihre Pipelinedefinition häufig exportieren, um sie für andere Entwickler freizugeben oder in anderen Arbeitsbereichen wiederzuverwenden. Wir haben nun die Funktion zum Exportieren und Importieren Ihrer Data Factory-Pipelines aus Ihrem Fabric-Arbeitsbereich hinzugefügt. Dieses leistungsstarke Feature ermöglicht noch mehr Funktionen für die Zusammenarbeit und ist unschätzbar, wenn Sie Ihre Pipelines mit unseren Supportteams beheben.
Copilot für Data Factory (Datenpipeline)
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Copilot für Data Factory (Datenpipeline) ermöglicht es Kundschaft, Datenpipelines mit natürlicher Sprache zu erstellen und bietet Anleitungen zur Problembehandlung.
Spiegelung für Azure SQL DB
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Allgemeine Verfügbarkeit
Spiegelung bietet eine nahtlose No-ETL-Erfahrung, um Ihre vorhandenen Azure SQL DB-Daten in den Rest Ihrer Daten in Microsoft Fabric zu integrieren. Sie können Ihre Azure SQL DB-Daten kontinuierlich direkt in Fabric OneLake in Echtzeit replizieren, ohne auswirkungen auf die Leistung Ihrer Transaktionsworkloads.
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Open Mirroring ist ein leistungsstarkes Feature, mit dem die Erweiterbarkeit von Fabric verbessert wird, indem jeder Anwendungs- oder Datenanbieter seine Datenfläche mit minimalem Aufwand direkt in OneLake übertragen kann. Durch die Möglichkeit von Datenanbietern und Anwendungen, Daten direkt in eine gespiegelte Datenbank in Fabric zu schreiben, vereinfacht Open Mirroring die Behandlung komplexer Datenänderungen, um sicherzustellen, dass alle gespiegelten Daten kontinuierlich auf dem neuesten Stand sind und zur Analyse bereit sind.
Unterstützung für öffentliche APIs für Datenpipelines SPN
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Um die Verwendung von Pipeline-REST-APIs in Fabric wesentlich einfacher und sicherer zu machen, aktivieren wir die SPN-Unterstützung (Dienstprinzipal) für öffentliche APIs.
Datenpipelineunterstützung für Fabric Workspace-Variablen
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Bei der Implementierung von CICD in Ihren Fabric Data Factory-Pipelineumgebungen ist es sehr wichtig, Werte von Dev zu Test zu prod usw. zu aktualisieren. Mithilfe von Variablen innerhalb von Fabric können Sie Werte zwischen Umgebungen ersetzen und werte auch über Pipelines freigeben, die den globalen Parametern von ADF ähneln.
Automatische Aktualisierung des lokalen Datengateways
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Das feature für das automatische Upgrade des lokalen Datengateways stellt sicher, dass das Gateway immer die neueste Version ausführt und verbesserte Funktionen, Sicherheitsupdates und neue Features ohne manuelle Eingriffe bereitstellt. Dieses Feature vereinfacht die Verwaltung des Gateways, indem Updates automatisch heruntergeladen und installiert werden, sobald sie verfügbar sind.
Unterstützung der Datenpipeline für VNET-Gateways
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Das VNET-Datengateway unterstützt Fabric Data Pipeline, einschließlich Pipelinekopieaktivitäten und anderer Pipelineaktivitäten. Kunden können über das VNET-Datengateway sicher eine Verbindung mit ihren Datenquellen herstellen.
Ausgabeziel der Dataflow Gen2 in SharePoint-Dateien
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Nach dem Bereinigen und Vorbereiten von Daten mit Dataflow Gen 2 kann dieses Feature SharePoint-Dateien als Datenziel auswählen. Mit diesem Feature können Sie transformierte Daten ganz einfach in eine CSV-Datei exportieren und in Microsoft SharePoint speichern, damit sie allen Benutzern mit Der Berechtigung für die Website zur Verfügung gestellt werden kann.
Datenpipelineunterstützung für Tumbling-Fenstertrigger
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Die Terminplanungspipeline wird mit Zeitfenstern ausgeführt, die nicht überlappend sind und "wiedergegeben" werden können, ist ein sehr wichtiges Feature in Pipelines, die viele ADF-Benutzer verwendet haben. Wir freuen uns sehr, dieses Tumbling-Fensterfeature zur Pipelineplanung an Fabric Data Factory zu bringen.
Azure Data Factory-Element
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Wir freuen uns über die allgemeine Verfügbarkeit des Azure Data Factory-Elements in Fabric. Mit dieser neuen Funktion können vorhandene ADF-Benutzer ihre Datenfabriken von Azure schnell und einfach für ihren Fabric-Arbeitsbereich verfügbar machen. Jetzt können Sie Ihre ADF-Pipelines direkt über Fabric verwalten, bearbeiten und aufrufen!
Datenpipelinekopie-Aktivitätsunterstützung für zusätzliche Quellen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Wir erweitern die Unterstützung für weitere Quellconnectors in Copy-Aktivität, sodass Kunden Daten aus einer Vielzahl von Quellen nahtlos kopieren können, darunter Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (gebündelt) und vieles mehr.
Parallelisierte Ausführung von Dataflows Gen 2
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
"Benutzer möchten eine flexible Möglichkeit, die Logik ihrer Dataflow Gen2-Transformationen zu definieren und die Ausführung mit verschiedenen Argumenten parallelisieren. Heute müssen sie mehrere Datenflüsse oder mehrere Abfragen innerhalb ihres einzelnen Datenflusses erstellen, um über eine Logik zu verfügen, die mit unterschiedlichen Argumenten wiederverwendet werden kann.
Im Rahmen dieser Erweiterung ermöglichen wir Benutzern, eine "Foreach"-Schleife für das gesamte Datenflusselement festzulegen, das von einer eigenständigen Abfrage gesteuert wird, die als Liste der Parameterwerte fungiert, um diesen containerisierten Ansatz für parallelisierte und dynamische Ausführung zu durchlaufen und zu steuern."
Identitätsverwaltung für Datenquellen (Azure Key Vault)
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Unterstützung für Azure Key Vault: Sie können Ihre Schlüssel und Geheimnisse in Azure Key Vault speichern und eine Verbindung damit herstellen. Auf diese Weise können Sie Ihre Schlüssel an einem zentralen Ort verwalten.
Spiegelung für CosmosDB
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Spiegelung bietet eine nahtlose No-ETL-Erfahrung, um Ihre vorhandenen Azure Cosmos DB-Daten in den Rest Ihrer Daten in Microsoft Fabric zu integrieren. Sie können Ihre Azure Cosmos DB-Daten kontinuierlich und nahezu in Echtzeit direkt in Fabric OneLake replizieren, ohne dass dies Auswirkungen auf die Leistung Ihrer transaktionalen Workloads hat.
Unterstützung von Dataflow Gen2 CI/CD und öffentlichen APIs
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Dataflow Gen2-Elemente unterstützen CI/CD-Funktionen in Fabric, einschließlich Quellcodeverwaltung (Git-Integration) sowie ALM-Bereitstellungspipelines. Darüber hinaus können Kunden programmgesteuert mit Dataflow Gen2-Elementen in Fabric über die Fabric-REST-APIs interagieren, die Unterstützung für CRUDLE-Vorgänge über Dataflow Gen2-Elemente bieten.
Unterstützung öffentlicher APIs der Dataflow Gen2
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Dataflow Gen2-Elemente werden über Fabric-REST-APIs mit Unterstützung der Dienstprinzipalauthentifizierung unterstützt.
Inkrementelle Aktualisierung von Dataflow Gen2
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Ende September 2024 haben wir dataflow Gen2 Inkrementelle Aktualisierung als öffentliche Vorschau-Funktion veröffentlicht. Wir werden weiterhin das Kundenfeedback überwachen und dieses Feature verbessern, das bis zum Ende der Q1CY2025 geplant ist.
Dataflow Gen2 Inkrementelle Aktualisierungsunterstützung für Lakehouse-Ziel
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Dataflow Gen2 Inkrementelle Aktualisierung optimiert die Datenflussausführung, um nur die neuesten Daten abzurufen, die in den Datenquellen Ihres Datenflusses geändert wurden, basierend auf einer Datetime-Partitionsspalte. Dadurch wird sichergestellt, dass Daten in OneLake inkrementell geladen werden können, um nachgelagerte Transformationen oder ausgaben an ein Datenflussausgabeziel zu senden.
Im Rahmen dieser Erweiterung bieten wir direkte Unterstützung für die inkrementelle Aktualisierung, um Daten direkt in Fabric Lakehouse-Tabellen auszugeben.
Dataflow Gen2-Parameterisierung
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Benutzer sind daran gewöhnt, metadatengesteuerte Pipelines auszuführen, in denen sie Variablen oder Parameter in verschiedene Aktivitäten einer Pipeline einfügen und so Dinge dynamischer ausführen können: Einmal erstellen, mehrmals wiederverwenden.
Im Rahmen dieser Erweiterung werden wir es so gestalten, dass Datenflüsse, die über eine Datenpipeline in Fabric ausgeführt werden, mit Parameterwerten für ihre vorhandenen Datenflussparameter bereitgestellt werden können.
Dataflow Gen2-Unterstützung für "Speichern unter"
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Kunden möchten häufig einen vorhandenen Datenfluss als neuen Datenfluss neu erstellen. Um dies zu erreichen, müssen sie das neue Dataflow Gen2-Element ganz neu erstellen und ihre vorhandenen Abfragen kopieren und einfügen oder die Power Query-Vorlagenfunktionen exportieren/importieren nutzen. Dies ist jedoch nicht nur aufgrund unnötiger Schritte unannelich, sondern führt auch keine zusätzlichen Datenflusseinstellungen wie "Geplante Aktualisierung" und andere Elementeigenschaften (Name, Beschreibung, Vertraulichkeitsbezeichnung usw.) durch.
Im Rahmen dieser Erweiterung bieten wir eine schnelle "Speichern unter"-Geste innerhalb der Bearbeitungsoberfläche "Dataflow Gen2", sodass Benutzer ihren vorhandenen Datenfluss als neuen Datenfluss speichern können.
Dataflow Gen1-Unterstützung für neues Element "Speichern unter Datenfluss gen2"
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Kunden möchten häufig ein vorhandenes Dataflow Gen1-Element als neues Dataflow Gen2-Element neu erstellen. Um dies zu erreichen, müssen sie das neue Dataflow Gen2-Element ganz neu erstellen und ihre vorhandenen Abfragen kopieren und einfügen oder die Power Query-Vorlagenfunktionen exportieren/importieren nutzen. Dies ist jedoch nicht nur aufgrund unnötiger Schritte unannelich, sondern führt auch keine zusätzlichen Datenflusseinstellungen wie "Geplante Aktualisierung" und andere Elementeigenschaften (Name, Beschreibung, Vertraulichkeitsbezeichnung usw.) durch.
Im Rahmen dieser Erweiterung bieten wir eine schnelle "Speichern unter"-Geste innerhalb der Bearbeitungsoberfläche "Dataflow Gen1", sodass Benutzer ihr vorhandenes Dataflow Gen1-Element als neues Dataflow Gen2-Element speichern können.
Kopierauftrag – Inkrementelle Kopie, ohne dass Benutzer Wasserzeichenspalten angeben müssen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Wir werden systemeigene CDC-Funktion (Change Data Capture) in Kopierauftrag für Schlüsselconnectors einführen. Dies bedeutet, dass die inkrementelle Kopie Änderungen automatisch erkennt , ohne dass Kunden inkrementelle Spalten angeben müssen.
Kopierauftrag
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Der Kopierauftrag in Data Factory erhöht die Datenaufnahmeerfahrung auf einen optimierteren und benutzerfreundlicheren Prozess von jeder Quelle zu jedem beliebigen Ziel. Jetzt ist das Kopieren Ihrer Daten einfacher als je zuvor. Der Kopierauftrag unterstützt verschiedene Formatvorlagen für die Datenübermittlung, einschließlich Batchkopie und inkrementeller Kopie, die die Flexibilität bietet, ihre spezifischen Anforderungen zu erfüllen.
Kopierauftrag CI/CD-Unterstützung
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Kopierauftragselemente unterstützen CI/CD-Funktionen in Fabric, einschließlich Quellcodeverwaltung (Git-Integration) sowie ALM-Bereitstellungspipelines.
Unterstützung öffentlicher APIs für den Kopierauftrag
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Kunden können programmgesteuert mit Kopierauftragselementen in Fabric über die öffentlichen Fabric-APIs interagieren, die Unterstützung für CRUDLE-Vorgänge über Kopierauftragselemente bieten.
Dataflow Gen2-Unterstützung für zusätzliche Fast Copy-Quellen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Wir erweitern fast copy in Dataflow Gen2, um weitere Quellconnectors zu unterstützen, sodass Kunden Daten mit höherer Leistung laden können. Zu den neuen Connectors gehören Fabric Lakehouse-Dateien, Google BigQuery, Amazon Redshift und mehr – dies ermöglicht eine schnellere und effizientere Datenintegration.
Kopierauftragsunterstützung für zusätzliche Quellen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Wir erweitern die Unterstützung für weitere Quellconnectors im Kopierauftrag, sodass Kunden Daten nahtlos aus einer Vielzahl von Quellen kopieren können. Gleichzeitig behalten wir die vereinfachte Erfahrung bei und bieten vielfältige Kopiermuster, einschließlich vollkopier und inkrementeller Kopie.
Datenpipelineunterstützung für OneLake-Speicherereignistrigger
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Ein beliebter Mechanismus zum Aufrufen von Pipelines in Fabric Data Factory verwendet den Dateitrigger. Wenn Dateiereignisse (d. h. Dateiankunft, Dateilöschung ...) für blob-Speicher oder ADLS Gen2 erkannt werden, wird Ihre Fabric Data Factory-Pipeline aufgerufen. Jetzt haben wir OneLake-Dateiereignisse zu den Triggerereignistypen in Fabric hinzugefügt.
Ermöglichen, dass die Kundschaft ihre Verbindungen parametrisieren kann
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Verbindungen bieten einen gemeinsamen Rahmen für die Definition von Konnektivität und Authentifizierung für Ihre Datenspeicher. Diese Verbindungen können für verschiedene Elemente freigegeben werden. Mit der Parametrisierungsunterstützung können Sie komplexe und wiederverwendbare Pipelines, Notebooks, Dataflows und andere Elementtypen erstellen.
Unterstützung der Datenpipeline für DBT
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
DBT CLI Orchestration (Data Build Tool): Integriert das Datenbuildtool (dbt) für Datentransformationsworkflows.
Unterstützung für vom Benutzer zugewiesene verwaltete Identitäten in Connections
Geschätzte Veröffentlichungszeitachse: Q2 2025
Versionstyp: Öffentliche Vorschau
Diese Erweiterung zur Unterstützung von vom Benutzer zugewiesenen verwalteten Identitäten in Connections bietet einen erheblichen Nutzen, indem eine sicherere und flexiblere Authentifizierungsmethode für den Zugriff auf Datenressourcen angeboten wird. Es vermeidet Hardcoding-Anmeldeinformationen, vereinfacht die Verwaltung, indem die Notwendigkeit, geheime Schlüssel zu drehen, die Einhaltung von Sicherheitsrichtlinien gewährleistet, nahtlos in Azure-Dienste integriert und Skalierbarkeit in Verbindungen unterstützt wird, indem mehrere Instanzen dieselbe Identität gemeinsam nutzen können.
Verfügbare Features
Azure Data Factory in Fabric
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Bringen Sie Ihre vorhandene Azure Data Factory (ADF) in Ihren Fabric-Arbeitsbereich! Dies ist eine neue Vorschaufunktion, mit der Sie über Ihren Fabric-Arbeitsbereich eine Verbindung mit Ihren vorhandenen ADF-Fabriken herstellen können.
Jetzt können Sie Ihre ADF-Fabriken direkt über die Fabric-Arbeitsbereich-UI vollständig verwalten! Sobald Ihre ADF mit Ihrem Fabric-Arbeitsbereich verknüpft ist, können Sie Ihre Pipelines wie in ADF, aber direkt in Fabric auslösen, ausführen und überwachen.
Unterstützung für das Aufrufen von arbeitsbereichsübergreifenden Datenpipelines
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Aktualisierung der Aktivität zum Aufrufen von Pipelines: Wir ermöglichen einige neue und aufregende Aktualisierungen der Aktivität „Pipeline aufrufen“. Als Reaktion auf die überwältigenden Anfragen von Kundinnen und Kunden und der Community ermöglichen wir die Ausführung von Datenpipelines in verschiedenen Arbeitsbereichen. Sie können nun Pipelines aus anderen Arbeitsbereichen aufrufen, auf die Sie Zugriff haben. Dies ermöglicht sehr spannende Datenworkflowmuster, die die Zusammenarbeit von Ihren Datentechnik- und Integrationsteams über Arbeitsbereiche und funktionsübergreifende Teams hinweg nutzen können.
Datenpipelines wurden um die Unterstützung des lokalen Datengateways (OPDG) erweitert
Verfügbar (Q3 2024)
Versionstyp: Allgemeine Verfügbarkeit
Diese Funktion ermöglicht es Datenpipelines, Fabric-Datengateways zu verwenden, um auf Daten zuzugreifen, die sich vor Ort und hinter einem virtuellen Netzwerk befinden. Benutzende, die selbstgehostete Integration Runtimes (SHIR) verwenden, können in Fabric auf lokale Datengateways umsteigen.
Kopierauftrag
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Der Kopierauftrag vereinfacht die Benutzererfahrung für Kunden und Kundinnen, die Daten erfassen wollen, ohne einen Dataflow oder eine Datenpipeline erstellen zu müssen.
Der Kopierauftrag unterstützt vollständige und inkrementelle Kopien aus beliebigen Datenquellen zu beliebigen Datenzielen. Jetzt für die private Vorschau registrieren
Mirroring für Snowflake
Verfügbar (Q3 2024)
Versionstyp: Allgemeine Verfügbarkeit
Spiegelung bietet eine nahtlose No-ETL-Erfahrung, um Ihre vorhandenen Snowflake-Daten in den Rest Ihrer Daten in Microsoft Fabric zu integrieren. Sie können Ihre Snowflake-Daten kontinuierlich direkt in Fabric OneLake in Echtzeit replizieren, ohne dass sich dies auf die Leistung Ihrer Transaktionsworkloads auswirkt.
Verbesserte E-Mail-Benachrichtigungen für Aktualisierungsfehler
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
E-Mail-Benachrichtigungen ermöglichen es Dataflow Gen2-Erstellenden, die Ergebnisse (Erfolg/Fehler) des Aktualisierungsvorgangs eines Dataflows zu überwachen.
Unterstützung der Schnellkopie in Dataflow Gen2
Verfügbar (Q3 2024)
Versionstyp: Allgemeine Verfügbarkeit
Wir fügen Unterstützung für die Aufnahme großer Datenmengen direkt in Dataflow Gen2 hinzu, indem wir die Pipeline-Funktion „Copy-Aktivität“ nutzen. Diese Erweiterung erhöht die Datenverarbeitungskapazität von Dataflow Gen2 erheblich und bietet ELT-Funktionen (Extract-Load-Transform) in großem Umfang.
Unterstützung der inkrementellen Aktualisierung in Dataflow Gen2
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Wir fügen in Dataflow Gen2 Unterstützung für inkrementelle Aktualisierungen hinzu. Mit diesem Feature können Sie schrittweise Daten aus Datenquellen extrahieren, Power Query-Transformationen anwenden und in verschiedene Ausgabeziele laden.
Identitätsverwaltung für Datenquellen (verwaltete Identität)
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Dies ermöglicht die Konfiguration von verwalteten Identitäten auf Arbeitsbereichsebene. Sie können die von Fabric verwalteten Identitäten verwenden, um eine sichere Verbindung mit Ihrer Datenquelle herzustellen.
Unterstützung der Datenpipeline für Azure Databricks-Aufträge
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Wir aktualisieren die Data Factory-Datenpipelines für Azure Databricks-Aktivitäten, um jetzt die neueste Auftrags-API zu verwenden, die spannende Workflowfunktionen wie das Ausführen von DLT-Aufträgen ermöglicht.
Copilot für Data Factory (Dataflow)
Verfügbar (Q3 2024)
Versionstyp: Allgemeine Verfügbarkeit
Copilot für Data Factory (Dataflow) ermöglicht Kundinnen und Kunden, ihre Anforderungen bei der Erstellung von Datenintegrationslösungen mit Dataflows Gen2 in natürlicher Sprache auszudrücken.
Unterstützung der Datenpipeline für SparkJobDefinition
Verfügbar (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
Jetzt können Sie Ihren Spark-Code, einschließlich JAR-Dateien, direkt aus einer Pipelineaktivität ausführen. Verweisen Sie einfach auf Ihren Spark-Code, und die Pipeline führt den Auftrag auf Ihrem Spark-Cluster in Fabric aus. Diese neue Aktivität ermöglicht aufregende Datenworkflowmuster, die die Leistung der Spark-Engine von Fabric nutzen und gleichzeitig die Kontrollfluss- und Datenflussfunktionen der Data Factory in dieselbe Pipeline wie Ihre Spark-Aufträge integrieren.
Unterstützung der Datenpipeline für ereignisgesteuerte Trigger
Verfügbar (Q2 2024)
Versionstyp: Öffentliche Vorschau
Ein gängiger Anwendungsfall für den Aufruf von Data Factory-Datenpipelines ist das Auslösen der Pipeline bei Dateiereignissen wie dem Eintreffen einer Datei oder dem Löschen einer Datei. Für Kundinnen und Kunden, die von ADF oder Synapse zu Fabric wechseln, ist die Verwendung von ADLS/Blog-Speicherereignissen sehr üblich, um entweder eine neue Pipeline-Ausführung zu signalisieren oder die Namen der erstellten Dateien zu erfassen. Trigger in Fabric Data Factory nutzen die Fähigkeiten der Fabric-Plattform, einschließlich EventStreams und Reflex-Trigger. Im Design-Canvas der Data Factory-Pipeline von Fabric finden Sie eine Trigger-Schaltfläche, mit der Sie einen Reflex-Trigger für Ihre Pipeline erstellen können. Sie können den Trigger aber auch direkt aus Data Activator heraus erstellen.
Stagingstandardwerte für das Ausgabeziel von Dataflow Gen 2
Verfügbar (Q2 2024)
Versionstyp: Öffentliche Vorschau
Dataflow Gen2 bietet die Möglichkeit, Daten aus einer Vielzahl von Datenquellen in Fabric OneLake zu erfassen. Nach der Bereitstellung dieser Daten können sie mit der High-Scale Dataflows Gen2-Engine (basierend auf Fabric Lakehouse/Warehouse SQL Compute) im großen Maßstab transformiert werden.
Das Standardverhalten von Dataflows Gen2 besteht darin, Daten in OneLake bereitzustellen, um Datentransformationen in großem Maßstab zu ermöglichen. Dies funktioniert zwar hervorragend für umfangreiche Szenarien, aber nicht so gut für Szenarien mit kleinen Datenmengen, da es einen zusätzlichen Sprung (Staging) für die Daten einführt, bevor sie schließlich in das Ziel der Dataflowausgabe geladen werden.
Mit den geplanten Verbesserungen wird das standardmäßige Staging-Verhalten für Abfragen mit einem Ausgabeziel, das kein Staging erfordert (nämlich Fabric Lakehouse und Azure SQL Database), deaktiviert.
Das Staging-Verhalten kann für jede Abfrage manuell über den Bereich „Abfrageeinstellungen“ oder über das Kontextmenü der Abfrage im Bereich „Abfragen“ konfiguriert werden.
Unterstützung der Datenpipeline für Azure HDInsight
Verfügbar (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
HDInsight ist der Azure PaaS-Service für Hadoop, mit dem Entwickelnde sehr leistungsfähige Big Data-Lösungen in der Cloud erstellen können. Die neue HDI-Pipelineaktivität ermöglicht HDInsights-Auftrags-Aktivitäten innerhalb Ihrer Data Factory-Datenpipelines, ähnlich der bestehenden Funktionalität, die Sie seit Jahren in ADF- und Synapse-Pipelines nutzen. Wir haben diese Funktion jetzt direkt in die Fabric-Datenpipelines integriert.
Neue Connectors für Copy-Aktivität
Verfügbar (Q2 2024)
Versionstyp: Öffentliche Vorschau
Neue Connectors werden für Copy-Aktivität hinzugefügt, um der Kundschaft die Erfassung aus den folgenden Quellen zu ermöglichen, während sie die Datenpipeline nutzen: Oracle, MySQL, Azure KI-Suche, Azure Files, Dynamics AX und Google BigQuery.
Apache Airflow-Auftrag: Erstellen von Datenpipelines, die von Apache Airflow unterstützt werden
Verfügbar (Q2 2024)
Versionstyp: Öffentliche Vorschau
Apache Airflow-Auftrag (früher als Datenworkflow bezeichnet) werden von Apache Airflow unterstützt und bieten eine integrierte Apache Airflow-Laufzeitumgebung, mit der Sie Python-DAGs mühelos erstellen, ausführen und planen können.
Identitätsverwaltung für Datenquellen (SPN)
Verfügbar (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
Dienstprinzipal: Um auf Ressourcen zuzugreifen, die durch einen Azure AD-Mandanten gesichert sind, muss die Entität, die Zugriff benötigt, durch einen Sicherheitsprinzipal dargestellt werden. Mit dem Dienstprinzipal können Sie eine Verbindung zu Ihren Datenquellen herstellen.
Git-Integration von Data Factory für Datenpipelines
Verfügbar (Q1 2024)
Versionstyp: Öffentliche Vorschau
Sie können eine Verbindung zu Ihrem Git-Repository herstellen, um Datenpipelines in Zusammenarbeit zu entwickeln. Die Integration von Datenpipelines mit der ALM-Funktion (Application Lifecycle Management) der Fabric-Plattform ermöglicht Versionskontrolle, Verzweigungen, Commits und Pull Requests.
Erweiterungen der Ausgabeziele in Dataflow Gen2 (Abfrageschema)
Verfügbar (Q1 2024)
Versionstyp: Öffentliche Vorschau
Wir erweitern die Ausgabeziele in Dataflow Gen2 um die folgenden stark nachgefragten Funktionen:
Möglichkeit zum Behandeln von Abfrageschema-Änderungen nach dem Konfigurieren eines Ausgabeziels.
Standardzieleinstellungen zum Beschleunigen der Dataflowerstellung.
Verbesserungen der GET-Datenerfahrung (Durchsuchen von Azure-Ressourcen)
Verfügbar (Q1 2024)
Versionstyp: Öffentliche Vorschau
Die Azure-Ressourcensuche bietet eine nahtlose Navigation zum Durchsuchen von Azure-Ressourcen. Sie können ganz einfach in Ihren Azure-Abonnements navigieren und über eine intuitive Benutzeroberfläche eine Verbindung mit Ihren Datenquellen herstellen. Es hilft Ihnen, die benötigten Daten schnell zu finden und eine Verbindung zu ihnen herzustellen.
Datenpipelines wurden um die Unterstützung des lokalen Datengateways (OPDG) erweitert
Verfügbar (Q1 2024)
Versionstyp: Öffentliche Vorschau
Diese Funktion ermöglicht es Datenpipelines, Fabric-Datengateways zu verwenden, um auf Daten zuzugreifen, die sich vor Ort und hinter einem virtuellen Netzwerk befinden. Benutzende, die selbstgehostete Integration Runtimes (SHIR) verwenden, können in Fabric auf lokale Datengateways umsteigen.
Unterstützung der Schnellkopie in Dataflow Gen2
Verfügbar (Q1 2024)
Versionstyp: Öffentliche Vorschau
Wir fügen Unterstützung für die Aufnahme großer Datenmengen direkt in Dataflow Gen2 hinzu, indem wir die Pipeline-Funktion „Copy-Aktivität“ nutzen. Dies unterstützt Quellen wie Azure SQL-Datenbanken, CSV- und Parquet-Dateien in Azure Data Lake Storage und Blob Storage.
Diese Erweiterung erhöht die Datenverarbeitungskapazität von Dataflow Gen2 erheblich und bietet ELT-Funktionen (Extract-Load-Transform) in großem Umfang.
Abbrechen der Aktualisierungsunterstützung in Dataflow Gen2
Verfügbar (Q4 2023)
Versionstyp: Öffentliche Vorschau
Wir fügen Unterstützung für das Abbrechen laufender Dataflow Gen2-Aktualisierungen aus der Ansicht der Arbeitsbereichselemente hinzu.
Die Datenerfassung ist bei der Analyse von entscheidender Bedeutung. Data Factory von Microsoft Fabric enthält Dataflows zum Erstellen und Visualisieren einer mehrstufigen Datenerfassung und -transformation mithilfe von Power Query Online.
Als Technische Fachkraft für Fabric-Daten sollten Sie Fachkompetenz in den Bereichen Datenlademuster, Datenarchitektur und Orchestrierungsprozesse haben.