Wat is er nieuw en gepland voor Data Factory in Microsoft Fabric
Belangrijk
De releaseplannen beschrijven functionaliteit die al dan niet is uitgebracht. De leveringstijdlijnen en de verwachte functionaliteit kunnen veranderen of niet worden verzonden. Raadpleeg het Microsoft-beleid voor meer informatie.
Data Factory in Microsoft Fabric combineert integratie van burgergegevens en pro-gegevensintegratiemogelijkheden in één moderne ervaring voor gegevensintegratie. Het biedt connectiviteit met meer dan 100 relationele en niet-relationele databases, lakehouses, datawarehouses, algemene interfaces zoals REST API's, OData en meer.
Gegevensstromen: Met Dataflow Gen2 kunt u grootschalige gegevenstransformaties uitvoeren en verschillende uitvoerbestemmingen ondersteunen die schrijven naar Azure SQL Database, Lakehouse, Data Warehouse en meer. De gegevensstroomeditor biedt meer dan 300 transformaties, waaronder opties op basis van AI, en stelt u in staat om gegevens eenvoudig te transformeren met betere flexibiliteit dan elk ander hulpprogramma. Of u nu gegevens uit een ongestructureerde gegevensbron, zoals een webpagina, extraheert of een bestaande tabel opnieuw vormgeeft in de Power Query-editor, u kunt eenvoudig gegevensextractie van Power Query toepassen op voorbeeld, dat gebruikmaakt van kunstmatige intelligentie (AI) en het proces vereenvoudigt.
Gegevenspijplijnen: Gegevenspijplijnen bieden de mogelijkheid om veelzijdige werkstromen voor gegevensindeling te maken waarmee taken zoals gegevensextractie, laden in voorkeursgegevensarchieven, uitvoering van notebooks, SQL-scriptuitvoering en meer worden gecombineerd. U kunt snel krachtige gegevenspijplijnen op basis van metagegevens bouwen waarmee terugkerende taken worden geautomatiseerd. Bijvoorbeeld het laden en extraheren van gegevens uit verschillende tabellen in een database, het doorlopen van meerdere containers in Azure Blob Storage en meer. Bovendien hebt u met gegevenspijplijnen toegang tot de gegevens van Microsoft 365 met behulp van de Microsoft Graph Data Connection (MGDC)-connector.
Zie de documentatie voor meer informatie.
Investeringsgebieden
In de komende maanden zal Data Factory in Microsoft Fabric de connectiviteitsopties uitbreiden en blijven toevoegen aan de uitgebreide bibliotheek met transformaties en gegevenspijplijnactiviteiten. Bovendien kunt u hiermee realtime, krachtige gegevensreplicatie uitvoeren vanuit operationele databases en deze gegevens naar de lake brengen voor analyse.
Ondersteuning voor gegevenspijplijnen voor DBT
Geschatte releasetijdlijn: Q1 2024
Releasetype: openbare preview
DBT CLI Orchestration (Data Build Tool): bevat het hulpprogramma voor gegevensbuild (dbt) voor werkstromen voor gegevenstransformatie.
Ondersteuning voor snelle kopieerbewerkingen in Dataflow Gen2
Geschatte releasetijdlijn: Q3 2024
Releasetype: Algemene beschikbaarheid
We voegen ondersteuning toe voor grootschalige gegevensopname rechtstreeks in de ervaring Dataflow Gen2, waarbij gebruik wordt gemaakt van de mogelijkheid van kopieeractiviteit voor pijplijnen. Deze verbetering schaalt de gegevensverwerkingscapaciteit van Dataflow Gen2 aanzienlijk op en biedt mogelijkheden voor ELT (Extract-Load-Transform).
Identiteitsbeheer van gegevensbron (beheerde identiteit)
Geschatte releasetijdlijn: Q3 2024
Releasetype: openbare preview
Hierdoor kan een beheerde identiteit worden geconfigureerd op werkruimteniveau. U kunt de beheerde Fabric-identiteiten gebruiken om veilig verbinding te maken met uw gegevensbron.
Git-integratie van Data Factory voor gegevensstromen
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
U kunt verbinding maken met een Git-opslagplaats en uw gegevensstromen ontwikkelen. Deze mogelijkheid maakt integratie met versiebeheer mogelijk en biedt doorvoeringen en pull-aanvragen.
Copilot voor Data Factory (gegevenspijplijn)
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Copilot voor Data Factory (Gegevenspijplijn) stelt klanten in staat om gegevenspijplijnen te bouwen met behulp van natuurlijke taal en biedt richtlijnen voor probleemoplossing.
Verzonden functies
Ondersteuning voor on-premises gegevensgateway (OPDG) toegevoegd aan gegevenspijplijnen
Verzonden (Q3 2024)
Releasetype: Algemene beschikbaarheid
Met deze functie kunnen gegevenspijplijnen fabric-gegevensgateways gebruiken voor toegang tot gegevens die zich on-premises en achter een virtueel netwerk bevinden. Voor gebruikers die zelf-hostende Integration Runtimes (SHIR) gebruiken, kunnen ze overstappen op on-premises gegevensgateways in Fabric.
Ondersteuning voor het aanroepen van gegevenspijplijnen tussen werkruimten
Verzonden (Q3 2024)
Releasetype: openbare preview
Update van pijplijnenactiviteit aanroepen: er worden nieuwe en interessante updates voor de activiteit Pijplijn aanroepen ingeschakeld. In reactie op overweldigende aanvragen van klanten en community's maken we het uitvoeren van gegevenspijplijnen mogelijk in werkruimten. U kunt nu pijplijnen aanroepen vanuit andere werkruimten waartoe u toegang hebt om uit te voeren. Dit maakt zeer interessante gegevenswerkstroompatronen mogelijk die gebruik kunnen maken van samenwerking vanuit uw data engineering- en integratieteams in werkruimten en in functionele teams.
Azure Data Factory in Fabric
Verzonden (Q3 2024)
Releasetype: openbare preview
Breng uw bestaande Azure Data Factory (ADF) naar uw Fabric-werkruimte. Dit is een nieuwe preview-functie waarmee u vanuit uw Fabric-werkruimte verbinding kunt maken met uw bestaande ADF-factory's.
U kunt nu uw ADF-factory's rechtstreeks vanuit de gebruikersinterface van de infrastructuurwerkruimte volledig beheren. Zodra uw ADF is gekoppeld aan uw Fabric-werkruimte, kunt u uw pijplijnen activeren, uitvoeren en bewaken zoals u dat doet in ADF, maar rechtstreeks in Fabric.
Ondersteuning voor incrementeel vernieuwen in Dataflow Gen2
Verzonden (Q3 2024)
Releasetype: openbare preview
We voegen ondersteuning voor incrementeel vernieuwen toe in Dataflow Gen2. Met deze functie kunt u incrementeel gegevens uit gegevensbronnen extraheren, Power Query-transformaties toepassen en laden in verschillende uitvoerbestemmingen.
Ondersteuning voor gegevenspijplijnen voor Azure Databricks-taken
Verzonden (Q3 2024)
Releasetype: openbare preview
We werken de Data Factory-gegevenspijplijnen van Azure Databricks-activiteiten bij om nu de meest recente taken-API te gebruiken, waardoor interessante werkstroommogelijkheden mogelijk zijn, zoals het uitvoeren van DLT-taken.
Verbeterde e-mailmeldingen voor vernieuwingsfouten
Verzonden (Q3 2024)
Releasetype: openbare preview
Met e-mailmeldingen kunnen makers van Dataflow Gen2 de resultaten (geslaagd/mislukt) van de vernieuwingsbewerking van een gegevensstroom bewaken.
Taak kopiëren
Verzonden (Q3 2024)
Releasetype: openbare preview
De kopieertaak vereenvoudigt de ervaring voor klanten die gegevens moeten opnemen, zonder dat ze een gegevensstroom of gegevenspijplijn hoeven te maken. Copy Job ondersteunt volledige en incrementele kopie van gegevensbronnen naar alle gegevensbestemmingen. Meld u nu aan voor private preview.
Copilot voor Data Factory (gegevensstroom)
Verzonden (Q3 2024)
Releasetype: Algemene beschikbaarheid
Copilot voor Data Factory (Dataflow) stelt klanten in staat hun vereisten uit te drukken met behulp van natuurlijke taal bij het maken van oplossingen voor gegevensintegratie met Dataflows Gen2.
Standaardinstellingen voor fasering voor uitvoerbestemming voor Gegevensstroom Gen 2
Verzonden (Q2 2024)
Releasetype: openbare preview
Gegevensstroom Gen2 biedt mogelijkheden voor het opnemen van gegevens uit een breed scala aan gegevensbronnen in de Fabric OneLake. Bij het faseren van deze gegevens kan deze worden getransformeerd op grote schaal met behulp van de Gen2-engine voor grootschalige gegevensstromen (op basis van Fabric Lakehouse/Warehouse SQL Compute).
Het standaardgedrag voor Gegevensstromen Gen2 is het fasen van gegevens in OneLake om grootschalige gegevenstransformaties mogelijk te maken. Hoewel dit handig is voor grootschalige scenario's, werkt dit niet zo goed voor scenario's waarbij kleine hoeveelheden gegevens worden opgenomen, gezien het feit dat er een extra hop (fasering) voor gegevens wordt geïntroduceerd voordat deze uiteindelijk in de uitvoerbestemming van de gegevensstroom worden geladen.
Met de geplande verbeteringen wordt het standaardgedrag voor fasering afgesteld dat moet worden uitgeschakeld, voor query's met een uitvoerbestemming waarvoor geen fasering is vereist (namelijk Fabric Lakehouse en Azure SQL Database).
Faseringsgedrag kan handmatig per query worden geconfigureerd via het deelvenster Queryinstellingen of het contextmenu van de query in het deelvenster Query's.
Ondersteuning voor gegevenspijplijnen voor gebeurtenisgestuurde triggers
Verzonden (Q2 2024)
Releasetype: openbare preview
Een veelvoorkomend gebruiksvoorbeeld voor het aanroepen van Data Factory-gegevenspijplijnen is het activeren van de pijplijn bij bestandsevenementen zoals het ophalen van bestanden en het verwijderen van bestanden. Voor klanten die afkomstig zijn van ADF of Synapse naar Fabric, is het gebruik van ADLS/Blog-opslag gebeurtenissen zeer gebruikelijk als een manier om te signaleren voor een nieuwe pijplijnuitvoering of om de namen van de gemaakte bestanden vast te leggen. Triggers in Fabric Data Factory maken gebruik van infrastructuurplatformmogelijkheden, waaronder EventStreams en Reflex-triggers. In het ontwerpcanvas van de Fabric Data Factory-pijplijn hebt u een triggerknop waarop u kunt drukken om een Reflex-trigger voor uw pijplijn te maken of kunt u de trigger rechtstreeks vanuit de Data Activator-ervaring maken.
Ondersteuning voor gegevenspijplijnen voor SparkJobDefinition
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
U kunt nu uw Spark-code, inclusief JAR-bestanden, rechtstreeks vanuit een pijplijnactiviteit uitvoeren. Wijs uw Spark-code aan en de pijplijn voert de taak uit op uw Spark-cluster in Fabric. Deze nieuwe activiteit maakt interessante gegevenswerkstroompatronen mogelijk die gebruikmaken van de kracht van de Spark-engine van Fabric, terwijl de data factory-controlestroom en de mogelijkheden voor gegevensstromen in dezelfde pijplijn als uw Spark-taken worden opgenomen.
Ondersteuning voor gegevenspijplijnen voor Azure HDInsight
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
HDInsight is de Azure PaaS-service voor Hadoop waarmee ontwikkelaars zeer krachtige big data-oplossingen in de cloud kunnen bouwen. Met de nieuwe HDI-pijplijnactiviteit kunnen HDInsights-taakactiviteiten binnen uw Data Factory-gegevenspijplijnen worden ingeschakeld die vergelijkbaar zijn met de bestaande funcationality die u jarenlang hebt gebruikt in ADF- en Synapse-pijplijnen. We hebben deze mogelijkheid nu rechtstreeks in Fabric-gegevenspijplijnen gebracht.
Nieuwe connectors voor kopieeractiviteit
Verzonden (Q2 2024)
Releasetype: openbare preview
Er worden nieuwe connectors toegevoegd voor Copy-activiteit om klanten in staat te stellen gegevens op te nemen uit de volgende bronnen, terwijl ze gebruikmaken van gegevenspijplijn: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Apache Airflow-taak: gegevenspijplijnen bouwen die worden mogelijk gemaakt door Apache Airflow
Verzonden (Q2 2024)
Releasetype: openbare preview
Apache Airflow-taak (eerder gegevenswerkstromen genoemd) worden mogelijk gemaakt door Apache Airflow en bieden een geïntegreerde Apache Airflow-runtimeomgeving, zodat u python-DAG's eenvoudig kunt ontwerpen, uitvoeren en plannen.
Identiteitsbeheer van gegevensbron (SPN)
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
Service-principal: voor toegang tot resources die worden beveiligd door een Azure AD-tenant, moet de entiteit waarvoor toegang is vereist, worden vertegenwoordigd door een beveiligingsprincipaal. U kunt verbinding maken met uw gegevensbronnen met de service-principal.
Verbeteringen in de gegevenservaring ophalen (door Azure-resources bladeren)
Verzonden (Q1 2024)
Releasetype: openbare preview
Bladeren door Azure-resources biedt naadloze navigatie om door Azure-resources te bladeren. U kunt eenvoudig door uw Azure-abonnementen navigeren en verbinding maken met uw gegevensbronnen via een intuïtieve gebruikersinterface. Hiermee kunt u snel de gewenste gegevens vinden en er verbinding mee maken.
Ondersteuning voor on-premises gegevensgateway (OPDG) toegevoegd aan gegevenspijplijnen
Verzonden (Q1 2024)
Releasetype: openbare preview
Met deze functie kunnen gegevenspijplijnen fabric-gegevensgateways gebruiken voor toegang tot gegevens die zich on-premises en achter een virtueel netwerk bevinden. Voor gebruikers die zelf-hostende Integration Runtimes (SHIR) gebruiken, kunnen ze overstappen op on-premises gegevensgateways in Fabric.
Git-integratie van Data Factory voor gegevenspijplijnen
Verzonden (Q1 2024)
Releasetype: openbare preview
U kunt verbinding maken met uw Git-opslagplaats om gegevenspijplijnen op een gezamenlijke manier te ontwikkelen. De integratie van gegevenspijplijnen met de alm-mogelijkheid (Application Lifecycle Management) van het Fabric-platform maakt versiebeheer, vertakking, doorvoeringen en pull-aanvragen mogelijk.
Verbeteringen aan uitvoerbestemmingen in Dataflow Gen2 (queryschema)
Verzonden (Q1 2024)
Releasetype: openbare preview
We verbeteren de uitvoerbestemmingen in Dataflow Gen2 met de volgende zeer aangevraagde mogelijkheden:
- Mogelijkheid om wijzigingen in queryschema's af te handelen na het configureren van een uitvoerbestemming.
- Standaardbestemmingsinstellingen om het maken van gegevensstromen te versnellen.
Zie Gegevensstroom Gen2-gegevensbestemmingen en beheerde instellingen voor meer informatie
Ondersteuning voor snelle kopieerbewerkingen in Dataflow Gen2
Verzonden (Q1 2024)
Releasetype: openbare preview
We voegen ondersteuning toe voor grootschalige gegevensopname rechtstreeks in de ervaring Dataflow Gen2, waarbij gebruik wordt gemaakt van de mogelijkheid van kopieeractiviteit voor pijplijnen. Dit ondersteunt bronnen zoals Azure SQL-databases, CSV- en Parquet-bestanden in Azure Data Lake Storage en Blob Storage.
Deze verbetering schaalt de gegevensverwerkingscapaciteit van Dataflow Gen2 aanzienlijk op en biedt mogelijkheden voor ELT (Extract-Load-Transform).
Ondersteuning voor vernieuwen annuleren in Dataflow Gen2
Verzonden (Q4 2023)
Releasetype: openbare preview
We voegen ondersteuning toe om doorlopende vernieuwingen van Dataflow Gen2 te annuleren vanuit de weergave werkruimte-items.