Wat is er nieuw en gepland voor Data Factory in Microsoft Fabric
Belangrijk
De releaseplannen beschrijven functionaliteit die al dan niet is uitgebracht. De leveringstijdlijnen en de verwachte functionaliteit kunnen veranderen of niet worden verzonden. Raadpleeg het Microsoft-beleid voor meer informatie.
Data Factory in Microsoft Fabric combineert integratie van burgergegevens en pro-gegevensintegratiemogelijkheden in één moderne ervaring voor gegevensintegratie. Het biedt connectiviteit met meer dan 100 relationele en niet-relationele databases, lakehouses, datawarehouses, algemene interfaces zoals REST API's, OData en meer.
Gegevensstromen: Met Dataflow Gen2 kunt u grootschalige gegevenstransformaties uitvoeren en verschillende uitvoerbestemmingen ondersteunen die schrijven naar Azure SQL Database, Lakehouse, Data Warehouse en meer. De gegevensstroomeditor biedt meer dan 300 transformaties, waaronder opties op basis van AI, en stelt u in staat om gegevens eenvoudig te transformeren met betere flexibiliteit dan elk ander hulpprogramma. Of u nu gegevens uit een ongestructureerde gegevensbron, zoals een webpagina, extraheert of een bestaande tabel opnieuw vormgeeft in de Power Query-editor, u kunt eenvoudig gegevensextractie van Power Query toepassen op voorbeeld, dat gebruikmaakt van kunstmatige intelligentie (AI) en het proces vereenvoudigt.
Gegevenspijplijnen: Gegevenspijplijnen bieden de mogelijkheid om veelzijdige werkstromen voor gegevensindeling te maken waarmee taken zoals gegevensextractie, laden in voorkeursgegevensarchieven, uitvoering van notebooks, SQL-scriptuitvoering en meer worden gecombineerd. U kunt snel krachtige gegevenspijplijnen op basis van metagegevens bouwen waarmee terugkerende taken worden geautomatiseerd. Bijvoorbeeld het laden en extraheren van gegevens uit verschillende tabellen in een database, het doorlopen van meerdere containers in Azure Blob Storage en meer. Bovendien hebt u met gegevenspijplijnen toegang tot de gegevens van Microsoft 365 met behulp van de Microsoft Graph Data Connection (MGDC)-connector.
Kopieertaak: De kopieertaak vereenvoudigt de gegevensopname-ervaring met een gestroomlijnd en gebruiksvriendelijk proces, waarbij gegevens worden verplaatst op petabyte-schaal van elke bron naar elke bestemming. U kunt gegevens kopiëren met verschillende stijlen voor gegevenslevering, waaronder batchkopie, incrementele kopie en meer.
Apache Airflow-taak: Apache Airflow-taak is de volgende generatie werkstroomindelingsbeheer van Azure Data Factory. Het is een eenvoudige en efficiënte manier om apache Airflow-indelingstaken te maken en te beheren, zodat u met gemak Gerichte Acyclic Graphs (DAG's) op schaal kunt uitvoeren. Met de Apache Airflow-taak beschikt u over een moderne ervaring voor gegevensintegratie voor het opnemen, voorbereiden, transformeren en organiseren van gegevens uit een uitgebreide set gegevensbronnen met behulp van code.
Databasespiegeling: Databasespiegeling in Fabric is een oplossing met lage latentie, ontworpen met open standaarden (bijvoorbeeld delta lake-tabelindeling). Hiermee kunt u gegevens en metagegevens van verschillende systemen snel repliceren. Met databasespiegeling kunt u uw gegevensomgeving continu repliceren naar Microsoft Fabric OneLake voor analyse. Met een zeer geïntegreerde, gebruiksvriendelijke ervaring kunt u nu vereenvoudigen hoe u aan de slag kunt gaan met uw analysebehoeften.
Zie de documentatie voor meer informatie.
Investeringsgebieden
In de komende maanden zal Data Factory in Microsoft Fabric de connectiviteitsopties uitbreiden en blijven toevoegen aan de uitgebreide bibliotheek met transformaties en gegevenspijplijnactiviteiten. Bovendien kunt u hiermee realtime, krachtige gegevensreplicatie uitvoeren vanuit operationele databases en deze gegevens naar de lake brengen voor analyse.
Ondersteuning voor Dataflow Gen2 CI/CD en openbare API's
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
De mogelijkheden van Dataflow Gen2 worden uitgebreid ter ondersteuning van de volgende functies in Fabric, waaronder:
- Gegevensstroom Gen2-items kunnen worden opgenomen in ALM-implementatiepijplijnen.
- U kunt gebruikmaken van Dataflow Gen2-items met mogelijkheden voor broncodebeheer (Git-integratie).
- Openbare CRUDLE-API's voor Gegevensstroom Gen2-items.
Dit zijn zeer aangevraagde mogelijkheden van veel klanten en we zijn verheugd om ze beschikbaar te maken als preview-functie.
Semantisch model: tabellen en partities vernieuwen
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Pijplijngebruikers zijn erg enthousiast over onze zeer populaire Semantische modelvernieuwingspijplijnactiviteit. Een veelvoorkomende vraag is geweest om hun ELT-verwerkingspijplijn te verbeteren door specifieke tabellen en partities in hun modellen te vernieuwen. We hebben deze functie nu ingeschakeld, waardoor de pijplijnactiviteit de meest effectieve manier is om u semantische fabric-modellen te vernieuwen.
Fabric Data Factory-pijplijn importeren en exporteren
Geschatte releasetijdlijn: Q4 2024
Releasetype: Algemene beschikbaarheid
Als data factory-pijplijnontwikkelaar wilt u uw pijplijndefinitie vaak exporteren om deze te delen met andere ontwikkelaars of om deze opnieuw te gebruiken in andere werkruimten. We hebben nu de mogelijkheid toegevoegd om uw Data Factory-pijplijnen te exporteren en te importeren vanuit uw Fabric-werkruimte. Deze krachtige functie maakt nog meer samenwerkingsmogelijkheden mogelijk en is waardevol bij het oplossen van problemen met uw pijplijnen met onze ondersteuningsteams.
Copilot voor Data Factory (gegevenspijplijn)
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Copilot voor Data Factory (Gegevenspijplijn) stelt klanten in staat om gegevenspijplijnen te bouwen met behulp van natuurlijke taal en biedt richtlijnen voor probleemoplossing.
Spiegelen voor Azure SQL DB
Geschatte releasetijdlijn: Q4 2024
Releasetype: Algemene beschikbaarheid
Spiegeling biedt een naadloze no-ETL-ervaring om uw bestaande Azure SQL DB-gegevens te integreren met de rest van uw gegevens in Microsoft Fabric. U kunt uw Azure SQL DB-gegevens in bijna realtime continu repliceren naar Fabric OneLake, zonder dat dit van invloed is op de prestaties van uw transactionele workloads.
Meer informatie over spiegeling in Microsoft Fabric
Spiegeling openen
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Open Mirroring, is een krachtige functie die de uitbreidbaarheid van Fabric verbetert door elke toepassing of gegevensprovider toe te staan om hun gegevensdomein rechtstreeks in OneLake te brengen met minimale inspanning. Door gegevensproviders en toepassingen in staat te stellen wijzigingen rechtstreeks naar een gespiegelde database in Fabric te schrijven, vereenvoudigt Open Mirroring de verwerking van complexe gegevenswijzigingen, zodat alle gespiegelde gegevens continu up-to-date zijn en klaar zijn voor analyse.
SpN-ondersteuning voor openbare API's voor data pipelines
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Om het gebruik van PIJPLIJN REST API's in Fabric veel eenvoudiger en veiliger te maken, schakelen we SPN-ondersteuning (service-principal) in voor openbare API's.
Ondersteuning voor gegevenspijplijnen voor variabelen voor Fabric-werkruimten
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Bij het implementeren van CICD in uw Fabric Data Factory-pijplijnomgevingen is het erg belangrijk dat u waarden bijwerkt van dev naar test naar prod, enzovoort. Met behulp van variabelen in Fabric kunt u waarden tussen omgevingen vervangen en ook waarden delen tussen pijplijnen die vergelijkbaar zijn met de globale parameters van ADF.
Automatisch bijwerken van on-premises gegevensgateway
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
De functie voor automatische upgrade van de on-premises gegevensgateway zorgt ervoor dat de gateway altijd de nieuwste versie uitvoert, waardoor verbeterde functionaliteit, beveiligingsupdates en nieuwe functies worden geboden zonder handmatige tussenkomst. Deze functie vereenvoudigt het beheer van de gateway door updates automatisch te downloaden en te installeren zodra deze beschikbaar komen.
Ondersteuning voor gegevenspijplijnen voor VNET-gateways
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
VNET-gegevensgateway biedt ondersteuning voor Infrastructuurgegevenspijplijn, inclusief kopieeractiviteit voor pijplijnen en andere pijplijnactiviteiten. Klanten kunnen veilig verbinding maken met hun gegevensbronnen in de pijplijn via VNET-gegevensgateway.
Doel van gegevensstroom Gen2-uitvoer naar SharePoint-bestanden
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Na het opschonen en voorbereiden van gegevens met Gegevensstroom Gen 2 kunt u met deze functie SharePoint-bestanden selecteren als gegevensbestemming. Deze functie maakt het eenvoudig om getransformeerde gegevens te exporteren naar een CSV-bestand en op te slaan in Microsoft SharePoint om beschikbaar te worden gesteld aan iedereen met machtigingen voor de site.
Ondersteuning voor gegevenspijplijnen voor tumblingvenstertriggers
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Planningspijplijnuitvoeringen met tijdvensters die niet overlappen en kunnen worden 'opnieuw afgespeeld' is een zeer belangrijke functie in pijplijnen die veel ADF-gebruikers hebben gebruikt. We zijn super enthousiast om deze tumblingvensterfunctie naar pijplijnplanning naar Fabric Data Factory te brengen.
Azure Data Factory-item
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
We zijn zeer verheugd om de algemene beschikbaarheid van het Azure Data Factory-item in Fabric aan te kondigen. Met deze nieuwe mogelijkheid kunnen bestaande ADF-gebruikers hun data factory's snel en eenvoudig vanuit Azure beschikbaar maken voor hun Fabric-werkruimte. U kunt uw ADF-pijplijnen nu rechtstreeks vanuit Fabric beheren, bewerken en aanroepen.
Ondersteuning voor gegevenspijplijnkopieactiviteit voor aanvullende bronnen
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
We breiden de ondersteuning uit voor meer bronconnectors in Copy-activiteit, waardoor klanten naadloos gegevens uit een breed scala aan bronnen kunnen kopiëren, waaronder Teradata, Spark, Azure Databricks Delta Lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (gebundeld) en meer.
Geparallelliseerde uitvoering van gegevensstromen Gen 2
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
"Gebruikers willen een flexibele manier om de logica van hun Dataflow Gen2-transformaties te definiëren en de uitvoering te parallelliseren met verschillende argumenten. Tegenwoordig moeten ze meerdere gegevensstromen of meerdere query's binnen hun enkele gegevensstroom maken om een logica te hebben die kan worden hergebruikt met verschillende argumenten.
Als onderdeel van deze verbetering stellen we gebruikers in staat om een 'foreach'-lus in te stellen voor hun hele gegevensstroomitem dat wordt aangestuurd door een zelfstandige query die fungeert als de lijst met parameterwaarden om deze gecontaineriseerde benadering te herhalen voor parallelle en dynamische uitvoering.
Identiteitsbeheer van gegevensbron (Azure Key Vault)
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Ondersteuning voor Azure Key Vault: u kunt uw sleutels en geheimen opslaan in Azure Key Vault en er verbinding mee maken. Op deze manier kunt u uw sleutels op één plaats beheren.
Spiegelen voor CosmosDB
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
Spiegelen biedt een naadloze no-ETL-ervaring om uw bestaande Azure Cosmos DB-gegevens te integreren met de rest van uw gegevens in Microsoft Fabric. U kunt uw Azure Cosmos DB-gegevens in bijna realtime continu repliceren naar Fabric OneLake, zonder dat dit van invloed is op de prestaties van uw transactionele workloads.
Ondersteuning voor Dataflow Gen2 CI/CD en openbare API's
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
Gegevensstroom Gen2-items ondersteunen CI/CD-mogelijkheden in Fabric, waaronder broncodebeheer (Git-integratie) en ALM Deployment Pipelines. Daarnaast kunnen klanten programmatisch communiceren met Dataflow Gen2-items in Fabric via de Rest API's van Fabric, die ondersteuning bieden voor CRUDLE-bewerkingen via Dataflow Gen2-items.
SPN-ondersteuning voor openbare API's voor dataflow Gen2
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Gegevensstroom Gen2-items worden ondersteund via Fabric REST API's met ondersteuning voor service-principal-verificatie.
Incrementeel vernieuwen van gegevensstroom Gen2
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
Eind september 2024 hebben we Incrementeel vernieuwen van Dataflow Gen2 uitgebracht als een openbare preview-functie. We blijven feedback van klanten bewaken en deze functie verbeteren voordat deze functie algemeen beschikbaar is, gepland voor het einde van Q1CY2025.
Ondersteuning voor incrementeel vernieuwen van gegevensstromen voor Lakehouse-bestemming
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Incrementeel vernieuwen van gegevensstroom gen2 optimaliseert de uitvoering van de gegevensstroom om alleen de meest recente gegevens op te halen die zijn gewijzigd in de gegevensbronnen van uw gegevensstroom, op basis van een datum/tijd-partitiekolom. Dit zorgt ervoor dat gegevens incrementeel kunnen worden geladen in OneLake voor downstreamtransformaties of uitvoer naar een doel van de uitvoer van een gegevensstroom.
Als onderdeel van deze uitbreiding bieden we directe ondersteuning voor incrementeel vernieuwen om gegevens rechtstreeks naar Fabric Lakehouse-tabellen uit te voeren.
Parameters voor gegevensstroom Gen2
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Gebruikers zijn gewend om pijplijnen op basis van metagegevens uit te voeren, waar ze variabelen of parameters kunnen injecteren in verschillende activiteiten van een pijplijn en zo zaken op een dynamischere manier uitvoeren: Eenmaal maken, meerdere keren hergebruiken.
Als onderdeel van deze verbetering zorgen we ervoor dat gegevensstromen die worden uitgevoerd via een gegevenspijplijn in Fabric, kunnen worden geleverd met parameterwaarden voor hun bestaande gegevensstroomparameters.
Ondersteuning voor Gegevensstroom Gen2 voor Opslaan als nieuw item
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Klanten willen vaak een bestaande gegevensstroom opnieuw maken als een nieuwe gegevensstroom. Om dit nu te bereiken, moeten ze het nieuwe Dataflow Gen2-item helemaal zelf maken en hun bestaande query's kopiëren en plakken, of gebruikmaken van de mogelijkheden van de Power Query-sjabloon exporteren/importeren. Dit is echter niet alleen onhandig vanwege onnodige stappen, maar het draagt ook geen aanvullende gegevensstroominstellingen over, zoals Gepland vernieuwen en andere itemeigenschappen (naam, beschrijving, vertrouwelijkheidslabel, enzovoort).
Als onderdeel van deze uitbreiding bieden we een snelle 'Opslaan als'-beweging binnen de bewerkingservaring van Dataflow Gen2, zodat gebruikers hun bestaande gegevensstroom kunnen opslaan als een nieuwe gegevensstroom.
Ondersteuning voor Gegevensstroom Gen1 voor nieuw item Opslaan als Gegevensstroom Gen2
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Klanten willen vaak een bestaand Dataflow Gen1-item opnieuw maken als een nieuw Dataflow Gen2-item. Om dit nu te bereiken, moeten ze het nieuwe Dataflow Gen2-item helemaal zelf maken en hun bestaande query's kopiëren en plakken, of gebruikmaken van de mogelijkheden van de Power Query-sjabloon exporteren/importeren. Dit is echter niet alleen onhandig vanwege onnodige stappen, maar het draagt ook geen aanvullende gegevensstroominstellingen over, zoals Gepland vernieuwen en andere itemeigenschappen (naam, beschrijving, vertrouwelijkheidslabel, enzovoort).
Als onderdeel van deze uitbreiding bieden we een snelle 'Opslaan als'-beweging binnen de bewerkingservaring van Dataflow Gen1, zodat gebruikers hun bestaande Dataflow Gen1-item kunnen opslaan als een nieuw Dataflow Gen2-item.
Taak kopiëren - Incrementeel kopiëren zonder dat gebruikers watermerkkolommen moeten opgeven
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
We introduceren systeemeigen CDC-functionaliteit (Change Data Capture) in de kopieertaak voor belangrijke connectors. Dit betekent dat incrementele kopie automatisch wijzigingen detecteert. Klanten hoeven geen incrementele kolommen op te geven.
Taak kopiëren
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
Kopieertaak in Data Factory verhoogt de gegevensopname-ervaring naar een gestroomlijnder en gebruiksvriendelijk proces van elke bron naar elke bestemming. Het kopiëren van uw gegevens is nu eenvoudiger dan ooit tevoren. De kopieertaak ondersteunt verschillende stijlen voor het leveren van gegevens, waaronder zowel batchkopie als incrementele kopie, die de flexibiliteit biedt om te voldoen aan uw specifieke behoeften.
Ondersteuning voor taak-CI/CD kopiëren
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Kopieertaakitems ondersteunen CI/CD-mogelijkheden in Fabric, waaronder broncodebeheer (Git-integratie) en ALM Deployment Pipelines.
Ondersteuning voor openbare API's voor de kopieertaak
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Klanten kunnen programmatisch communiceren met items van de kopieertaak in Fabric via de openbare Fabric-API's, die ondersteuning bieden voor CRUDLE-bewerkingen via Taakitems kopiëren
Ondersteuning voor Gegevensstroom Gen2 voor aanvullende bronnen voor snelle kopieerbewerkingen
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
We breiden Fast Copy in Dataflow Gen2 uit om meer bronconnectors te ondersteunen, zodat klanten gegevens kunnen laden met hogere prestaties. Nieuwe connectors bevatten Fabric Lakehouse-bestanden, Google BigQuery, Amazon Redshift en meer, waardoor snellere en efficiëntere gegevensintegratie mogelijk wordt.
Ondersteuning voor het kopiëren van taken voor aanvullende bronnen
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
We breiden de ondersteuning uit voor meer bronconnectors in de kopieertaak, zodat klanten naadloos gegevens uit een breed scala aan bronnen kunnen kopiëren. Tegelijkertijd blijven we de vereenvoudigde ervaring behouden en bieden we diverse kopieerpatronen, waaronder zowel volledige kopie als incrementele kopie.
Data Pipeline-ondersteuning voor OneLake-gebeurtenistriggers
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Een populair mechanisme dat wordt gebruikt voor het aanroepen van pijplijnen in Fabric Data Factory, is het gebruik van de bestandstrigger. Wanneer bestandsgebeurtenissen (d.w.z. bestands aankomst, bestand verwijderen ...) worden gedetecteerd voor Blob Store of ADLS Gen2, wordt uw Fabric Data Factory-pijplijn aangeroepen. Nu hebben we OneLake-bestandsevenementen toegevoegd aan de trigger-gebeurtenistypen in Fabric.
Klanten in staat stellen hun verbindingen te parameteriseren
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Verbindingen bieden een gemeenschappelijk framework voor het definiëren van connectiviteit en verificatie voor uw gegevensarchieven. Deze verbindingen kunnen worden gedeeld tussen verschillende items. Met ondersteuning voor parameters kunt u complexe en herbruikbare pijplijnen, notebooks, gegevensstromen en andere itemtypen bouwen.
Ondersteuning voor gegevenspijplijnen voor DBT
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
DBT CLI Orchestration (Data Build Tool): bevat het hulpprogramma voor gegevensbuild (dbt) voor werkstromen voor gegevenstransformatie.
Ondersteuning voor door de gebruiker toegewezen beheerde identiteiten in verbindingen
Geschatte releasetijdlijn: Q2 2025
Releasetype: openbare preview
Deze verbetering ter ondersteuning van door de gebruiker toegewezen beheerde identiteiten in Verbindingen biedt een aanzienlijke waarde door een veiligere en flexibele verificatiemethode te bieden voor toegang tot gegevensresources. Het voorkomt hardcoderingsreferenties, vereenvoudigt het beheer door de noodzaak om geheimen te roteren, zorgt voor naleving van beveiligingsbeleid, integreert naadloos met Azure-services en ondersteunt schaalbaarheid in verbindingen doordat meerdere exemplaren dezelfde identiteit kunnen delen.
Verzonden functies
Azure Data Factory in Fabric
Verzonden (Q3 2024)
Releasetype: openbare preview
Breng uw bestaande Azure Data Factory (ADF) naar uw Fabric-werkruimte. Dit is een nieuwe preview-functie waarmee u vanuit uw Fabric-werkruimte verbinding kunt maken met uw bestaande ADF-factory's.
U kunt nu uw ADF-factory's rechtstreeks vanuit de gebruikersinterface van de infrastructuurwerkruimte volledig beheren. Zodra uw ADF is gekoppeld aan uw Fabric-werkruimte, kunt u uw pijplijnen activeren, uitvoeren en bewaken zoals u dat doet in ADF, maar rechtstreeks in Fabric.
Ondersteuning voor het aanroepen van gegevenspijplijnen tussen werkruimten
Verzonden (Q3 2024)
Releasetype: openbare preview
Update van pijplijnenactiviteit aanroepen: er worden nieuwe en interessante updates voor de activiteit Pijplijn aanroepen ingeschakeld. In reactie op overweldigende aanvragen van klanten en community's maken we het uitvoeren van gegevenspijplijnen mogelijk in werkruimten. U kunt nu pijplijnen aanroepen vanuit andere werkruimten waartoe u toegang hebt om uit te voeren. Dit maakt zeer interessante gegevenswerkstroompatronen mogelijk die gebruik kunnen maken van samenwerking vanuit uw data engineering- en integratieteams in werkruimten en in functionele teams.
Ondersteuning voor on-premises gegevensgateway (OPDG) toegevoegd aan gegevenspijplijnen
Verzonden (Q3 2024)
Releasetype: Algemene beschikbaarheid
Met deze functie kunnen gegevenspijplijnen fabric-gegevensgateways gebruiken voor toegang tot gegevens die zich on-premises en achter een virtueel netwerk bevinden. Voor gebruikers die zelf-hostende Integration Runtimes (SHIR) gebruiken, kunnen ze overstappen op on-premises gegevensgateways in Fabric.
Taak kopiëren
Verzonden (Q3 2024)
Releasetype: openbare preview
De kopieertaak vereenvoudigt de ervaring voor klanten die gegevens moeten opnemen, zonder dat ze een gegevensstroom of gegevenspijplijn hoeven te maken. Copy Job ondersteunt volledige en incrementele kopie van gegevensbronnen naar alle gegevensbestemmingen. Meld u nu aan voor private preview.
Spiegelen voor Snowflake
Verzonden (Q3 2024)
Releasetype: Algemene beschikbaarheid
Spiegeling biedt een naadloze no-ETL-ervaring om uw bestaande Snowflake-gegevens te integreren met de rest van uw gegevens in Microsoft Fabric. U kunt uw Snowflake-gegevens in bijna realtime continu repliceren naar Fabric OneLake, zonder dat dit van invloed is op de prestaties van uw transactionele workloads.
Verbeterde e-mailmeldingen voor vernieuwingsfouten
Verzonden (Q3 2024)
Releasetype: openbare preview
Met e-mailmeldingen kunnen makers van Dataflow Gen2 de resultaten (geslaagd/mislukt) van de vernieuwingsbewerking van een gegevensstroom bewaken.
Ondersteuning voor snelle kopieerbewerkingen in Dataflow Gen2
Verzonden (Q3 2024)
Releasetype: Algemene beschikbaarheid
We voegen ondersteuning toe voor grootschalige gegevensopname rechtstreeks in de ervaring Dataflow Gen2, waarbij gebruik wordt gemaakt van de mogelijkheid van kopieeractiviteit voor pijplijnen. Deze verbetering schaalt de gegevensverwerkingscapaciteit van Dataflow Gen2 aanzienlijk op en biedt mogelijkheden voor ELT (Extract-Load-Transform).
Ondersteuning voor incrementeel vernieuwen in Dataflow Gen2
Verzonden (Q3 2024)
Releasetype: openbare preview
We voegen ondersteuning voor incrementeel vernieuwen toe in Dataflow Gen2. Met deze functie kunt u incrementeel gegevens uit gegevensbronnen extraheren, Power Query-transformaties toepassen en laden in verschillende uitvoerbestemmingen.
Identiteitsbeheer van gegevensbron (beheerde identiteit)
Verzonden (Q3 2024)
Releasetype: openbare preview
Hierdoor kan een beheerde identiteit worden geconfigureerd op werkruimteniveau. U kunt de beheerde Fabric-identiteiten gebruiken om veilig verbinding te maken met uw gegevensbron.
Ondersteuning voor gegevenspijplijnen voor Azure Databricks-taken
Verzonden (Q3 2024)
Releasetype: openbare preview
We werken de Data Factory-gegevenspijplijnen van Azure Databricks-activiteiten bij om nu de meest recente taken-API te gebruiken, waardoor interessante werkstroommogelijkheden mogelijk zijn, zoals het uitvoeren van DLT-taken.
Copilot voor Data Factory (gegevensstroom)
Verzonden (Q3 2024)
Releasetype: Algemene beschikbaarheid
Copilot voor Data Factory (Dataflow) stelt klanten in staat hun vereisten uit te drukken met behulp van natuurlijke taal bij het maken van oplossingen voor gegevensintegratie met Dataflows Gen2.
Ondersteuning voor gegevenspijplijnen voor SparkJobDefinition
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
U kunt nu uw Spark-code, inclusief JAR-bestanden, rechtstreeks vanuit een pijplijnactiviteit uitvoeren. Wijs uw Spark-code aan en de pijplijn voert de taak uit op uw Spark-cluster in Fabric. Deze nieuwe activiteit maakt interessante gegevenswerkstroompatronen mogelijk die gebruikmaken van de kracht van de Spark-engine van Fabric, terwijl de data factory-controlestroom en de mogelijkheden voor gegevensstromen in dezelfde pijplijn als uw Spark-taken worden opgenomen.
Ondersteuning voor gegevenspijplijnen voor gebeurtenisgestuurde triggers
Verzonden (Q2 2024)
Releasetype: openbare preview
Een veelvoorkomend gebruiksvoorbeeld voor het aanroepen van Data Factory-gegevenspijplijnen is het activeren van de pijplijn bij bestandsevenementen zoals het ophalen van bestanden en het verwijderen van bestanden. Voor klanten die afkomstig zijn van ADF of Synapse naar Fabric, is het gebruik van ADLS/Blog-opslag gebeurtenissen zeer gebruikelijk als een manier om te signaleren voor een nieuwe pijplijnuitvoering of om de namen van de gemaakte bestanden vast te leggen. Triggers in Fabric Data Factory maken gebruik van infrastructuurplatformmogelijkheden, waaronder EventStreams en Reflex-triggers. In het ontwerpcanvas van de Fabric Data Factory-pijplijn hebt u een triggerknop waarop u kunt drukken om een Reflex-trigger voor uw pijplijn te maken of kunt u de trigger rechtstreeks vanuit de Data Activator-ervaring maken.
Standaardinstellingen voor fasering voor uitvoerbestemming voor Gegevensstroom Gen 2
Verzonden (Q2 2024)
Releasetype: openbare preview
Gegevensstroom Gen2 biedt mogelijkheden voor het opnemen van gegevens uit een breed scala aan gegevensbronnen in de Fabric OneLake. Bij het faseren van deze gegevens kan deze worden getransformeerd op grote schaal met behulp van de Gen2-engine voor grootschalige gegevensstromen (op basis van Fabric Lakehouse/Warehouse SQL Compute).
Het standaardgedrag voor Gegevensstromen Gen2 is het fasen van gegevens in OneLake om grootschalige gegevenstransformaties mogelijk te maken. Hoewel dit handig is voor grootschalige scenario's, werkt dit niet zo goed voor scenario's waarbij kleine hoeveelheden gegevens worden opgenomen, gezien het feit dat er een extra hop (fasering) voor gegevens wordt geïntroduceerd voordat deze uiteindelijk in de uitvoerbestemming van de gegevensstroom worden geladen.
Met de geplande verbeteringen wordt het standaardgedrag voor fasering afgesteld dat moet worden uitgeschakeld, voor query's met een uitvoerbestemming waarvoor geen fasering is vereist (namelijk Fabric Lakehouse en Azure SQL Database).
Faseringsgedrag kan handmatig per query worden geconfigureerd via het deelvenster Queryinstellingen of het contextmenu van de query in het deelvenster Query's.
Ondersteuning voor gegevenspijplijnen voor Azure HDInsight
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
HDInsight is de Azure PaaS-service voor Hadoop waarmee ontwikkelaars zeer krachtige big data-oplossingen in de cloud kunnen bouwen. Met de nieuwe HDI-pijplijnactiviteit kunnen HDInsights-taakactiviteiten binnen uw Data Factory-gegevenspijplijnen worden ingeschakeld die vergelijkbaar zijn met de bestaande funcationality die u jarenlang hebt gebruikt in ADF- en Synapse-pijplijnen. We hebben deze mogelijkheid nu rechtstreeks in Fabric-gegevenspijplijnen gebracht.
Nieuwe connectors voor kopieeractiviteit
Verzonden (Q2 2024)
Releasetype: openbare preview
Er worden nieuwe connectors toegevoegd voor Copy-activiteit om klanten in staat te stellen gegevens op te nemen uit de volgende bronnen, terwijl ze gebruikmaken van gegevenspijplijn: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Apache Airflow-taak: gegevenspijplijnen bouwen die worden mogelijk gemaakt door Apache Airflow
Verzonden (Q2 2024)
Releasetype: openbare preview
Apache Airflow-taak (eerder gegevenswerkstromen genoemd) worden mogelijk gemaakt door Apache Airflow en bieden een geïntegreerde Apache Airflow-runtimeomgeving, zodat u python-DAG's eenvoudig kunt ontwerpen, uitvoeren en plannen.
Identiteitsbeheer van gegevensbron (SPN)
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
Service-principal: voor toegang tot resources die worden beveiligd door een Azure AD-tenant, moet de entiteit waarvoor toegang is vereist, worden vertegenwoordigd door een beveiligingsprincipaal. U kunt verbinding maken met uw gegevensbronnen met de service-principal.
Git-integratie van Data Factory voor gegevenspijplijnen
Verzonden (Q1 2024)
Releasetype: openbare preview
U kunt verbinding maken met uw Git-opslagplaats om gegevenspijplijnen op een gezamenlijke manier te ontwikkelen. De integratie van gegevenspijplijnen met de alm-mogelijkheid (Application Lifecycle Management) van het Fabric-platform maakt versiebeheer, vertakking, doorvoeringen en pull-aanvragen mogelijk.
Verbeteringen aan uitvoerbestemmingen in Dataflow Gen2 (queryschema)
Verzonden (Q1 2024)
Releasetype: openbare preview
We verbeteren de uitvoerbestemmingen in Dataflow Gen2 met de volgende zeer aangevraagde mogelijkheden:
- Mogelijkheid om wijzigingen in queryschema's af te handelen na het configureren van een uitvoerbestemming.
- Standaardbestemmingsinstellingen om het maken van gegevensstromen te versnellen.
Zie Gegevensstroom Gen2-gegevensbestemmingen en beheerde instellingen voor meer informatie
Verbeteringen in de gegevenservaring ophalen (door Azure-resources bladeren)
Verzonden (Q1 2024)
Releasetype: openbare preview
Bladeren door Azure-resources biedt naadloze navigatie om door Azure-resources te bladeren. U kunt eenvoudig door uw Azure-abonnementen navigeren en verbinding maken met uw gegevensbronnen via een intuïtieve gebruikersinterface. Hiermee kunt u snel de gewenste gegevens vinden en er verbinding mee maken.
Ondersteuning voor on-premises gegevensgateway (OPDG) toegevoegd aan gegevenspijplijnen
Verzonden (Q1 2024)
Releasetype: openbare preview
Met deze functie kunnen gegevenspijplijnen fabric-gegevensgateways gebruiken voor toegang tot gegevens die zich on-premises en achter een virtueel netwerk bevinden. Voor gebruikers die zelf-hostende Integration Runtimes (SHIR) gebruiken, kunnen ze overstappen op on-premises gegevensgateways in Fabric.
Ondersteuning voor snelle kopieerbewerkingen in Dataflow Gen2
Verzonden (Q1 2024)
Releasetype: openbare preview
We voegen ondersteuning toe voor grootschalige gegevensopname rechtstreeks in de ervaring Dataflow Gen2, waarbij gebruik wordt gemaakt van de mogelijkheid van kopieeractiviteit voor pijplijnen. Dit ondersteunt bronnen zoals Azure SQL-databases, CSV- en Parquet-bestanden in Azure Data Lake Storage en Blob Storage.
Deze verbetering schaalt de gegevensverwerkingscapaciteit van Dataflow Gen2 aanzienlijk op en biedt mogelijkheden voor ELT (Extract-Load-Transform).
Ondersteuning voor vernieuwen annuleren in Dataflow Gen2
Verzonden (Q4 2023)
Releasetype: openbare preview
We voegen ondersteuning toe om doorlopende vernieuwingen van Dataflow Gen2 te annuleren vanuit de weergave werkruimte-items.