Nyheter och planer för Data Factory i Microsoft Fabric
Viktigt!
I lanseringsplanerna beskrivs funktioner som kanske eller kanske inte har släppts ännu. Leveranstidslinjen och den planerade funktionen kan ändras eller kanske inte skickas. Mer information finns i Microsoft-principen.
Data Factory i Microsoft Fabric kombinerar integrering av medborgardata och pro-dataintegreringsfunktioner till en enda modern dataintegreringsupplevelse. Det ger anslutning till mer än 100 relationsdatabaser och icke-relationella databaser, sjöhus, informationslager, allmänna gränssnitt som REST-API:er, OData med mera.
Dataflöden: Med Dataflöde Gen2 kan du utföra storskaliga datatransformeringar och har stöd för olika utdatamål som skriver till Azure SQL Database, Lakehouse, Data Warehouse med mera. Dataflödesredigeraren erbjuder mer än 300 transformeringar, inklusive AI-baserade alternativ, och gör att du enkelt kan transformera data med bättre flexibilitet än något annat verktyg. Oavsett om du extraherar data från en ostrukturerad datakälla, till exempel en webbsida eller omformar en befintlig tabell i Power Query-redigeraren, kan du enkelt använda Power Querys dataextrahering efter exempel, som använder artificiell intelligens (AI) och förenklar processen.
Datapipelines: Datapipelines erbjuder möjligheten att skapa mångsidiga arbetsflöden för dataorkestrering som sammanför uppgifter som extrahering av data, inläsning i önskade datalager, körning av notebook-filer, KÖRNING av SQL-skript med mera. Du kan snabbt skapa kraftfulla metadatadrivna datapipelines som automatiserar repetitiva uppgifter. Du kan till exempel läsa in och extrahera data från olika tabeller i en databas, iterera genom flera containrar i Azure Blob Storage med mera. Med datapipelines kan du dessutom komma åt data från Microsoft 365 med hjälp av anslutningsprogrammet för Microsoft Graph Data Connection (MGDC).
Mer information finns i dokumentationen.
Investeringsområden
Under de närmaste månaderna kommer Data Factory i Microsoft Fabric att utöka sina anslutningsalternativ och fortsätta att lägga till det omfattande biblioteket med transformeringar och datapipelineaktiviteter. Dessutom kan du utföra datareplikering med höga prestanda i realtid från driftdatabaser och föra dessa data till sjön för analys.
Copilot för Data Factory (Dataflöde)
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Allmän tillgänglighet
Copilot för Data Factory (Dataflow) ger kunderna möjlighet att uttrycka sina krav med naturligt språk när de skapar dataintegreringslösningar med Dataflows Gen2.
Stöd för inkrementell uppdatering i Dataflow Gen2
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
Vi lägger till stöd för inkrementell uppdatering i Dataflow Gen2. Med den här funktionen kan du extrahera data inkrementellt från datakällor, använda Power Query-transformeringar och läsa in dem i olika utdatamål.
Stöd för datapipelines för Azure Databricks-jobb
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
Vi uppdaterar Data Factory-datapipelines Azure Databricks-aktiviteter för att nu använda det senaste jobb-API:et som möjliggör spännande arbetsflödesfunktioner som att köra DLT-jobb.
Stöd för datapipeline för DBT CLI
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
DBT CLI Orchestration (Data Build Tool): Innehåller data build-verktyget (dbt) för arbetsflöden för datatransformering.
Stöd för snabbkopiering i Dataflow Gen2
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Allmän tillgänglighet
Vi lägger till stöd för storskalig datainmatning direkt i Dataflow Gen2-upplevelsen, med hjälp av funktionen kopieringsaktivitet för pipelines. Den här förbättringen skalar avsevärt upp databehandlingskapaciteten för Dataflow Gen2 och tillhandahåller storskaliga ELT-funktioner (Extract-Load-Transform).
Kopiera jobb
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
Kopieringsjobbet förenklar upplevelsen för kunder som behöver mata in data utan att behöva skapa ett dataflöde eller en datapipeline. Kopieringsjobbet stöder fullständig och inkrementell kopiering från alla datakällor till alla datamål.
Identitetshantering för datakälla (hanterad identitet)
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
På så sätt kan hanterad identitet konfigureras på arbetsytenivå. Du kan använda infrastrukturhanterade identiteter för att ansluta till datakällan på ett säkert sätt.
Identitetshantering för datakälla (Azure Key Vault)
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
Stöd för Azure Key Vault – Du kan lagra dina nycklar och hemligheter i Azure Key Vault och ansluta till det. På så sätt kan du hantera dina nycklar på en enda plats.
Copilot för Data Factory (datapipeline)
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
Copilot för Data Factory (datapipeline) ger kunderna möjlighet att skapa datapipelines med naturligt språk och ger felsökningsvägledning.
Förbättrade e-postaviseringar för uppdateringsfel
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
Med e-postaviseringar kan Dataflow Gen2-skapare övervaka resultatet (lyckade/misslyckade) av ett dataflödes uppdateringsåtgärd.
Stöd för att anropa datapipelines för flera arbetsytor
Uppskattad tidslinje för lansering: Q3 2024
Versionstyp: Offentlig förhandsversion
Anropa pipelines-aktivitetsuppdatering: Vi aktiverar några nya och spännande uppdateringar av aktiviteten Anropa pipeline. Som svar på överväldigande kund- och communityförfrågningar aktiverar vi datapipelines som körs på arbetsytor. Nu kan du anropa pipelines från andra arbetsytor som du har åtkomst till att köra. Detta möjliggör mycket spännande dataarbetsflödesmönster som kan använda samarbete från dina datateknik- och integreringsteam på arbetsytor och mellan funktionella team.
Gör det möjligt för kunder att parametrisera sina anslutningar
Uppskattad tidslinje för lansering: Q4 2024
Versionstyp: Offentlig förhandsversion
Anslutningar ger ett gemensamt ramverk för att definiera anslutning och autentisering för dina datalager. Dessa anslutningar kan delas mellan olika objekt. Med stöd för parameterisering kan du skapa komplexa och återanvändbara pipelines, notebook-filer, dataflöden och andra objekttyper.
Levererade funktioner
Nya anslutningsappar för kopieringsaktivitet
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Nya anslutningsappar läggs till för kopieringsaktivitet för att ge kunden möjlighet att mata in från följande källor, samtidigt som datapipelinen används: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX och Google BigQuery.
Dataarbetsflöden: Skapa datapipelines som drivs av Apache Airflow
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Dataarbetsflöden drivs av Apache Airflow och erbjuder en integrerad Apache Airflow-körningsmiljö som gör att du enkelt kan skapa, köra och schemalägga Python-DAG:er.
Stöd för datapipeline för SparkJobDefinition
Levererad (Q2 2024)
Versionstyp: Allmän tillgänglighet
Nu kan du köra Spark-koden, inklusive JAR-filer, direkt från en pipelineaktivitet. Peka bara på Din Spark-kod så kör pipelinen jobbet på ditt Spark-kluster i Fabric. Den här nya aktiviteten möjliggör spännande dataarbetsflödesmönster som utnyttjar kraften i Fabrics Spark-motor samtidigt som datafabrikens kontrollflöde och dataflödesfunktioner ingår i samma pipeline som dina Spark-jobb.
Stöd för datapipelines för Azure HDInsight
Levererad (Q2 2024)
Versionstyp: Allmän tillgänglighet
HDInsight är Azure PaaS-tjänsten för Hadoop som gör det möjligt för utvecklare att skapa mycket kraftfulla stordatalösningar i molnet. Den nya HDI-pipelineaktiviteten aktiverar HDInsights-jobbaktiviteter i dina Data Factory-datapipelines som liknar den befintliga funcationality som du har gjort i flera år i ADF- och Synapse-pipelines. Vi har nu tagit den här funktionen direkt till Infrastrukturdatapipelines.
Stöd för datapipelines för händelsedrivna utlösare
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Ett vanligt användningsfall för att anropa Data Factory-datapipelines är att utlösa pipelinen vid filhändelser som fil ankomst och filborttagning. För kunder som kommer från ADF eller Synapse till Fabric är det mycket vanligt att använda ADLS/Blog Storage-händelser som ett sätt att antingen signalera för en ny pipelinekörning eller att avbilda namnen på de filer som skapats. Utlösare i Fabric Data Factory utnyttjar Infrastrukturplattformsfunktioner, inklusive EventStreams- och Reflex-utlösare. I pipelinedesignarbetsytan för Fabric Data Factory har du en utlösare som du kan trycka på för att skapa en Reflex-utlösare för din pipeline eller så kan du skapa utlösaren direkt från dataaktiveringsfunktionen.
Mellanlagringsstandard för Dataflöde Gen 2-utdatamål
Levererad (Q2 2024)
Versionstyp: Offentlig förhandsversion
Dataflöde Gen2 innehåller funktioner för att mata in data från en mängd olika datakällor till Fabric OneLake. När du mellanlagrar dessa data kan de omvandlas i hög skala med hjälp av Gen2-motorn för storskaliga dataflöden (baserat på Fabric Lakehouse/Warehouse SQL-beräkning).
Standardbeteendet för Dataflows Gen2 är att mellanlagra data i OneLake för att aktivera storskaliga datatransformeringar. Även om detta fungerar bra för storskaliga scenarier fungerar det inte lika bra för scenarier som involverar små mängder data som matas in eftersom det introducerar ett extra hopp (mellanlagring) för data innan det slutligen läses in i dataflödesutdatamålet.
Med de planerade förbättringarna finjusterar vi standardbeteendet för mellanlagring som ska inaktiveras för frågor med ett utdatamål som inte kräver mellanlagring (nämligen Fabric Lakehouse och Azure SQL Database).
Mellanlagringsbeteende kan konfigureras manuellt per fråga via fönstret Frågeinställningar eller frågekontextmenyn i fönstret Frågor.
Datakällans identitetshantering (SPN)
Levererad (Q2 2024)
Versionstyp: Allmän tillgänglighet
Tjänstens huvudnamn – För att få åtkomst till resurser som skyddas av en Azure AD-klientorganisation måste entiteten som kräver åtkomst representeras av ett säkerhetsobjekt. Du kommer att kunna ansluta till dina datakällor med tjänstens huvudnamn.
Hämta förbättringar av dataupplevelsen (Bläddra bland Azure-resurser)
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Genom att bläddra bland Azure-resurser får du sömlös navigering för att bläddra bland Azure-resurser. Du kan enkelt navigera i dina Azure-prenumerationer och ansluta till dina datakällor via ett intuitivt användargränssnitt. Det hjälper dig att snabbt hitta och ansluta till de data du behöver.
Stöd för lokal datagateway (OPDG) har lagts till i datapipelines
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Med den här funktionen kan datapipelines använda Infrastrukturdatagatewayer för att komma åt data som finns lokalt och bakom ett virtuellt nätverk. För användare som använder lokalt installerad integrationskörning (SHIR) kan de gå över till lokala datagatewayer i Infrastrukturresurser.
Stöd för snabbkopiering i Dataflow Gen2
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Vi lägger till stöd för storskalig datainmatning direkt i Dataflow Gen2-upplevelsen, med hjälp av funktionen kopieringsaktivitet för pipelines. Detta stöder källor som Azure SQL Databases, CSV och Parquet-filer i Azure Data Lake Storage och Blob Storage.
Den här förbättringen skalar avsevärt upp databehandlingskapaciteten för Dataflow Gen2 och tillhandahåller storskaliga ELT-funktioner (Extract-Load-Transform).
Data Factory Git-integrering för datapipelines
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Du kan ansluta till din Git-lagringsplats för att utveckla datapipelines på ett samarbetsinriktat sätt. Integreringen av datapipelines med Fabric-plattformens alm-funktion (Application Lifecycle Management) möjliggör versionskontroll, förgrening, incheckningar och pull-begäranden.
Förbättringar av utdatamål i Dataflow Gen2 (frågeschema)
Levererad (Q1 2024)
Versionstyp: Offentlig förhandsversion
Vi förbättrar utdatadestinationerna i Dataflow Gen2 med följande funktioner med hög begäran:
- Möjlighet att hantera ändringar i frågeschemat när du har konfigurerat ett utdatamål.
- Standardmålinställningar för att påskynda skapandet av dataflöden.
Mer information finns i Dataflöde Gen2-datamål och hanterade inställningar
Avbryt uppdateringsstöd i Dataflow Gen2
Levererad (Q4 2023)
Versionstyp: Offentlig förhandsversion
Vi lägger till stöd för att avbryta pågående Dataflow Gen2-uppdateringar från arbetsytans objektvy.