Data Factory-scenario från slutpunkt till slutpunkt: introduktion och arkitektur
Den här självstudien hjälper dig att påskynda utvärderingsprocessen för Data Factory i Microsoft Fabric genom att tillhandahålla en stegvis vägledning för ett fullständigt dataintegreringsscenario inom en timme. I slutet av den här självstudien förstår du värdet och de viktigaste funktionerna i Data Factory och vet hur du slutför ett vanligt scenario för dataintegrering från slutpunkt till slutpunkt.
Viktigt
Microsoft Fabric är för närvarande i förhandsversion. Den här informationen gäller en förhandsversionsprodukt som kan ändras avsevärt innan den släpps. Microsoft lämnar inga garantier, uttryckta eller underförstådda, med avseende på den information som tillhandahålls här. Se Azure Data Factory dokumentation för tjänsten i Azure.
Översikt: Varför Data Factory i Microsoft Fabric?
Det här avsnittet hjälper dig att förstå infrastrukturresursens roll i allmänhet och vilken roll Data Factory spelar i den.
Förstå värdet för Microsoft Fabric
Microsoft Fabric tillhandahåller en enda kontaktpunkt för alla analytiska behov för varje företag. Den omfattar ett komplett spektrum av tjänster, inklusive dataflytt, datasjö, datateknik, dataintegrering och datavetenskap, realtidsanalys och Business Intelligence. Med Fabric behöver du inte koppla ihop olika tjänster från flera leverantörer. I stället får användarna en heltäckande, mycket integrerad, enkel och omfattande produkt som är lätt att förstå, publicera, skapa och använda.
Förstå värdet för Data Factory i Microsoft Fabric
Data Factory i Fabric kombinerar enkel användning av Power Query med skalan och kraften hos Azure Data Factory. Det för samman det bästa av båda produkterna till en enhetlig upplevelse. Målet är att se till att Dataintegration i Factory fungerar bra för både medborgare och professionella datautvecklare. Den tillhandahåller ai-aktiverade funktioner för förberedelse och transformering av data med låg kod, transformering i petabyteskala, hundratals anslutningsappar med hybridanslutningar och anslutningar till flera moln. Purview tillhandahåller styrning och tjänstfunktionerna data/op-åtaganden i företagsskala, CI/CD, programlivscykelhantering och övervakning.
Introduktion – Förstå tre viktiga komponenter i Data Factory
- Datainmatning: Med aktiviteten Kopiera i pipelines kan du flytta petabyteskalade data från hundratals datakällor till data Lakehouse för vidare bearbetning.
- Datatransformering och förberedelse: Dataflöden gen2 ger ett lågkodsgränssnitt för att transformera dina data med över 300 datatransformeringar, med möjlighet att läsa in de omvandlade resultaten till flera mål, till exempel Azure SQL databaser, Lakehouse med mera.
- Automatisering av integreringsflöden från slutpunkt till slutpunkt: Pipelines tillhandahåller orkestrering av aktiviteter som kopiera, dataflöde och notebook-aktiviteter med mera. På så sätt kan du hantera aktiviteter på ett och samma ställe. Aktiviteter i en pipeline kan sammanlänkas för att fungera sekventiellt, eller så kan de köras parallellt.
I det här användningsfallet för dataintegrering från slutpunkt till slutpunkt får du lära dig:
- Mata in data med hjälp av en kopieringsaktivitet i en pipeline
- Transformera data med hjälp av ett dataflöde, antingen utan kod, eller genom att skriva din egen kod för att bearbeta data med en skript- eller notebook-aktivitet
- Så här automatiserar du hela dataintegreringsflödet från slutpunkt till slutpunkt med hjälp av en pipeline med utlösare och flexibla kontrollflödesaktiviteter.
Arkitektur
Under de kommande 50 minuterna får du uppgiften att slutföra ett dataintegreringsscenario från slutpunkt till slutpunkt. Detta inkluderar att mata in rådata från ett källlager i bronstabellen i ett Lakehouse, bearbeta alla data, flytta dem till data lakehouse-tabellen Guld, skicka ett e-postmeddelande för att meddela dig när alla jobb har slutförts och slutligen konfigurera hela flödet så att det körs enligt ett schema.
Scenariot är indelat i tre moduler:
- Modul 1: Skapa en pipeline med Data Factory för att mata in rådata från en Blob Storage till en bronstabell i ett data lakehouse.
- Modul 2: Transformera data med ett dataflöde i Data Factory för att bearbeta rådata från bronstabellen och flytta dem till en guldtabell i data Lakehouse.
- Modul 3: Slutför din första dataintegreringsresa för att skicka ett e-postmeddelande för att meddela dig när alla jobb är klara och slutligen konfigurera hela flödet så att det körs enligt ett schema.
Du använder exempeldatauppsättningen NYC-Taxi som datakälla för självstudien. När du är klar kan du få insikter om dagliga rabatter på taxipriser under en viss tidsperiod med datafabriken i Microsoft Fabric.
Nästa steg
I den här introduktionen till vår självstudie från slutpunkt till slutpunkt för din första dataintegrering med Data Factory i Microsoft Fabric lärde du dig:
- Värdet och rollen för Microsoft Fabric
- Värdet och rollen för Data Factory i Infrastrukturresurser
- Viktiga komponenter i Data Factory
- Det här lär du dig i den här självstudien
Fortsätt till nästa avsnitt nu för att skapa din datapipeline.