Data Factory-scenario från slutpunkt till slutpunkt: introduktion och arkitektur

Den här självstudien hjälper dig att påskynda utvärderingsprocessen för Data Factory i Microsoft Fabric genom att tillhandahålla en stegvis vägledning för ett fullständigt dataintegreringsscenario inom en timme. I slutet av den här självstudien förstår du värdet och de viktigaste funktionerna i Data Factory och vet hur du slutför ett vanligt dataintegreringsscenario från slutpunkt till slutpunkt.

Översikt: Varför Data Factory i Microsoft Fabric?

Det här avsnittet hjälper dig att förstå rollen för Infrastrukturresurser i allmänhet och vilken roll Data Factory spelar i det.

Förstå värdet för Microsoft Fabric

Microsoft Fabric tillhandahåller en enda kontaktpunkt för alla analytiska behov för varje företag. Den omfattar ett komplett spektrum av tjänster, inklusive dataflytt, datasjö, datateknik, dataintegrering och datavetenskap, realtidsanalys och business intelligence. Med Fabric behöver du inte sy ihop olika tjänster från flera leverantörer. I stället får användarna en heltäckande, mycket integrerad, enkel och omfattande produkt som är lätt att förstå, registrera, skapa och använda.

Förstå värdet för Data Factory i Microsoft Fabric

Data Factory i Fabric kombinerar enkel användning av Power Query med skalning och kraft i Azure Data Factory. Det för samman det bästa av båda produkterna till en enhetlig upplevelse. Målet är att se till att Dataintegration i Factory fungerar bra för både medborgare och professionella datautvecklare. Det ger lågkod, AI-aktiverad dataförberedelse och transformeringsupplevelser, petabyte-skalningstransformering, hundratals anslutningsappar med hybridanslutningar och multimolnanslutningar. Purview tillhandahåller styrning och tjänstfunktionerna för data/op-åtaganden i företagsskala, CI/CD, programlivscykelhantering och övervakning.

Introduktion – Förstå tre viktiga funktioner i Data Factory

• Datainmatning: Med aktiviteten Kopiera i pipelines kan du flytta petabyteskalade data från hundratals datakällor till data Lakehouse för vidare bearbetning.
• Datatransformering och förberedelse: Dataflöde Gen2 tillhandahåller ett lågkodsgränssnitt för att transformera dina data med över 300 datatransformeringar, med möjlighet att läsa in de omvandlade resultaten till flera mål, till exempel Azure SQL-databaser, Lakehouse med mera.
• Automatisering av integreringsflöde från slutpunkt till slutpunkt: Pipelines tillhandahåller orkestrering av aktiviteter som kopiera , dataflöde och notebook-aktiviteter med mera. På så sätt kan du hantera aktiviteter på ett och samma ställe. Aktiviteter i en pipeline kan kopplas samman för att fungera sekventiellt, eller så kan de fungera separat parallellt.

I det här användningsfallet för dataintegrering från slutpunkt till slutpunkt får du lära dig:

• Mata in data med hjälp av kopieringsassistenten i en pipeline
• Så här transformerar du data med ett dataflöde antingen utan kod eller genom att skriva din egen kod för att bearbeta data med en skript- eller notebook-aktivitet
• Automatisera hela dataintegreringsflödet från slutpunkt till slutpunkt med hjälp av en pipeline med utlösare och flexibla kontrollflödesaktiviteter.

Arkitektur

Under de kommande 50 minuterna får du i uppgift att slutföra ett dataintegreringsscenario från slutpunkt till slutpunkt. Detta inkluderar att mata in rådata från ett källlager i tabellen Bronze i en Lakehouse, bearbeta alla data, flytta dem till Gold-tabellen i data Lakehouse, skicka ett e-postmeddelande för att meddela dig när alla jobb har slutförts och slutligen konfigurera hela flödet så att det körs enligt schema.

Scenariot är indelat i tre moduler:

• Modul 1: Skapa en pipeline med Data Factory för att mata in rådata från en Blob Storage till en Brons-tabell i ett data lakehouse.
• Modul 2: Transformera data med ett dataflöde i Data Factory för att bearbeta rådata från bronstabellen och flytta dem till en Gold-tabell i data Lakehouse.
• Modul 3: Slutför din första dataintegreringsresa för att skicka ett e-postmeddelande för att meddela dig när alla jobb är klara och slutligen konfigurera hela flödet så att det körs enligt ett schema.

Du använder exempeldatauppsättningen NYC-Taxi som datakälla för självstudien. När du är klar kan du få insikter om dagliga rabatter på taxipriser under en viss tidsperiod med datafabriken i Microsoft Fabric.

Relaterat innehåll

I den här introduktionen till vår självstudie från slutpunkt till slutpunkt för din första dataintegrering med hjälp av Data Factory i Microsoft Fabric lärde du dig:

• Värdet och rollen för Microsoft Fabric
• Värdet och rollen för Data Factory i Infrastrukturresurser
• Viktiga funktioner i Data Factory
• Vad du kommer att lära dig i den här självstudien

Fortsätt till nästa avsnitt nu för att skapa din datapipeline.

Modul 1: Skapa en pipeline med Data Factory