Ende-til-ende-scenario for Data Factory: innføring og arkitektur

Denne opplæringen hjelper deg med å få fart på evalueringsprosessen for Data Factory i Microsoft Fabric ved å gi en trinnvis veiledning for et fullstendig dataintegreringsscenario innen én time. Ved slutten av denne opplæringen forstår du verdien og nøkkelfunksjonene i Data Factory og vet hvordan du fullfører et felles scenario for dataintegrasjon fra ende til ende.

Oversikt: Hvorfor Data Factory i Microsoft Fabric?

Denne delen hjelper deg med å forstå rollen fabric generelt, og rollen Data Factory spiller i den.

Forstå verdien av Microsoft Fabric

Microsoft Fabric tilbyr en alt-i-ett-butikk for alle analytiske behov for hver bedrift. Den dekker et komplett spekter av tjenester, inkludert databevegelse, datainnsjø, datateknikk, dataintegrasjon og datavitenskap, sanntidsanalyse og forretningsintelligens. Med Fabric er det ikke nødvendig å sy sammen forskjellige tjenester fra flere leverandører. I stedet kan brukerne nyte et ende-til-ende, svært integrert, enkelt og omfattende produkt som er enkelt å forstå, om bord, opprette og drifte.

Forstå verdien av Data Factory i Microsoft Fabric

Data Factory in Fabric kombinerer brukervennligheten til Power Query med skalaen og kraften til Azure Data Factory. Det bringer det beste fra begge produktene sammen til en enhetlig opplevelse. Målet er å sikre at dataintegrering i Factory fungerer bra for både borgere og profesjonelle datautviklere. Det gir lavkodede, AI-aktiverte dataforberedelses- og transformasjonsopplevelser, petabyte-skalatransformasjon, hundrevis av koblinger med hybrid, multicloud-tilkobling. Purview tilbyr styring, og tjenestefunksjonene enterprise scale Data/Op-forpliktelser, CI/CD, administrasjon av programlivssyklus og overvåking.

Innføring – Forstå tre viktige funksjoner i Data Factory

• Datainntak: Kopier-aktiviteten i datasamlebånd lar deg flytte petabyte-skaladata fra hundrevis av datakilder til data Lakehouse for videre behandling.
• Datatransformasjon og forberedelse: Dataflyt gen2 gir et grensesnitt med lav kode for å transformere dataene ved hjelp av 300 + datatransformasjoner, med muligheten til å laste inn de transformerte resultatene til flere mål, for eksempel Azure SQL-databaser, Lakehouse og mer.
• Automatisering av integrasjonsflyt fra ende til ende: Rørledninger gir orkestrering av aktiviteter som inkluderer kopierings-, dataflyt- og notatblokkaktiviteter med mer. Dette lar deg administrere aktiviteter på ett sted. Aktiviteter i et datasamlebånd kan kjedes sammen for å operere sekvensielt, eller de kan operere uavhengig parallelt.

I dette ende-til-ende-dataintegreringsbrukstilfellet lærer du:

• Slik inntar du data ved hjelp av kopieringsassistenten i et datasamlebånd
• Slik transformerer du dataene ved hjelp av en dataflyt enten uten kode, eller ved å skrive din egen kode for å behandle dataene med en skript- eller notatblokkaktivitet
• Slik automatiserer du hele ende-til-ende-dataintegreringsflyten ved hjelp av et datasamlebånd med utløsere og fleksible kontrollflytaktiviteter.

Arkitektur

I løpet av de neste 50 minuttene får du i oppgave å fullføre et ende-til-ende-dataintegreringsscenario. Dette inkluderer inntak av rådata fra en kildelager til bronsetabellen i et Lakehouse, behandling av alle dataene, flytting til Gold-tabellen i data Lakehouse, sende en e-post for å varsle deg når alle jobbene er fullført, og til slutt konfigurere hele flyten til å kjøre på en planlagt basis.

Scenarioet er delt inn i tre moduler:

• Modul 1: Opprett et datasamlebånd med Data Factory for å innta rådata fra en Blob-lagring til en bronsetabell i et data lakehouse.
• Modul 2: Transformer data med en dataflyt i Data Factory for å behandle rådataene fra bronsetabellen og flytte dem til en Gold-tabell i data Lakehouse.
• Modul 3: Fullfør den første dataintegreringsreisen for å sende en e-postmelding for å varsle deg når alle jobbene er fullført, og til slutt konfigurerer du hele flyten for å kjøre på planlagt basis.

Du bruker eksempeldatasettet NYC-Taxi som datakilde for opplæringen. Når du er ferdig, kan du få innsikt i daglige rabatter på drosjepriser for en bestemt tidsperiode ved hjelp av Data Factory i Microsoft Fabric.

Relatert innhold

I denne introduksjonen til vår ende-til-ende-opplæring for din første dataintegrering ved hjelp av Data Factory i Microsoft Fabric, lærte du:

• Verdien og rollen til Microsoft Fabric
• Verdien og rollen til Data Factory i Fabric
• Viktige funksjoner i Data Factory
• Hva du vil lære i denne opplæringen

Fortsett til neste del nå for å opprette datasamlebåndet.

Modul 1: Opprette et datasamlebånd med Data Factory