End-to-endscenario van Data Factory: inleiding en architectuur
In deze zelfstudie kunt u het evaluatieproces voor Data Factory in Microsoft Fabric versnellen door binnen één uur stapsgewijze richtlijnen te bieden voor een volledig scenario voor gegevensintegratie. Aan het einde van deze zelfstudie begrijpt u de waarde en de belangrijkste mogelijkheden van Data Factory en weet u hoe u een gemeenschappelijk end-to-end gegevensintegratiescenario kunt voltooien.
Overzicht: Waarom Data Factory in Microsoft Fabric?
In deze sectie krijgt u inzicht in de rol van Fabric in het algemeen en de rol die Data Factory hierin speelt.
Inzicht in de waarde van Microsoft Fabric
Microsoft Fabric biedt een one-stop shop voor alle analytische behoeften voor elke onderneming. Het omvat een compleet scala aan services, waaronder gegevensverplaatsing, data lake, data engineering, gegevensintegratie en gegevenswetenschap, realtime analyses en business intelligence. Met Fabric hoeft u geen verschillende services van meerdere leveranciers samen te voegen. In plaats daarvan genieten uw gebruikers van een end-to-end, zeer geïntegreerd, enkel en uitgebreid product dat gemakkelijk te begrijpen, onboarden, maken en bedienen is.
Inzicht in de waarde van Data Factory in Microsoft Fabric
Data Factory in Fabric combineert het gebruiksgemak van Power Query met de schaal en kracht van Azure Data Factory. Het brengt het beste van beide producten samen in een uniforme ervaring. Het doel is ervoor te zorgen dat Data-Integratie in Factory goed werkt voor zowel burger- als professionele gegevensontwikkelaars. Het biedt eenvoudige, ai-functionaliteit voor gegevensvoorbereiding en transformatie, petabyte-schaaltransformatie, honderden connectors met hybride, multicloudconnectiviteit. Purview biedt governance en de servicefuncties voor gegevens-/op-toezeggingen op ondernemingsniveau, CI/CD, toepassingslevenscyclusbeheer en bewaking.
Inleiding: inzicht krijgen in drie belangrijke functies van Data Factory
- Gegevensopname: met de Copy-activiteit in pijplijnen kunt u petabyte-schaalgegevens van honderden gegevensbronnen naar uw Data Lakehouse verplaatsen voor verdere verwerking.
- Gegevenstransformatie en -voorbereiding: Dataflow Gen2 biedt een interface met weinig code voor het transformeren van uw gegevens met 300+ gegevenstransformaties, met de mogelijkheid om de getransformeerde resultaten te laden in meerdere bestemmingen, zoals Azure SQL-databases, Lakehouse en meer.
- Automatisering van end-to-end integratiestromen: Pijplijnen bieden indeling van activiteiten met kopieer-, gegevensstroom- en notebookactiviteiten en meer. Hiermee kunt u activiteiten op één plek beheren. Activiteiten in een pijplijn kunnen worden gekoppeld om opeenvolgend te werken, of ze kunnen onafhankelijk parallel worden uitgevoerd.
In deze end-to-end use case voor gegevensintegratie leert u het volgende:
- Gegevens opnemen met behulp van de kopieerassistent in een pijplijn
- De gegevens transformeren met behulp van een gegevensstroom met een ervaring zonder code of door uw eigen code te schrijven om de gegevens te verwerken met een script- of notebookactiviteit
- De volledige end-to-end gegevensintegratiestroom automatiseren met behulp van een pijplijn met triggers en flexibele controlestroomactiviteiten.
Architectuur
In de komende 50 minuten moet u een end-to-end scenario voor gegevensintegratie voltooien. Dit omvat het opnemen van onbewerkte gegevens uit een bronarchief in de bronzen tabel van een Lakehouse, het verwerken van alle gegevens, het verplaatsen naar de Gold-tabel van de data Lakehouse, het verzenden van een e-mail om u te informeren zodra alle taken zijn voltooid en ten slotte de hele stroom instellen die op een geplande basis moet worden uitgevoerd.
Het scenario is onderverdeeld in drie modules:
- Module 1: Maak een pijplijn met Data Factory om onbewerkte gegevens op te nemen van een Blob-opslag naar een bronzen tabel in een data Lakehouse.
- Module 2: Gegevens transformeren met een gegevensstroom in Data Factory om de onbewerkte gegevens uit uw bronzen tabel te verwerken en naar een Gold-tabel in data Lakehouse te verplaatsen.
- Module 3: Voltooi uw eerste gegevensintegratietraject om een e-mailbericht te verzenden om u op de hoogte te stellen zodra alle taken zijn voltooid en stel ten slotte de volledige stroom in die op geplande basis moet worden uitgevoerd.
U gebruikt de voorbeeldgegevensset NYC-Taxi als de gegevensbron voor de zelfstudie. Nadat u klaar bent, kunt u inzicht krijgen in dagelijkse kortingen op taxitarieven voor een specifieke periode met behulp van Data Factory in Microsoft Fabric.
Gerelateerde inhoud
In deze inleiding tot onze end-to-end-zelfstudie voor uw eerste gegevensintegratie met behulp van Data Factory in Microsoft Fabric hebt u het volgende geleerd:
- De waarde en rol van Microsoft Fabric
- De waarde en rol van Data Factory in Fabric
- Belangrijke functies van Data Factory
- Wat u in deze zelfstudie leert
Ga nu door naar de volgende sectie om uw gegevenspijplijn te maken.