Gegevens opnemen in uw warehouse met behulp van gegevenspijplijnen

Artikel
04/24/2024

Van toepassing op: Warehouse in Microsoft Fabric

Gegevenspijplijnen bieden een alternatief voor het gebruik van de opdracht COPY via een grafische gebruikersinterface. Een gegevenspijplijn is een logische groepering van activiteiten die samen een gegevensopnametaak uitvoeren. Met pijplijnen kunt u ETL-activiteiten (extract, transform and load) beheren in plaats van elk afzonderlijk te beheren.

In deze zelfstudie maakt u een nieuwe pijplijn waarmee voorbeeldgegevens in een magazijn in Microsoft Fabric worden geladen.

Notitie

Sommige functies van Azure Data Factory zijn niet beschikbaar in Microsoft Fabric, maar de concepten zijn uitwisselbaar. Meer informatie over Azure Data Factory en pijplijnen in pijplijnen en activiteiten in Azure Data Factory en Azure Synapse Analytics. Ga voor een quickstart naar Quickstart: Uw eerste pijplijn maken om gegevens te kopiëren.

Een gegevenspijplijn maken

Als u een nieuwe pijplijn wilt maken, gaat u naar uw werkruimte, selecteert u de knop +Nieuw en selecteert u Gegevenspijplijn.
Geef in het dialoogvenster Nieuwe pijplijn een naam op voor de nieuwe pijplijn en selecteer Maken.
U komt terecht in het canvasgebied van de pijplijn, waar u drie opties ziet om aan de slag te gaan: Een pijplijnactiviteit toevoegen, gegevens kopiëren en een taak kiezen die u wilt starten.

Elk van deze opties biedt verschillende alternatieven voor het maken van een pijplijn:
- Pijplijnactiviteit toevoegen: met deze optie wordt de pijplijneditor gestart, waar u nieuwe pijplijnen helemaal zelf kunt maken met behulp van pijplijnactiviteiten.
- Gegevens kopiëren: met deze optie wordt een stapsgewijze assistent gestart waarmee u een gegevensbron, een bestemming en opties voor het laden van gegevens, zoals de kolomtoewijzingen, kunt selecteren. Na voltooiing wordt er een nieuwe pijplijnactiviteit gemaakt met een kopieergegevenstaak die al voor u is geconfigureerd.
- Kies een taak die u wilt starten: met deze optie wordt een set vooraf gedefinieerde sjablonen gestart om u te helpen aan de slag te gaan met pijplijnen op basis van verschillende scenario's.
Kies de optie Gegevens kopiëren om de assistent Kopiëren te starten.
Op de eerste pagina van de assistent Gegevens kopiëren kunt u uw eigen gegevens uit verschillende gegevensbronnen kiezen of een van de opgegeven voorbeelden selecteren om aan de slag te gaan. Voor deze zelfstudie gebruiken we het COVID-19 Data Lake-voorbeeld . Selecteer deze optie en selecteer Volgende.
Op de volgende pagina kunt u een gegevensset, de bronbestandsindeling selecteren en een voorbeeld van de geselecteerde gegevensset bekijken. Selecteer Bing COVID-19, de CSV-indeling en selecteer Volgende.
Op de volgende pagina, Gegevensbestemmingen, kunt u het type van de doelwerkruimte configureren. We laden gegevens in een magazijn in onze werkruimte, dus selecteer het tabblad Magazijn en de optie Datawarehouse . Selecteer Volgende.
Nu is het tijd om het magazijn te kiezen om gegevens in te laden. Selecteer uw gewenste magazijn in de vervolgkeuzelijst en selecteer Volgende.
De laatste stap voor het configureren van de bestemming is het opgeven van een naam voor de doeltabel en het configureren van de kolomtoewijzingen. Hier kunt u ervoor kiezen om de gegevens in een nieuwe tabel of in een bestaande tabel te laden, een schema- en tabelnamen op te geven, kolomnamen te wijzigen, kolommen te verwijderen of de toewijzingen te wijzigen. U kunt de standaardinstellingen accepteren of de instellingen aanpassen aan uw voorkeur.

Wanneer u klaar bent met het controleren van de opties, selecteert u Volgende.
Op de volgende pagina kunt u fasering gebruiken of geavanceerde opties opgeven voor de bewerking voor het kopiëren van gegevens (die gebruikmaakt van de T-SQL COPY-opdracht). Controleer de opties zonder deze te wijzigen en selecteer Volgende.
De laatste pagina in de assistent biedt een overzicht van de kopieeractiviteit. Selecteer de optie Gegevensoverdracht direct starten en selecteer Opslaan en uitvoeren.
U wordt omgeleid naar het canvasgebied van de pijplijn, waar al een nieuwe kopieergegevensactiviteit voor u is geconfigureerd. De pijplijn wordt automatisch uitgevoerd. U kunt de status van uw pijplijn controleren in het deelvenster Uitvoer :
Na een paar seconden is uw pijplijn voltooid. Als u terug naar uw magazijn navigeert, kunt u uw tabel selecteren om een voorbeeld van de gegevens te bekijken en te bevestigen dat de kopieerbewerking is voltooid.