Gegevens opnemen in Azure Data Lake Storage Gen2

  • Artikel

In dit artikel leert u hoe u gegevens van de ene locatie naar de andere opneemt in een Azure Data Lake Gen 2-opslagaccount (Azure Data Lake Gen 2) met behulp van Azure Synapse Analytics.

Vereisten

  • Azure-abonnement: als u geen Azure-abonnement hebt, maakt u een gratis Azure-account voordat u begint.
  • Azure Storage-account: u gebruikt Azure Data Lake Gen 2 als brongegevensarchief . Als u geen opslagaccount hebt, raadpleegt u Een Azure Storage-account maken voor de stappen om er een te maken.

Gekoppelde services maken

In Azure Synapse Analytics definieert u de verbindingsgegevens voor andere services in een gekoppelde service. In deze sectie voegt u Azure Synapse Analytics en Azure Data Lake Gen 2 toe als gekoppelde services.

  1. Open de Azure Synapse Analytics UX en ga naar het tabblad Beheren.
  2. Selecteer onder Externe verbindingen de optie Gekoppelde services.
  3. Selecteer Nieuw om een gekoppelde service toe te voegen.
  4. Selecteer de tegel Azure Data Lake Storage Gen2 in de lijst en selecteer Doorgaan.
  5. Voer uw verificatiereferenties in. Accountsleutel, service-principal en beheerde identiteit zijn momenteel ondersteunde verificatietypen. Selecteer Verbinding testen om te controleren of uw referenties juist zijn.
  6. Selecteer Maken nadat dit is voltooid.

Pijplijn maken

Een pijplijn bevat de logische stroom voor het uitvoeren van een reeks activiteiten. In deze sectie maakt u een pijplijn met een kopieeractiviteit waarmee gegevens uit Azure Data Lake Gen 2 worden opgenomen in een toegewezen SQL-pool.

  1. Ga naar het tabblad Organiseren . Selecteer het pluspictogram naast de header pijplijnen en selecteer Pijplijn.
  2. Sleep onder Verplaatsen en transformeren in het deelvenster Activiteiten gegevens kopiëren naar het pijplijncanvas.
  3. Selecteer de kopieeractiviteit en ga naar het tabblad Bron . Selecteer Nieuw om een nieuwe brongegevensset te maken.
  4. Selecteer Azure Data Lake Storage Gen2 als uw gegevensarchief en selecteer Doorgaan.
  5. Selecteer DelimitedText als uw indeling en selecteer Doorgaan.
  6. Selecteer in het deelvenster met seteigenschappen de gekoppelde ADLS-service die u hebt gemaakt. Geef het bestandspad van de brongegevens op en geef op of de eerste rij een koptekst heeft. U kunt het schema importeren uit het bestandsarchief of een voorbeeldbestand. Als u klaar bent, klikt u op OK.
  7. Ga naar het tabblad Sink . Selecteer Nieuw om een nieuwe sinkgegevensset te maken.
  8. Selecteer Azure Data Lake Storage gen2 als uw gegevensarchief en selecteer Doorgaan.
  9. Selecteer DelimitedText als uw indeling en selecteer Doorgaan.
  10. Selecteer in het deelvenster met seteigenschappen de gekoppelde ADLS-service die u hebt gemaakt. Geef het pad op van de map waarin u gegevens wilt schrijven. Als u klaar bent, klikt u op OK.

Fouten in pijplijn opsporen en publiceren

Wanneer u klaar bent met het configureren van de pijplijn, kunt u deze uitvoeren om fouten op te sporten voordat u uw artefacten publiceert en te controleren of alles klopt.

  1. Selecteer Fouten opsporen om fouten op te sporen in de pijplijn. De status van de pijplijnuitvoering wordt weergegeven op het tabblad Uitvoer onder in het venster.
  2. Zodra de pijplijn kan worden uitgevoerd, selecteert u alles publiceren in de bovenste werkbalk. Met deze actie publiceert u entiteiten (gegevenssets en pijplijnen) die u hebt gemaakt in de Synapse Analytics-service.
  3. Wacht tot u het bericht Gepubliceerd ziet. Als u meldingen wilt bekijken, selecteert u de knop met de bel in de rechterbovenhoek.

De pijplijn activeren en controleren

In deze stap activeert u handmatig de pijplijn die in de vorige stap is gepubliceerd.

  1. Selecteer op de werkbalk de optie Trigger toevoegen en selecteer vervolgens Nu activeren. Selecteer op de pagina Pijplijnuitvoeringde optie Voltooien.
  2. Ga naar het tabblad Controle in de zijbalk aan de linkerkant. U ziet een pijplijn die wordt geactiveerd door een handmatige trigger. U kunt via de links in de kolom Acties details van de activiteiten bekijken en de pijplijn opnieuw uitvoeren.
  3. Selecteer de link Uitvoeringen van activiteit weergeven in de kolom Acties om de activiteituitvoeringen te zien die zijn gekoppeld aan de pijplijnuitvoering. Omdat er in dit voorbeeld slechts één activiteit is, ziet u slechts één vermelding in de lijst. Selecteer de link Details (pictogram van een bril) in de kolom Acties om details over de kopieerbewerking te zien. Selecteer Pijplijnuitvoeringen bovenaan om terug te gaan naar de weergave Pijplijnuitvoeringen. Selecteer Vernieuwen om de weergave te vernieuwen.
  4. Controleer of uw gegevens correct zijn geschreven in de toegewezen SQL-pool.

Volgende stappen

Zie het artikel Gegevens opnemen in een toegewezen SQL-pool voor meer informatie over gegevensintegratie voor Azure Synapse Analytics.