Delen via

Gewijzigde gegevens van Azure Data Lake Storage Gen2 vastleggen in Azure SQL Database met behulp van een gegevensopnameresource voor wijzigingen

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel gebruikt u de Gebruikersinterface van Azure Data Factory om een CDC-resource (Change Data Capture) te maken. De resource haalt gewijzigde gegevens op uit een Azure Data Lake Storage Gen2-bron en voegt deze in realtime toe aan Azure SQL Database.

In dit artikel leert u het volgende:

  • Maak een CDC-resource.
  • CDC-activiteit bewaken.

U kunt het configuratiepatroon in dit artikel wijzigen en uitbreiden.

Vereisten

Voordat u begint met de procedures in dit artikel, moet u ervoor zorgen dat u over deze resources beschikt:

  • Azure-abonnement. Als u geen Azure-abonnement hebt, maakt u een gratis Azure-account.
  • SQL-database. U gebruikt Azure SQL Database als brongegevensarchief. Als u geen SQL-database hebt, maakt u er een in Azure Portal.
  • Opslagaccount. U gebruikt Delta Lake die is opgeslagen in Azure Data Lake Storage Gen2 als doelgegevensarchief. Als u geen opslagaccount hebt, raadpleegt u Een opslagaccount maken voor de stappen om er een te maken.

Een CDC-artefact maken

  1. Ga naar het deelvenster Auteur in uw data factory. Onder Pijplijnen wordt een nieuw artefact op het hoogste niveau met de naam Change Data Capture (preview) weergegeven.

    Schermopname van een nieuw artefact op het hoogste niveau voor het vastleggen van gegevens in het deelvenster Factory-resources.

  2. Beweeg de muisaanwijzer over Change Data Capture (preview) totdat er drie puntjes worden weergegeven. Selecteer vervolgens Acties voor Het vastleggen van gegevens wijzigen (preview).

    Schermopname van de knop voor het vastleggen van wijzigingen in gegevens die worden weergegeven op het nieuwe artefact op het hoogste niveau.

  3. Selecteer Nieuw CDC (preview). Met deze stap opent u een flyout om het begeleide proces te starten.

    Schermopname van een lijst met acties voor het vastleggen van wijzigingen van gegevens.

  4. U wordt gevraagd uw CDC-resource een naam te geven. De naam is standaard 'adfcdc' met een getal dat met 1 wordt verhoogd. U kunt deze standaardnaam vervangen door een naam die u kiest.

    Schermopname van het tekstvak om de naam van een resource bij te werken.

  5. Gebruik de vervolgkeuzelijst om uw gegevensbron te kiezen. Voor dit artikel selecteert u DelimitedText.

    Schermopname van de flyout van het begeleide proces met bronopties in een vervolgkeuzelijst.

  6. U wordt gevraagd om een gekoppelde service te selecteren. Maak een nieuwe gekoppelde service of selecteer een bestaande service.

    Schermopname van het vak om een gekoppelde service te kiezen of te maken.

  7. Gebruik het gebied Broninstellingen om optioneel geavanceerde bronconfiguraties in te stellen, inclusief kolom- en rijscheidingstekens.

    Schermopname van geavanceerde broninstellingen om scheidingstekens in te stellen.

    Als u deze broninstellingen niet handmatig bewerkt, worden ze ingesteld op de standaardinstellingen.

  8. Gebruik de knop Bladeren om uw brongegevensmap te selecteren.

    Schermopname van een mappictogram om naar een mappad te bladeren.

  9. Nadat u een mappad hebt geselecteerd, selecteert u Doorgaan om het gegevensdoel in te stellen.

    Schermopname van de knop Doorgaan in het begeleide proces om gegevensdoelen te selecteren.

    U kunt ervoor kiezen om meerdere bronmappen toe te voegen met behulp van de plusknop (+). De andere bronnen moeten ook dezelfde gekoppelde service gebruiken die u al hebt geselecteerd.

  10. Selecteer een doeltypewaarde met behulp van de vervolgkeuzelijst. Voor dit artikel selecteert u Azure SQL Database.

    Schermopname van een vervolgkeuzelijst met alle gegevensdoeltypen.

  11. U wordt gevraagd om een gekoppelde service te selecteren. Maak een nieuwe gekoppelde service of selecteer een bestaande service.

    Schermopname van het vak om een gekoppelde service te kiezen of te maken voor uw gegevensdoel.

  12. Voor doeltabellen kunt u een nieuwe doeltabel maken of een bestaande tabel selecteren:

    • Als u een doeltabel wilt maken, selecteert u het tabblad Nieuwe entiteiten en selecteert u Nieuwe tabellen bewerken.

      Schermopname van het tabblad om nieuwe tabellen voor uw doel te maken.

    • Als u een bestaande tabel wilt selecteren, selecteert u het tabblad Bestaande entiteiten en gebruikt u vervolgens het selectievakje om een tabel te kiezen. Gebruik de knop Voorbeeld om de tabelgegevens weer te geven.

      Schermopname van het tabblad om tabellen voor uw doel te kiezen.

    Als bestaande tabellen op het doel overeenkomende namen hebben, worden deze standaard geselecteerd onder Bestaande entiteiten. Zo niet, worden nieuwe tabellen met overeenkomende namen gemaakt onder Nieuwe entiteiten. Daarnaast kunt u nieuwe tabellen bewerken met behulp van de knop Nieuwe tabellen bewerken.

  13. U kunt de selectievakjes gebruiken om meerdere doeltabellen uit uw SQL-database te kiezen. Nadat u klaar bent met het kiezen van doeltabellen, selecteert u Doorgaan.

    Schermopname van de knop Doorgaan in het begeleide proces om door te gaan naar de volgende stap.

  14. Er wordt een nieuw tabblad voor het vastleggen van wijzigingsgegevens weergegeven. Dit tabblad is de CDC Studio, waar u uw nieuwe resource kunt configureren.

    Schermopname van de capture studio voor wijzigingsgegevens.

    Er wordt automatisch een nieuwe toewijzing voor u gemaakt. U kunt de selecties van de brontabel en doeltabel voor uw toewijzing bijwerken met behulp van de vervolgkeuzelijsten.

    Schermopname van de bron-naar-doeltoewijzing in de capture studio voor wijzigingsgegevens.

  15. Nadat u de tabellen hebt geselecteerd, worden de bijbehorende kolommen standaard toegewezen met de wisselknop Voor automatisch toewijzen ingeschakeld. Automatisch toewijzen wijst de kolommen automatisch toe op naam in de sink, haalt nieuwe kolomwijzigingen op wanneer het bronschema zich ontwikkelt en verzendt deze informatie naar de ondersteunde sinktypen.

    Als u Automatische toewijzing wilt gebruiken en geen kolomtoewijzingen wilt wijzigen, gaat u rechtstreeks naar stap 18.

    Schermopname van de wisselknop voor automatische toewijzing ingeschakeld.

    Als u de kolomtoewijzingen wilt inschakelen, selecteert u de toewijzingen en schakelt u de wisselknop voor automatisch toewijzen uit. Selecteer vervolgens de knop Kolomtoewijzingen om de toewijzingen weer te geven.

    Schermopname van toewijzingsselectie, de wisselknop voor automatische toewijzing uitgeschakeld en de knop voor kolomtoewijzingen.

    U kunt op elk gewenst moment weer overschakelen naar automatische toewijzing door de wisselknop voor automatisch toewijzen in te schakelen.

  16. Bekijk uw kolomtoewijzingen. Gebruik de vervolgkeuzelijsten om uw kolomtoewijzingen te bewerken voor toewijzingsmethode, bronkolom en doelkolom.

    Schermopname van de pagina voor het bewerken van kolomtoewijzingen.

    Op deze pagina kunt u het volgende doen:

    • Voeg meer kolomtoewijzingen toe met behulp van de knop Nieuwe toewijzing . Gebruik de vervolgkeuzelijsten om selecties te maken voor toewijzingsmethode, bronkolom en doelkolom.
    • Selecteer de kolom Sleutels als u de verwijderbewerking wilt bijhouden voor ondersteunde sinktypen.
    • Selecteer de knop Vernieuwen onder Gegevensvoorbeeld om te visualiseren hoe de gegevens naar het doel kijken.

    Schermopname van de knop voor het toevoegen van kolomtoewijzingen, de vervolgkeuzelijst voor toewijzingsmethoden, de kolom Sleutels en de knop Vernieuwen.

  17. Wanneer de toewijzing is voltooid, selecteert u de pijlknop om terug te keren naar het hoofdcanvas van CDC.

    Schermopname van de knop om terug te gaan naar de pagina tabeltoewijzing.

  18. U kunt meer bron-naar-doeltoewijzingen toevoegen in één CDC-artefact. Gebruik de knop Bewerken om meer gegevensbronnen en doelen toe te voegen. Selecteer vervolgens Nieuwe toewijzing en gebruik de vervolgkeuzelijsten om een nieuwe bron en een nieuw doel in te stellen. U kunt automatisch toewijzen afzonderlijk in- of uitschakelen voor elk van deze toewijzingen.

    Schermopname van de knop om nieuwe bronnen toe te voegen en de knop om een nieuwe bron-naar-doeltoewijzing in te stellen.

  19. Nadat uw toewijzingen zijn voltooid, stelt u de CDC-latentie in met behulp van de knop Latentie instellen.

    Schermopname van de knop Latentie instellen boven aan het canvas.

  20. Selecteer de latentie van uw CDC en selecteer Vervolgens Toepassen om de wijzigingen aan te brengen.

    Latentie is standaard ingesteld op 15 minuten. In het voorbeeld in dit artikel wordt de realtime-optie voor latentie gebruikt. Realtime latentie haalt voortdurend wijzigingen in uw brongegevens op in intervallen van minder dan 1 minuut.

    Voor andere latenties (bijvoorbeeld als u 15 minuten selecteert), worden uw brongegevens verwerkt en worden de gewijzigde gegevens sinds de laatste verwerkte tijd opgehaald.

    Schermopname van de opties voor het instellen van latentie.

    Notitie

    Als ondersteuning wordt uitgebreid naar streaminggegevensintegratie (Azure Event Hubs en Kafka-gegevensbronnen), wordt de latentie standaard ingesteld op realtime.

  21. Nadat u klaar bent met het configureren van uw CDC, selecteert u Alles publiceren om uw wijzigingen te publiceren.

    Schermopname van de knop Publiceren boven aan het canvas.

    Notitie

    Als u uw wijzigingen niet publiceert, kunt u uw CDC-resource niet starten. De knop Start in de volgende stap is niet beschikbaar.

  22. Selecteer Start om uw wijzigingsgegevensopname uit te voeren.

    Schermopname van de knop Start boven aan het canvas.

Uw wijzigingsgegevens vastleggen bewaken

  1. Open het deelvenster Monitor met behulp van een van deze methoden:

    • Selecteer Monitor in Azure Portal.

      Schermopname van de knop Monitor in Azure Portal.

    • Selecteer het bewakingspictogram in de CDC-ontwerpfunctie.

      Schermopname van het bewakingspictogram boven aan het CDC-canvas.

  2. Selecteer Change Data Capture (preview) om uw CDC-resources weer te geven.

    Schermopname van de knop Gegevens vastleggen wijzigen.

    In het deelvenster Gegevens vastleggen van wijzigingen ziet u de bron-, doel-, status- en laatst verwerkte gegevens voor het vastleggen van wijzigingengegevens.

    Schermopname van een overzicht van de bewakingspagina voor het vastleggen van wijzigingengegevens.

  3. Selecteer de naam van uw CDC voor meer informatie. U kunt zien hoeveel wijzigingen (invoegen, bijwerken of verwijderen) zijn gelezen en geschreven, samen met andere diagnostische gegevens.

    Schermopname van de gedetailleerde bewaking van een geselecteerde wijzigingsgegevensopname.

    Als u meerdere toewijzingen instelt in uw wijzigingsgegevensopname, wordt elke toewijzing weergegeven als een andere kleur. Selecteer de balk om specifieke details voor elke toewijzing weer te geven of gebruik de diagnostische gegevens onderaan het deelvenster.

    Schermopname van de gedetailleerde bewakingsinformatie voor een wijzigingsgegevensopname met meerdere bron-naar-doeltoewijzingen.

    Schermopname van een gedetailleerde uitsplitsing van elke toewijzing in een artefact voor het vastleggen van wijzigingengegevens.

Gerelateerde inhoud