Bestanden verplaatsen met Azure Data Factory
VAN TOEPASSING OP:
Azure Data Factory Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
ADF-kopieeractiviteit biedt ingebouwde ondersteuning voor het 'verplaatsen' scenario bij het kopiëren van binaire bestanden tussen opslagarchieven. De manier om dit in te schakelen, is door 'deleteFilesAfterCompletion' in te stellen als waar in de kopieeractiviteit. Als u dit doet, worden bestanden uit het gegevensbronarchief verwijderd nadat de taak is voltooid.
In dit artikel wordt een oplossingssjabloon beschreven als een andere benadering die gebruikmaakt van een flexibele controlestroom van ADF plus kopieeractiviteit en verwijderactiviteit om hetzelfde scenario te bereiken. Een van de veelvoorkomende scenario's voor het gebruik van deze sjabloon: Bestanden worden voortdurend verwijderd naar een landingsmap van uw bronarchief. Door een schematrigger te maken, kan de ADF-pijplijn deze bestanden periodiek van de bron naar het doelarchief verplaatsen. De manier waarop de ADF-pijplijn 'bestanden verplaatsen' bereikt, is het ophalen van de bestanden uit de landingsmap, het kopiëren van deze bestanden naar een andere map in het doelarchief en vervolgens dezelfde bestanden verwijderen uit de landingsmap in het bronarchief.
Notitie
Houd er rekening mee dat deze sjabloon is ontworpen om bestanden te verplaatsen in plaats van mappen te verplaatsen. Als u de map wilt verplaatsen door de gegevensset te wijzigen zodat deze alleen een mappad bevat en vervolgens de kopieeractiviteit en verwijderactiviteit gebruikt om te verwijzen naar dezelfde gegevensset die een map vertegenwoordigt, moet u heel voorzichtig zijn. Dit komt doordat u ervoor moet zorgen dat er geen nieuwe bestanden in de map terechtkomen tussen het kopiëren en verwijderen van de bewerking. Als er nieuwe bestanden binnenkomen in de map op het moment dat de kopieeractiviteit zojuist de kopieertaak heeft voltooid, maar de activiteit Verwijderen niet is opgeslagen, is het mogelijk dat de activiteit Verwijderen dit nieuwe binnengekomen bestand verwijdert dat nog niet naar het doel is gekopieerd door de hele map te verwijderen.
Over deze oplossingssjabloon
Met deze sjabloon worden de bestanden opgehaald uit het bronbestandsarchief. Vervolgens worden ze allemaal naar het doelarchief verplaatst.
De sjabloon bevat vijf activiteiten:
- GetMetadata haalt de lijst met objecten op, inclusief de bestanden en submappen uit uw map in het bronarchief. De objecten worden niet recursief opgehaald.
- Filter de lijst met objecten uit getMetadata-activiteit om alleen de bestanden te selecteren.
- ForEach haalt de bestandslijst op uit de filteractiviteit en doorloopt vervolgens de lijst en geeft elk bestand door aan de activiteit Copy-activiteit en Verwijderen.
- Kopieert één bestand van de bron naar het doelarchief.
- Als u verwijdert, wordt hetzelfde bestand uit het bronarchief verwijderd.
De sjabloon definieert vier parameters:
- SourceStore_Location is het mappad van het bronarchief waaruit u bestanden wilt verplaatsen.
- SourceStore_Directory is het submappad van uw bronarchief waarvan u bestanden wilt verplaatsen.
- DestinationStore_Location is het mappad van het doelarchief waarnaar u bestanden wilt verplaatsen.
- DestinationStore_Directory is het submappad van uw doelarchief waarnaar u bestanden wilt verplaatsen.
Deze oplossingssjabloon gebruiken
Ga naar de sjabloon Bestanden verplaatsen. Selecteer een bestaande verbinding of maak een nieuwe verbinding met het bronbestandsarchief van waaruit u bestanden wilt verplaatsen. Houd er rekening mee dat DataSource_Folder en DataSource_File verwijzen naar dezelfde verbinding van het bronbestandsarchief.
Selecteer een bestaande verbinding of maak een nieuwe verbinding met het doelbestandsarchief waarnaar u bestanden wilt verplaatsen.
Selecteer Dit sjabloontabblad gebruiken.
U ziet de pijplijn, zoals in het volgende voorbeeld:
Selecteer Fouten opsporen, voer de parameters in en selecteer Voltooien. De parameters zijn het mappad waarnaar u bestanden wilt verplaatsen en het mappad waarnaar u bestanden wilt verplaatsen.
Bekijk het resultaat.
