SFTP configureren in een kopieeractiviteit
In dit artikel wordt beschreven hoe u de kopieeractiviteit in de gegevenspijplijn gebruikt om gegevens uit SFTP te kopiëren.
Ondersteunde indeling
SFTP ondersteunt de volgende bestandsindelingen. Raadpleeg elk artikel voor op indeling gebaseerde instellingen.
- Avro-indeling
- Binaire indeling
- Tekstindeling met scheidingstekens
- Excel-indeling
- JSON-indeling
- ORC-indeling
- Parquet-indeling
- XML-indeling
Ondersteunde configuratie
Voor de configuratie van elk tabblad onder kopieeractiviteit gaat u respectievelijk naar de volgende secties.
Algemeen
Raadpleeg de richtlijnen voor algemene instellingen voor het configureren van het tabblad Algemene instellingen.
Bron
Ga naar het tabblad Bron om de bron van de kopieeractiviteit te configureren. Zie de volgende inhoud voor de gedetailleerde configuratie.
De volgende drie eigenschappen zijn vereist:
Gegevensarchieftype: Selecteer Extern.
Verbinding maken ion: Selecteer een SFTP-verbinding in de lijst met verbindingen. Als er geen verbinding bestaat, maakt u een nieuwe SFTP-verbinding door Nieuw te selecteren.
Bestandstype: Selecteer een van het bestandspad, het pad naar het jokerteken en de lijst met bestanden op basis van de manier waarop u bestanden wilt lezen.
Bestandspad: Als u dit type kiest, geeft u het pad naar het bronbestand op. U kunt Bladeren selecteren om de bronbestanden te selecteren of het bestandspad handmatig in te voeren.
Wild bestandspad: als u dit type kiest, geeft u de jokertekenpaden op om uw bronmappen of bestanden te filteren.
Toegestane jokertekens zijn
*(komt overeen met nul of meer tekens) en?(komt overeen met nul of één teken). Gebruik^deze optie om te escapen als uw mapnaam een jokerteken of dit escape-teken bevat. Ga voor meer voorbeelden naar voorbeelden van mappen en bestandsfilters.
Pad naar jokertekens: geef het pad naar de map op met jokertekens om bronmappen te filteren.
Bestandsnaam met jokertekens: geef de bestandsnaam op met jokertekens onder het opgegeven pad naar de map/het pad naar de jokertekenmap om bronbestanden te filteren.
Lijst met bestanden: Als u dit type selecteert, geeft u het mappad en het pad naar de bestandslijst op om aan te geven dat een bepaalde bestandsset moet worden gekopieerd. Wijs een tekstbestand aan met een lijst met bestanden die u wilt kopiëren, één bestand per regel. Ga naar Voorbeelden van bestandslijsten voor meer voorbeelden.
Mappad: Geef het pad naar de bronmap op. Het is vereist.
Pad naar bestandslijst: geef het pad op van het tekstbestand dat een lijst met bestanden bevat die u wilt kopiëren.
Bestandsindeling: Selecteer de bestandsindeling die is toegepast in de vervolgkeuzelijst. Selecteer Instellingen om de bestandsindeling te configureren. Raadpleeg voor instellingen van verschillende bestandsindelingen artikelen in ondersteunde indeling voor gedetailleerde informatie.
Onder Geavanceerd kunt u de volgende velden opgeven:
Filteren op laatst gewijzigd: Bestanden worden gefilterd op basis van de datums die u voor het laatst hebt opgegeven. Deze eigenschap is niet van toepassing wanneer u het bestandstype configureert als Lijst met bestanden.
- Begintijd (UTC): de bestanden worden geselecteerd als de laatste wijzigingstijd groter is dan of gelijk is aan de geconfigureerde tijd.
- Eindtijd (UTC): de bestanden worden geselecteerd als de laatste wijzigingstijd kleiner is dan de geconfigureerde tijd.
Wanneer de begintijd (UTC) datum/tijd heeft, maar de eindtijd (UTC) NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd groter is dan of gelijk is aan de datum/tijd-waarde wordt geselecteerd. Wanneer de eindtijd (UTC) datum/tijd heeft, maar de begintijd (UTC) NULL is, betekent dit dat de bestanden waarvan het kenmerk voor het laatst is gewijzigd kleiner is dan de datum/tijd-waarde wordt geselecteerd. De eigenschappen kunnen NULL zijn, wat betekent dat er geen bestandskenmerkfilter wordt toegepast op de gegevens.
Segmentering uitschakelen: het segmenteren is ontworpen om de prestaties te optimaliseren en eronder te gebeuren. Met deze optie kunt u segmentering in elk bestand uitschakelen. Bij het kopiëren van gegevens uit SFTP probeert de service eerst de lengte van het bestand op te halen, vervolgens het bestand te verdelen in meerdere onderdelen en deze parallel te lezen. Geef op of de SFTP-server ondersteuning biedt voor het ophalen van de bestandsgrootte of het lezen van een bepaalde offset. Deze optie is standaard niet geselecteerd.
Partitiedetectie inschakelen: geef op of de partities van het bestandspad moeten worden geparseerd en als extra bronkolommen moeten worden toegevoegd. Deze optie wordt standaard niet geselecteerd en wordt niet ondersteund wanneer u binaire bestandsindeling gebruikt.
Hoofdpad partitie: wanneer partitiedetectie is ingeschakeld, geeft u het absolute hoofdpad op om gepartitioneerde mappen als gegevenskolommen te lezen.
Als deze niet is opgegeven, is dit standaard het volgende:- Wanneer u het bestandspad of de lijst met bestanden op de bron gebruikt, is het pad naar de partitiehoofdmap dat u hebt geconfigureerd.
- Wanneer u het filter voor jokertekens gebruikt, is het hoofdpad van de partitie het subpad vóór het eerste jokerteken.
Stel dat u het pad configureert als
root/folder/year=2020/month=08/day=27:- Als u het hoofdpad van de partitie opgeeft als
root/folder/year=2020, genereert de kopieeractiviteit twee kolommen maand en dag met respectievelijk de waarde 08 en 27, naast de kolommen in de bestanden. - Als het pad naar de partitiehoofdmap niet is opgegeven, wordt er geen extra kolom gegenereerd.
Maximum aantal gelijktijdige verbindingen: deze eigenschap geeft de bovengrens aan van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken.
Aanvullende kolommen: voeg extra gegevenskolommen toe om het relatieve pad of de statische waarde van bronbestanden op te slaan. Expressie wordt ondersteund voor de laatste. Ga naar Extra kolommen toevoegen tijdens het kopiëren voor meer informatie.
Doel
Ga naar het tabblad Bestemming om de bestemming van uw kopieeractiviteit te configureren. Zie de volgende inhoud voor de gedetailleerde configuratie.
- Gegevensarchieftype: Selecteer Extern.
- Verbinding maken ion: Selecteer een SFTP-verbinding in de lijst met verbindingen. Als er geen verbinding bestaat, maakt u een nieuwe SFTP-verbinding door Nieuw te selecteren.
- Bestandspad: geef het bestandspad op waar u uw gegevens naar wilt schrijven. U kunt Bladeren selecteren om de bronbestanden te selecteren of het bestandspad handmatig in te voeren.
- Bestandsindeling: Selecteer de bestandsindeling die is toegepast in de vervolgkeuzelijst. Selecteer Instellingen om de bestandsindeling te configureren. Raadpleeg voor instellingen van verschillende bestandsindelingen artikelen in ondersteunde indeling voor gedetailleerde informatie.
Onder Geavanceerd kunt u de volgende velden opgeven:
Kopieergedrag: geef het kopieergedrag op wanneer de bron bestanden uit een bestandsgegevensarchief is. Kies uit de volgende eigenschappen.
- Platgemaakte hiërarchie: Alle bestanden uit de bronmap bevinden zich op het eerste niveau van de doelmap. De doelbestanden hebben automatisch gegenereerde namen.
- Bestanden samenvoegen: hiermee worden alle bestanden uit de bronmap samengevoegd tot één bestand. Als de bestandsnaam is opgegeven, is de naam van het samengevoegde bestand de opgegeven naam. Anders is het een automatisch gegenereerde bestandsnaam.
- Hiërarchie behouden (standaard): behoudt de bestandshiërarchie in de doelmap. Het relatieve pad van het bronbestand naar de bronmap is identiek aan het relatieve pad van het doelbestand naar de doelmap.
- Dynamische inhoud toevoegen: selecteer deze optie om uw kopieergedrag op te geven met behulp van dynamische inhoud.
Maximum aantal gelijktijdige verbindingen: de bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken.
Time-out voor bewerking (minuten): geef de time-out op voor het schrijven van elk segment naar SFTP-server. De standaardwaarde is 60 minuten.
Uploaden met tijdelijk bestand: geef op of u wilt uploaden naar tijdelijke bestanden en de naam ervan wilt wijzigen of rechtstreeks naar de doelmap of bestandslocatie wilt schrijven. Standaard wordt deze geselecteerd en schrijft de service eerst naar tijdelijke bestanden en wijzigt deze vervolgens wanneer het uploaden is voltooid.
Deze reeks helpt (1) conflicten te voorkomen die kunnen leiden tot een beschadigd bestand als u andere processen hebt die naar hetzelfde bestand schrijven en (2) ervoor zorgen dat de oorspronkelijke versie van het bestand bestaat tijdens de overdracht. Als uw SFTP-server geen hernoembewerking ondersteunt, schakelt u deze optie uit en zorgt u ervoor dat u geen gelijktijdige schrijfbewerking naar het doelbestand hebt.
Tip
Als u de fout UserErrorSftpPathNotFound, "UserErrorSftpPermissionDenied" of "SftpOperationFail" ontvangt wanneer u gegevens naar SFTP schrijft en de SFTP-gebruiker die u gebruikt wel over de juiste machtigingen beschikt, controleert u of de naamswijzigingsbewerking van uw SFTP-serverondersteuningsbestand werkt. Als dit niet het is, schakelt u de optie Uploaden met tijdelijk bestand uit en probeert u het opnieuw.
Toewijzing
Zie Uw toewijzingen configureren onder het tabblad Toewijzing voor de configuratie van tabblad Toewijzingen. Als u Binair als bestandsindeling kiest, wordt toewijzing niet ondersteund.
Instellingen
Ga voor Instellingen tabbladconfiguratie naar Uw andere instellingen configureren op het tabblad Instellingen.
Tabelsamenvatting
De volgende tabel bevat meer informatie over de kopieeractiviteit in SFTP.
Bron
| Name | Beschrijving | Waarde | Vereist | JSON-scripteigenschap |
|---|---|---|---|---|
| Gegevensarchieftype | Het gegevensarchieftype. | Extern | Ja | / |
| Verbinding | Uw SFTP-verbinding met het brongegevensarchief. | < uw SFTP-verbinding > | Ja | verbinding |
| Bestandstype | Het bestandstype dat wordt gebruikt om brongegevens op te halen. | • Bestandspad • Pad naar jokertekens • Lijst met bestanden |
Ja | / |
| Bestandspad | Het pad naar het bronbestand. | < bestandspad> | Ja | fileName folderPath |
| Jokertekenpaden | Het jokertekenpad naar het bronbestand. | < het pad naar het jokertekenbestand > | Ja voor de bestandsnaam met jokertekens | wildcardFolderPath jokertekenBestandName |
| Mappad | Het pad naar de bronmap. | < uw mappad> | Ja | folderPath |
| Pad naar bestandslijst | Geeft aan om een bepaalde bestandsset te kopiëren. Wijs een tekstbestand aan met een lijst met bestanden die u wilt kopiëren, één bestand per regel. | < bestandslijstpad > | Nee | fileListPath |
| Bestandsindeling | De bestandsindeling voor uw brongegevens. Raadpleeg voor de informatie over verschillende bestandsindelingen artikelen in ondersteunde indeling voor gedetailleerde informatie. | / | Ja | / |
| Filteren op laatst gewijzigd | De bestanden met de laatst gewijzigde tijd in het bereik [Begintijd, Eindtijd) worden gefilterd op verdere verwerking. De tijd wordt toegepast op de UTC-tijdzone in de notatie van yyyy-mm-ddThh:mm:ss.fffZ. Deze eigenschappen kunnen worden overgeslagen. Dit betekent dat er geen filter voor bestandskenmerken wordt toegepast. Deze eigenschap is niet van toepassing wanneer u het bestandstype configureert als Lijst met bestanden. |
datetime | Nee | modifiedDatetimeStart modifiedDatetimeEnd |
| Segmentering uitschakelen | De segmentering is ontworpen om de prestaties te optimaliseren en eronder te gebeuren. Met deze optie kunt u segmentering in elk bestand uitschakelen. Bij het kopiëren van gegevens uit SFTP probeert de service eerst de lengte van het bestand op te halen, vervolgens het bestand te verdelen in meerdere onderdelen en deze parallel te lezen. Geef op of de SFTP-server ondersteuning biedt voor het ophalen van de bestandsgrootte of het lezen van een bepaalde offset. | geselecteerd of niet geselecteerd (standaard) | Nee | disableChunking: waar of onwaar (standaard) |
| Partitiedetectie inschakelen | Geeft aan of de partities van het bestandspad moeten worden geparseerd en als extra bronkolommen moeten worden toegevoegd. | geselecteerd of niet geselecteerd (standaard) | Nee | enablePartitionDiscovery: waar of onwaar (standaard) |
| Hoofdpad van partitie | Het hoofdpad van de absolute partitie om gepartitioneerde mappen als gegevenskolommen te lezen. Geef deze op wanneer partitiedetectie is ingeschakeld. | < hoofdpad partitie > | Nee | partitionRootPath |
| Maximum aantal gelijktijdige verbindingen | De bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken. | < bovengrens van gelijktijdige verbindingen > (geheel getal) |
Nee | maxConcurrent Verbinding maken ions |
| Aanvullende kolommen | Voeg extra gegevenskolommen toe om het relatieve pad of de statische waarde van bronbestanden op te slaan. Expressie wordt ondersteund voor de laatste. Ga voor meer informatie naar Extra kolommen toevoegen tijdens het kopiëren | • Naam •Waarde |
Nee | additionalColumns: •Naam •Waarde |
Doel
| Name | Beschrijving | Waarde | Vereist | JSON-scripteigenschap |
|---|---|---|---|---|
| Gegevensarchieftype | Het gegevensarchieftype. | External | Ja | / |
| Verbinding | Uw verbinding met de bron-SFTP. | < uw verbinding > | Ja | verbinding |
| Bestandspad | Het bestandspad van uw doelgegevens. | Bestandspad van de bestemming | Ja | folderPath fileName |
| Bestandsindeling | De bestandsindeling voor uw brongegevens. Raadpleeg voor de informatie over verschillende bestandsindelingen artikelen in ondersteunde indeling voor gedetailleerde informatie. | / | Ja | / |
| Gedrag van kopiëren | Definieert het kopieergedrag wanneer de bron bestanden is uit een gegevensarchief op basis van bestanden. | • Platgemaakte hiërarchie • Bestanden samenvoegen • Hiërarchie behouden |
Nee | copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy |
| Maximum aantal gelijktijdige verbindingen | De bovengrens van gelijktijdige verbindingen die tijdens de uitvoering van de activiteit tot stand zijn gebracht met het gegevensarchief. Geef alleen een waarde op wanneer u gelijktijdige verbindingen wilt beperken. | < maximum aantal gelijktijdige verbindingen > | Nee | maxConcurrent Verbinding maken ions |
| Time-out van bewerking (minuten) | De time-out voor het schrijven van elk segment naar SFTP-server. | < time-out voor uw bewerking > De standaardwaarde is 60 |
Nee | operationTimeout |
| Uploaden met tijdelijk bestand | Hiermee wordt aangegeven of u tijdelijke bestanden wilt uploaden en de naam wilt wijzigen. Schakel deze optie uit als uw SFTP-server geen ondersteuning biedt voor de naamswijziging. | geselecteerd (standaard) of niet geselecteerd | Nee | useTempFileRename: waar (standaard) of onwaar |