Configurare SFTP in un'attività di copia

Questo articolo illustra come usare l'attività di copia in una pipeline per copiare dati da SFTP.

Formato supportato

SFTP supporta i formati di file seguenti. Per impostazioni basate sui formati, fare riferimento ai singoli articoli.

• Formato Avro
• Formato binario
• Formato di testo delimitato
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

Configurazione supportata

Per la configurazione di ogni scheda nell'attività Copy, leggere le rispettive sezioni seguenti.

• Generali
• Origine
• Destinazione
• Mapping
• Impostazioni

Generale

Per configurare la scheda di impostazioni Generali, vedere la guida alle impostazioni Generali.

Origine

Passare alla scheda Origine per configurare la sorgente dell'attività di copia. Per la configurazione dettagliata, vedere il contenuto seguente.

Le tre proprietà indicate di seguito sono obbligatorie:

• Collegamento: selezionare un collegamento FTP sicuro dall'elenco dei collegamenti. Se non esiste alcun collegamento, creare un nuovo collegamento FTP sicuro selezionando Nuovo.

• Tipo di percorso file: Selezionare tra Percorso file, Percorso file con carattere jolly e Elenco di file in base al modo in cui si desidera leggere i file.

  • Percorso file: se si sceglie questa opzione, specificare il percorso del file di origine. È possibile selezionare Sfoglia per selezionare i file di origine o immettere manualmente il percorso del file.

  • Percorso file con carattere jolly: se si sceglie questa opzione, specificare i percorsi con carattere jolly per filtrare le cartelle o i file di origine.

    I caratteri jolly consentiti sono * (che corrisponde a zero o più caratteri) e ? (che corrisponde a zero caratteri o a un carattere singolo). Usare ^ per effettuare l'escape se il nome della cartella contiene un carattere jolly o questo carattere di escape. Per altri esempi, vedere Esempi di filtro file e cartelle.

    

    Percorso della cartella con caratteri jolly: specificare il percorso della cartella con caratteri jolly per filtrare le cartelle di origine.

    Nome file con carattere jolly: specifica il nome file con caratteri jolly nel percorso della cartella/percorso della cartella con caratteri jolly per filtrare i file di origine.

  • Elenco di file: se si seleziona questo tipo, specificare il Percorso cartella e il Percorso dell'elenco di file per indicare di copiare un determinato insieme di file. Puntare a un file di testo che includa un elenco di file da copiare, uno per riga. Per altri esempi, vedere Esempi di elenco di file.

    • Percorso cartella: specifica il percorso della cartella di origine. È obbligatorio.
      

    • Percorso dell'elenco di file: specificare il percorso del file di testo che include un elenco di file da copiare.

      

• Formato file: selezionare il formato di file applicato dall'elenco a discesa. Selezionare Impostazioni per configurare il formato di file. Per le impostazioni di formati di file diversi, vedere gli articoli in Formato supportato per informazioni dettagliate.

In Avanzate, è possibile specificare i campi seguenti:

• Filtra in base all'ultima modifica: i file vengono filtrati in base alle date dell'ultima modifica specificate. Questa proprietà non si applica quando si configura il tipo di percorso del file come Elenco di file.

  • Ora di inizio (UTC): i file vengono selezionati se l'ora dell'ultima modifica è maggiore o uguale all'ora configurata.
  • Ora di fine (UTC): i file vengono selezionati se l'ora dell'ultima modifica è inferiore all'ora configurata.

  Quando l'ora di inizio (UTC) ha un valore datetime ma l'ora di fine (UTC) è NULL, significa che i file il cui attributo modificato ultimo è maggiore o uguale al valore datetime è selezionato. Quando l'ora di fine (UTC) ha un valore datetime ma l'ora di inizio (UTC) è NULL, significa che i file il cui ultimo attributo modificato è minore del valore datetime selezionato. Le proprietà possono essere NULL, il che significa che ai dati non viene applicato alcun filtro di attributo di file.

• Disabilita la suddivisione in blocchi: la suddivisione in blocchi è progettata per ottimizzare le prestazioni e avviene sotto. Questa opzione consente di disabilitare la suddivisione in blocchi all'interno di ogni file. Quando si copiano i dati da FTP sicuro, il servizio prova a ottenere prima la lunghezza del file, quindi divide il file in più parti e le legge in parallelo. Specificare se il server SFTP supporta l'ottenimento della lunghezza del file o la lettura a partire da un offset specifico. È deselezionata per impostazione predefinita.

• Abilita individuazione della partizione: specificare se analizzare le partizioni dal percorso del file e aggiungerle come colonne aggiuntive di origine. Non è selezionata per impostazione predefinita e non è supportata quando si usa il formato di file binario.

  • Percorso radice partizione: quando l'individuazione delle partizioni è abilitata, specificare il percorso radice assoluto per leggere le cartelle partizionate come colonne di dati.
    Se non è specificato, per impostazione predefinita,

    • Quando si usa il percorso dei file o l'elenco dei file sull'origine, il percorso principale della partizione è il percorso configurato.
    • Quando si usa il filtro delle cartelle con caratteri jolly, il percorso radice della partizione è il percorso secondario prima del primo carattere jolly.

    Supponiamo, ad esempio, di configurare il percorso come root/folder/year=2020/month=08/day=27:

    • Se si specifica il percorso radice della partizione come root/folder/year=2020, l'attività di copia genera due colonne mese e giorno con il valore "08" e "27" rispettivamente, oltre alle colonne all'interno dei file.
    • Se il percorso radice della partizione non è specificato, non viene generata alcuna colonna aggiuntiva.

    

• Numero massimo di connessioni simultanee: questa proprietà indica il limite massimo di connessioni contemporanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.

• Colonne aggiuntive: aggiungere colonne di dati aggiuntive per archiviare il percorso relativo o il valore statico dei file di origine. L'espressione è supportata per la seconda opzione. Per altre informazioni, vedere Aggiungere colonne aggiuntive durante la copia.

Destinazione

Passare alla scheda Destinazione per configurare la destinazione dell'attività di copia. Per la configurazione dettagliata, vedere il contenuto seguente.

• Collegamento: selezionare un collegamento FTP sicuro dall'elenco dei collegamenti. Se non esiste alcun collegamento, creare un nuovo collegamento FTP sicuro selezionando Nuovo.
• Percorso file: specificare il percorso del file in cui scrivere i dati. È possibile selezionare Sfoglia per selezionare i file di origine o immettere manualmente il percorso del file.
• Formato file: selezionare il formato di file applicato dall'elenco a discesa. Selezionare Impostazioni per configurare il formato di file. Per le impostazioni di formati di file diversi, vedere gli articoli in Formato supportato per informazioni dettagliate.

In Avanzate, è possibile specificare i campi seguenti:

• Copy behavior: definisce il comportamento di copia quando l'origine è costituita da file di un archivio dati basato su file. Scegliere una delle seguenti proprietà.

  • Flatten Hierarchy: tutti i file della cartella di origine si trovano nel primo livello della cartella di destinazione. I nomi dei file di destinazione vengono generati automaticamente.
  • Merge files: unisce tutti i file della cartella di origine in un solo file. Se si specifica il nome di file, il nome del file unito sarà il nome specificato. In caso contrario, verrà usato un nome di file generato automaticamente.
  • Preserve Hierarchy (predefinito): mantiene la gerarchia dei file nella cartella di destinazione. Il percorso relativo del file di origine nella cartella di origine è identico al percorso relativo del file di destinazione nella cartella di destinazione.
  • Aggiungi contenuto dinamico: selezionare questa opzione per specificare il comportamento di copia usando il contenuto dinamico.

• Numero massimo di connessioni simultanee: limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.

• Timeout dell'operazione (minuti): specificare il timeout per la scrittura di ogni blocco nel server SFTP. Il valore predefinito è 60 minuti.

• Carica con file temporaneo: indicare se caricare i file temporanei e rinominare o scrivere direttamente nella cartella di destinazione o nel percorso del file. Per impostazione predefinita, viene selezionato e il servizio scrive prima nei file temporanei e quindi li rinomina al termine del caricamento.

  Questa sequenza consente di evitare (1) conflitti che potrebbero causare un file danneggiato se sono presenti altri processi che scrivono nello stesso file e (2) assicurare che la versione originale del file esista durante il trasferimento. Se il server SFTP non supporta l'operazione di rinomina, disabilitare questa opzione e assicurarsi che non ci sia una scrittura simultanea sul file di destinazione.

  Suggerimento

  Se si verifica un errore "UserErrorSftpPathNotFound," "UserErrorSftpPermissionDenied," o "SftpOperationFail" quando si scrivono dati in SFTP e l'utente SFTP utilizzato ha i permessi corretti, verificare se l'operazione di ridenominazione dei file è attivata sul server SFTP. In caso contrario, disabilitare l'opzione Carica con file temporaneo e riprovare.

Mappatura

Per la configurazione della scheda Mapping, vedere Configurare i mapping nella scheda Mapping. Se si sceglie Binary come formato di file, il mapping non sarà supportato.

Impostazione

Per la configurazione della scheda Impostazioni, vedere Configurare le altre impostazioni nella scheda Impostazioni.

Tabella di riepilogo

Nella tabella seguente sono disponibili ulteriori informazioni sull'attività di copia in SFTP.

Origine

Nome	Descrizione	valore	Richiesto	Proprietà script JSON
Connessione	Il collegamento SFTP all'archivio dati di origine.	< la tua connessione SFTP >	Sì	connessione
Tipo percorso file	Tipo di percorso del file utilizzato per ottenere i dati di origine.	• Percorso file • Percorso file con caratteri jolly • Elenco di file	Sì	/
Percorso file	Il percorso del file di origine.	< percorso file>	Sì	fileName folderPath
Percorsi con caratteri jolly	Il percorso con caratteri jolly del file di origine.	< percorso di file con caratteri jolly >	Sì per nome file con caratteri jolly	wildcardFolderPath wildcardFileName
Percorso cartella	Il percorso alla tua cartella di origine.	< il tuo percorso cartella>	Sì	folderPath
Percorso all'elenco di file	Indica di copiare un determinato set di file. Puntare a un file di testo che includa un elenco di file da copiare, uno per riga.	< percorso del file elenco >	No	fileListPath
Formato di file	Formato di file per i dati di origine. Per informazioni sui diversi formati di file, vedere gli articoli in Formato supportato per informazioni dettagliate.	/	Sì	/
Filtra per data ultima modifica	I file con ora dell'ultima modifica nell'intervallo [Ora di inizio, Ora di fine) vengono filtrati per un'ulteriore elaborazione. L'ora viene applicata al fuso orario UTC nel formato di yyyy-mm-ddThh:mm:ss.fffZ. Queste proprietà possono essere ignorate, il che significa che non viene applicato alcun filtro di attributo di file. Questa proprietà non si applica quando si configura il tipo di percorso del file come Elenco di file.	data e ora	No	modifiedDatetimeStart dataOraModificataFine
Disabilita la suddivisione in blocchi	La suddivisione in blocchi è progettata per ottimizzare le prestazioni e avviene sotto. Questa opzione consente di disabilitare la suddivisione in blocchi all'interno di ogni file. Quando si copiano i dati da FTP sicuro, il servizio prova a ottenere prima la lunghezza del file, quindi divide il file in più parti e le legge in parallelo. Specificare se il server SFTP supporta l'ottenimento della lunghezza del file o la lettura a partire da un offset specifico.	selezionato o non selezionato (impostazione predefinita)	No	disableChunking: true o false (valore predefinito)
Abilita l'individuazione della partizione	Indica se analizzare le partizioni dal percorso del file e aggiungerle come colonne di origine aggiuntive.	selezionato o non selezionato (impostazione predefinita)	No	enablePartitionDiscovery: true o false (valore predefinito)
Percorso radice partizione	Il percorso radice assoluto della partizione per leggere le cartelle partizionate come colonne di dati. Specificarlo quando l'individuazione della partizione è abilitata.	< percorso radice partizione >	No	partitionRootPath
Numero massimo di connessioni simultanee	Limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.	< limite massimo di connessioni simultanee > (intero)	No	maxConcurrentConnections
Colonne aggiuntive	Aggiungere colonne di dati aggiuntive per archiviare il percorso relativo o il valore statico dei file di origine. L'espressione è supportata per la seconda opzione. Per altre informazioni, vedere Aggiungere colonne aggiuntive durante la copia	• Nome • Valore	No	colonne aggiuntive • nome • valore

Destinazione

Nome	Descrizione	valore	Richiesto	Proprietà script JSON
Connessione	La connessione al SFTP di origine.	< il tuo collegamento >	Sì	connessione
Percorso file	Percorso del file dei dati di destinazione.	Percorso del file di destinazione	Sì	folderPath fileName
Formato di file	Formato di file per i dati di origine. Per informazioni sui diversi formati di file, vedere gli articoli in Formato supportato per informazioni dettagliate.	/	Sì	/
Comportamento di copia	Definisce il comportamento di copia quando l'origine è costituita da file di un archivio dati basato su file.	• Appiattire la gerarchia • Unisci file Conservare la gerarchia.	No	copyBehavior: - FlattenHierarchy - MergeFiles - MantieniGerarchia
Numero massimo di connessioni simultanee	Limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.	< numero massimo di connessioni simultanee >	No	maxConcurrentConnections
Timeout operazione (minuti)	Timeout per la scrittura di ogni segmento nel server SFTP.	< timeout dell'operazione > Il valore predefinito è 60	No	operationTimeout
Carica con file temporaneo	Indica se caricare file temporanei e rinominare. Disabilitare questa opzione se il server SFTP non supporta l'operazione di ridenominazione.	selezionato (impostazione predefinita) o deselezionato	No	useTempFileRename: true (valore predefinito) o false

Contenuto correlato

• Informazioni generali sul connettore FTP sicuro