Configurare SFTP in un'attività di copia

Questo articolo illustra come usare l'attività di copia nella pipeline di dati per copiare dati da SFTP.

Formato supportato

SFTP supporta i formati di file seguenti. Per impostazioni basate sui formati, fare riferimento ai singoli articoli.

• Formato Avro
• Formato binario
• Formato testo delimitato
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

Configurazione supportata

Per la configurazione di ogni scheda nell'attività di copia, passare rispettivamente alle sezioni seguenti.

• Generali
• Origine
• Destinazione
• Mapping
• Impostazioni

Generali

Fare riferimento alle indicazioni generali sulle impostazioni per configurare la scheda Impostazioni generali .

Origine

Passare alla scheda Origine per configurare l'origine dell'attività di copia. Per la configurazione dettagliata, vedere il contenuto seguente.

Sono necessarie le tre proprietà seguenti:

• Tipo di archivio dati: selezionare Esterno.

• Connessione ion: selezionare una connessione SFTP dall'elenco delle connessioni. Se non esiste alcuna connessione, creare una nuova connessione SFTP selezionando Nuovo.

• Tipo di percorso file: selezionare da Percorso file, Percorso file con caratteri jolly e Elenco di file in base al modo in cui si desidera leggere i file.

  • Percorso file: se si sceglie questo tipo, specificare il percorso del file di origine. È possibile selezionare Sfoglia per selezionare i file di origine o immettere manualmente il percorso del file.

  • Percorso file jolly: se si sceglie questo tipo, specificare i percorsi con caratteri jolly per filtrare le cartelle o i file di origine.

    I caratteri jolly consentiti sono * (corrispondenza di zero o più caratteri) e ? (corrispondenza di zero caratteri o di un carattere singolo). Usare ^ per eseguire l'escape se il nome della cartella ha un carattere jolly o questo carattere di escape all'interno. Per altri esempi, vedere Esempi di filtro di file e cartelle.

    

    Percorso cartella con caratteri jolly: specificare il percorso della cartella con caratteri jolly per filtrare le cartelle di origine.

    Nome file con caratteri jolly: specificare il nome file con caratteri jolly nel percorso della cartella o nel percorso della cartella con caratteri jolly specificati per filtrare i file di origine.

  • Elenco di file: se si seleziona questo tipo, specificare l'elenco Percorso cartella e Percorso file per indicare di copiare un determinato set di file. Puntare a un file di testo che include un elenco di file da copiare, un file per riga. Per altri esempi, vedere Esempi di elenco file.

    • Percorso cartella: specificare il percorso della cartella di origine. Questo argomento è obbligatorio.
      

    • Percorso dell'elenco di file: specificare il percorso del file di testo che include un elenco di file da copiare.

      

• Formato file: selezionare il formato di file applicato dall'elenco a discesa. Selezionare Impostazioni per configurare il formato di file. Per le impostazioni di formati di file diversi, vedere articoli in Formato supportato per informazioni dettagliate.

In Avanzate è possibile specificare i campi seguenti:

• Filtro in base all'ultima modifica: i file vengono filtrati in base alle date dell'ultima modifica specificate. Questa proprietà non si applica quando si configura il tipo di percorso del file come elenco di file.

  • Ora di inizio (UTC): i file vengono selezionati se l'ora dell'ultima modifica è maggiore o uguale all'ora configurata.
  • Ora di fine (UTC): i file vengono selezionati se l'ora dell'ultima modifica è inferiore all'ora configurata.

  Quando l'ora di inizio (UTC) ha un valore datetime ma l'ora di fine (UTC) è NULL, significa che verranno selezionati i file il cui ultimo attributo modificato è maggiore o uguale al valore datetime. Quando l'ora di fine (UTC) ha un valore datetime, ma ora di inizio (UTC) è NULL, significa che i file il cui attributo modificato ultimo è minore del valore datetime verrà selezionato. Le proprietà possono essere NULL, il che significa che ai dati non verrà applicato alcun filtro di attributo di file.

• Disabilita la suddivisione in blocchi: la suddivisione in blocchi è progettata per ottimizzare le prestazioni e si verifica sotto. Questa opzione consente di disabilitare la suddivisione in blocchi all'interno di ogni file. Quando si copiano dati da SFTP, il servizio tenta di ottenere prima la lunghezza del file, quindi dividere il file in più parti e leggerli in parallelo. Specificare se il server SFTP supporta il recupero della lunghezza del file o la ricerca di una determinata differenza. È deselezionata per impostazione predefinita.

• Abilita individuazione partizione: specificare se analizzare le partizioni dal percorso del file e aggiungerle come colonne di origine aggiuntive. Non è selezionata per impostazione predefinita e non è supportata quando si usa il formato di file binario.

  • Percorso radice della partizione: quando l'individuazione della partizione è abilitata, specificare il percorso radice assoluto per leggere le cartelle partizionate come colonne di dati.
    Se non è specificato, per impostazione predefinita,

    • Quando si usa il percorso del file o l'elenco di file nell'origine, il percorso radice della partizione è il percorso configurato.
    • Quando si usa il filtro delle cartelle con caratteri jolly, il percorso radice della partizione è il sottopercorso prima del primo carattere jolly.

    Si supponga, ad esempio, di configurare il percorso come root/folder/year=2020/month=08/day=27:

    • Se si specifica il percorso radice della partizione come root/folder/year=2020, l'attività di copia genererà altre due colonne mese e giorno rispettivamente con valore "08" e "27", oltre alle colonne all'interno dei file.
    • Se il percorso radice della partizione non è specificato, non verrà generata alcuna colonna aggiuntiva.

    

• Numero massimo di connessioni simultanee: questa proprietà indica il limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.

• Colonne aggiuntive: aggiungere altre colonne di dati per archiviare il percorso relativo o il valore statico dei file di origine. L'espressione è supportata per quest'ultima. Per altre informazioni, vedere Aggiungere altre colonne durante la copia.

Destinazione

Passare alla scheda Destinazione per configurare la destinazione dell'attività di copia. Per la configurazione dettagliata, vedere il contenuto seguente.

• Tipo di archivio dati: selezionare Esterno.
• Connessione ion: selezionare una connessione SFTP dall'elenco delle connessioni. Se non esiste alcuna connessione, creare una nuova connessione SFTP selezionando Nuovo.
• Percorso file: specificare il percorso del file in cui scrivere i dati. È possibile selezionare Sfoglia per selezionare i file di origine o immettere manualmente il percorso del file.
• Formato file: selezionare il formato di file applicato dall'elenco a discesa. Selezionare Impostazioni per configurare il formato di file. Per le impostazioni di formati di file diversi, vedere articoli in Formato supportato per informazioni dettagliate.

In Avanzate è possibile specificare i campi seguenti:

• Comportamento di copia: specificare il comportamento di copia quando l'origine è file da un archivio dati basato su file. Scegliere tra le proprietà seguenti.

  • Gerarchia flat: tutti i file della cartella di origine si trovano nel primo livello della cartella di destinazione. I nomi dei file di destinazione vengono generati automaticamente.
  • Unisci file: unisce tutti i file dalla cartella di origine a un unico file. Se si specifica il nome di file, il nome del file unito sarà il nome specificato. In caso contrario, si tratta di un nome file generato automaticamente.
  • Mantieni gerarchia (impostazione predefinita): mantiene la gerarchia dei file nella cartella di destinazione. Il percorso relativo del file di origine nella cartella di origine è identico al percorso relativo del file di destinazione nella cartella di destinazione.
  • Aggiungi contenuto dinamico: selezionare questa opzione per specificare il comportamento di copia usando il contenuto dinamico.

• Numero massimo di connessioni simultanee: limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.

• Timeout dell'operazione (minuti): specificare il timeout per la scrittura di ogni blocco nel server SFTP. Il valore predefinito è 60 minuti.

• Carica con il file temporaneo: specificare se caricare nei file temporanei e rinominarli o scrivere direttamente nella cartella o nel percorso del file di destinazione. Per impostazione predefinita, è selezionata e il servizio scrive prima nei file temporanei e quindi li rinomina al termine del caricamento.

  Questa sequenza consente di evitare (1) conflitti che potrebbero causare un file danneggiato se sono presenti altri processi che scrivono nello stesso file e (2) assicurarsi che la versione originale del file esista durante il trasferimento. Se il server SFTP non supporta un'operazione di ridenominazione, disabilitare questa opzione e assicurarsi di non disporre di una scrittura simultanea nel file di destinazione.

  Suggerimento

  Se viene visualizzato l'errore "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" o "SftpOperationFail" quando si scrivono dati in SFTP e l'utente SFTP usato dispone delle autorizzazioni appropriate, verificare se il server SFTP supporta l'operazione di ridenominazione dei file funziona. In caso contrario, disabilitare l'opzione Carica con file temporaneo e riprovare.

Mapping

Per la configurazione della scheda Mapping , vedere Configurare i mapping nella scheda Mapping. Se si sceglie Binary come formato di file, il mapping non sarà supportato.

Impostazione

Per Impostazioni configurazione della scheda, passare a Configurare le altre impostazioni nella scheda Impostazioni.

Riepilogo tabella

La tabella seguente contiene altre informazioni sull'attività di copia in SFTP.

Origine

Nome	Descrizione	Valore	Richiesto	Proprietà script JSON
Tipo di archivio dati	Tipo di archivio dati.	Esterno	Sì	/
Connessione	Connessione SFTP all'archivio dati di origine.	< connessione SFTP >	Sì	connection
Tipo di percorso del file	Tipo di percorso del file utilizzato per ottenere i dati di origine.	• Percorso file • Percorso del file con caratteri jolly • Elenco di file	Sì	/
Percorso file	Percorso del file di origine.	< percorso file>	Sì	fileName folderPath
Percorsi con caratteri jolly	Percorso con caratteri jolly del file di origine.	< percorso del file con caratteri jolly >	Sì per nome file con caratteri jolly	wildcardFolderPath wildcardFileName
Percorso cartella	Percorso della cartella di origine.	< percorso della cartella>	Sì	folderPath
Percorso dell'elenco di file	Indica di copiare un determinato set di file. Puntare a un file di testo che include un elenco di file da copiare, un file per riga.	< percorso elenco file >	No	fileListPath
Formato file	Formato di file per i dati di origine. Per informazioni sui diversi formati di file, vedere articoli in Formato supportato per informazioni dettagliate.	/	Sì	/
Filtrare in base all'ultima modifica	I file con ora dell'ultima modifica nell'intervallo [Ora di inizio, Ora di fine) verranno filtrati per un'ulteriore elaborazione. L'ora verrà applicata al fuso orario UTC nel formato .yyyy-mm-ddThh:mm:ss.fffZ Queste proprietà possono essere ignorate, il che significa che non verrà applicato alcun filtro dell'attributo di file. Questa proprietà non si applica quando si configura il tipo di percorso del file come elenco di file.	datetime	No	modifiedDatetimeStart modifiedDatetimeEnd
Disabilitare la suddivisione in blocchi	La suddivisione in blocchi è progettata per ottimizzare le prestazioni e si verifica sotto. Questa opzione consente di disabilitare la suddivisione in blocchi all'interno di ogni file. Quando si copiano dati da SFTP, il servizio tenta di ottenere prima la lunghezza del file, quindi dividere il file in più parti e leggerli in parallelo. Specificare se il server SFTP supporta il recupero della lunghezza del file o la ricerca di una determinata differenza.	selezionato o non selezionato (impostazione predefinita)	No	disableChunking: true o false (impostazione predefinita)
Abilitare l'individuazione delle partizioni	Indica se analizzare le partizioni dal percorso del file e aggiungerle come colonne di origine aggiuntive.	selezionato o non selezionato (impostazione predefinita)	No	enablePartitionDiscovery: true o false (impostazione predefinita)
Partition Root Path (Percorso radice partizione)	Percorso radice della partizione assoluta per leggere le cartelle partizionate come colonne di dati. Specificarlo quando l'individuazione della partizione è abilitata.	< percorso radice della partizione >	No	partitionRootPath
Numero massimo di connessioni simultanee	Limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.	< limite massimo di connessioni simultanee > (intero)	No	maxConcurrentConnections
Colonne aggiuntive	Aggiungere altre colonne di dati per archiviare il percorso relativo o il valore statico dei file di origine. L'espressione è supportata per quest'ultima. Per altre informazioni, vedere Aggiungere altre colonne durante la copia	• Name •Valore	No	additionalColumns: •Nome •Valore

Destinazione

Nome	Descrizione	Valore	Richiesto	Proprietà script JSON
Tipo di archivio dati	Tipo di archivio dati.	Esterna	Sì	/
Connessione	Connessione a SFTP di origine.	< connessione >	Sì	connection
Percorso file	Percorso del file dei dati di destinazione.	Percorso del file della destinazione	Sì	folderPath fileName
Formato file	Formato di file per i dati di origine. Per informazioni sui diversi formati di file, vedere articoli in Formato supportato per informazioni dettagliate.	/	Sì	/
Comportamento di copia	Definisce il comportamento di copia quando l'origine è costituita da file di un archivio dati basato su file.	• Appiattire la gerarchia • Unire file • Mantenere la gerarchia	No	copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy
Numero massimo di connessioni simultanee	Limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.	< numero massimo di connessioni simultanee >	No	maxConcurrentConnections
Timeout dell'operazione (minuti)	Timeout per la scrittura di ogni blocco nel server SFTP.	< timeout dell'operazione > Il valore predefinito è 60	No	operationTimeout
Caricare con il file temporaneo	Indica se caricare file temporanei e rinominare. Disabilitare questa opzione se il server SFTP non supporta l'operazione di ridenominazione.	selezionato (impostazione predefinita) o deselezionato	No	useTempFileRename: true (impostazione predefinita) o false

Contenuto correlato

• Panoramica del connettore SFTP