Configurare Amazon S3 in un'attività di copia

Articolo
01/27/2024

Questo articolo illustra come usare l'attività di copia in una pipeline di dati per copiare dati da e in Amazon S3.

Autorizzazioni necessarie

Per copiare dati da Amazon S3, assicurarsi di avere ottenuto le autorizzazioni seguenti per le operazioni sugli oggetti Amazon S3: s3:GetObject e s3:GetObjectVersion.

Inoltre, s3:ListAllMyBuckets e s3:ListBucket/s3:GetBucketLocation le autorizzazioni sono necessarie per operazioni come il test della connessione e l'esplorazione dalla radice.

Per l'elenco completo delle autorizzazioni di Amazon S3, passare a Specifica delle autorizzazioni in un criterio nel sito AWS.

Formato supportato

Amazon S3 supporta i formati di file seguenti. Per impostazioni basate sui formati, fare riferimento ai singoli articoli.

Configurazione supportata

Per la configurazione di ogni scheda nell'attività di copia, passare rispettivamente alle sezioni seguenti.

Generali
Origine
Destinazione
Mapping
Impostazioni

Generali

Fare riferimento alle indicazioni generali sulle impostazioni per configurare la scheda Impostazioni generali .

Origine

Le proprietà seguenti sono supportate per Amazon S3 nella scheda Origine di un'attività di copia.

Sono necessarie le proprietà seguenti:

Tipo di archivio dati: selezionare Esterno.
Connessione ion: selezionare una connessione Amazon S3 dall'elenco delle connessioni. Se non esiste alcuna connessione, creare una nuova connessione Amazon selezionando Nuovo.
Connessione tipo: selezionare Amazon S3 per il tipo di connessione.
Tipo di percorso file: è possibile scegliere Percorso file, Prefisso, Percorso file con caratteri jolly o Elenco di file come tipo di percorso del file. La configurazione per ogni impostazione è:
- Percorso file: se si sceglie questo tipo, i dati possono essere copiati dal bucket specificato o dal bucket e dal percorso della cartella specificati.
- Prefisso: se si sceglie questo tipo, specificare il bucket e il prefisso.
  - Bucket: specificare il nome del bucket S3. Questo argomento è obbligatorio.
  - Prefisso: specificare il prefisso per il nome della chiave S3 nel bucket specificato per filtrare i file S3 di origine. Chiavi S3 i cui nomi iniziano con bucket/this_prefix sono selezionati. Usa il filtro lato servizio di S3, che offre prestazioni migliori rispetto a un filtro con caratteri jolly.
    
    Quando si usa il prefisso e si sceglie di copiare nella destinazione basata su file con conservazione della gerarchia, prendere nota del sottopercorso dopo l'ultimo "/" nel prefisso. Ad esempio, si dispone di origine bucket/folder/subfolder/file.txte si configura il prefisso come folder/sub, quindi il percorso del file conservato è subfolder/file.txt.
- Percorso del file con caratteri jolly: se si sceglie questo tipo, specificare i percorsi Bucket e Wildcard.
  - Bucket: specificare il nome del bucket S3. Questo argomento è obbligatorio.
  - Percorsi con caratteri jolly: specificare la cartella o il percorso del file con caratteri jolly nel bucket specificato per filtrare le cartelle o i file di origine.
    
    I caratteri jolly consentiti sono: * (corrispondenza di zero o più caratteri) e ? (corrispondenza di zero caratteri o di un carattere singolo). Usare ^ per eseguire l'escape se il nome della cartella contiene caratteri jolly o questo carattere di escape. Vedere altri esempi in Esempi di filtro file e cartelle. Percorso cartella con caratteri jolly: percorso della cartella con caratteri jolly nel bucket specificato per filtrare le cartelle di origine.
    
    Nome file con caratteri jolly: nome file con caratteri jolly nel bucket e nel percorso della cartella specificato (o percorso della cartella con caratteri jolly) per filtrare i file di origine.
- Elenco di file: se si sceglie questo tipo, specificare il percorso della cartella e l'elenco Percorso file per indicare di copiare un determinato set di file. Puntare a un file di testo che include un elenco di file da copiare, un file per riga, ovvero il percorso relativo al percorso configurato. Per altri esempi, vedere Esempi di elenco file.
  - Percorso cartella: specificare il percorso della cartella nel bucket specificato. Questo argomento è obbligatorio.
  - Percorso dell'elenco di file: specificare il percorso del file di testo che include un elenco di file da copiare.
Ricorsivamente: specificare se i dati vengono letti in modo ricorsivo dalle sottocartelle o solo dalla cartella specificata. Quando si seleziona In modo ricorsivo e la destinazione è un archivio basato su file, una cartella o una sottocartella vuota non viene copiata o creata nella destinazione. Questa proprietà è selezionata per impostazione predefinita e non si applica quando si configura Path to file list.This property is selected by default and't apply when you configure Path to file list.
Formato file: selezionare il formato di file applicato dall'elenco a discesa. Selezionare Impostazioni per configurare il formato di file. Per le impostazioni di formati di file diversi, vedere articoli in Formato supportato per informazioni dettagliate.

In Avanzate è possibile specificare i campi seguenti:

Filtro in base all'ultima modifica: i file vengono filtrati in base alle date dell'ultima modifica specificate. Questa proprietà non si applica quando si configura il tipo di percorso del file come elenco di file.
- Ora di inizio (UTC): i file vengono selezionati se l'ora dell'ultima modifica è maggiore o uguale all'ora configurata.
- Ora di fine (UTC): i file vengono selezionati se l'ora dell'ultima modifica è inferiore all'ora configurata.
Quando l'ora di inizio (UTC) ha un valore datetime ma l'ora di fine (UTC) è NULL, significa che verranno selezionati i file il cui ultimo attributo modificato è maggiore o uguale al valore datetime. Quando l'ora di fine (UTC) ha un valore datetime, ma ora di inizio (UTC) è NULL, significa che i file il cui attributo modificato ultimo è minore del valore datetime verrà selezionato. Le proprietà possono essere NULL, il che significa che ai dati non verrà applicato alcun filtro di attributo di file.
Abilita individuazione partizione: specificare se analizzare le partizioni dal percorso del file e aggiungerle come colonne di origine aggiuntive. Non è selezionata per impostazione predefinita e non è supportata quando si usa il formato di file binario.
- Percorso radice della partizione: quando l'individuazione della partizione è abilitata, specificare il percorso radice assoluto per leggere le cartelle partizionate come colonne di dati.
  
  Se non è specificato, per impostazione predefinita,
  - Quando si usa il percorso del file o l'elenco di file nell'origine, il percorso radice della partizione è il percorso configurato.
  - Quando si usa il filtro delle cartelle con caratteri jolly, il percorso radice della partizione è il sottopercorso prima del primo carattere jolly.
  - Quando si usa il prefisso, il percorso radice della partizione è sottopercorso prima dell'ultimo "/".
  Si supponga, ad esempio, di configurare il percorso come root/folder/year=2020/month=08/day=27:
  - Se si specifica il percorso radice della partizione come root/folder/year=2020, l'attività di copia genererà altre due colonne mese e giorno rispettivamente con valore "08" e "27", oltre alle colonne all'interno dei file.
  - Se il percorso radice della partizione non è specificato, non verrà generata alcuna colonna aggiuntiva.
Numero massimo di connessioni simultanee: limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.
Colonne aggiuntive: aggiungere altre colonne di dati per archiviare il percorso relativo o il valore statico dei file di origine. L'espressione è supportata per quest'ultima.

Destinazione

Le proprietà seguenti sono supportate per Amazon S3 nella scheda Destinazione di un'attività di copia.

Sono necessarie le proprietà seguenti:

Tipo di archivio dati: selezionare Esterno.
Connessione ion: selezionare una connessione Amazon S3 dall'elenco delle connessioni. Se non esiste alcuna connessione, creare una nuova connessione Amazon selezionando Nuovo.
Connessione tipo: selezionare Amazon S3 per il tipo di connessione.
Percorso file: i dati possono essere copiati nel bucket specificato o nel bucket e nel percorso della cartella specificati.
Formato file: selezionare il formato di file applicato dall'elenco a discesa. Selezionare Impostazioni per configurare il formato di file. Per le impostazioni di formati di file diversi, vedere articoli in Formato supportato per informazioni dettagliate.

In Avanzate è possibile specificare i campi seguenti:

Comportamento di copia: definisce il comportamento di copia quando l'origine è file da un archivio dati basato su file. È possibile scegliere un comportamento dall'elenco a discesa.
- Gerarchia flat: tutti i file della cartella di origine si trovano nel primo livello della cartella di destinazione. I file di destinazione hanno nomi generati automaticamente.
- Unisci file: unisce tutti i file dalla cartella di origine a un unico file. Se si specifica il nome di file, il nome del file unito sarà il nome specificato. In caso contrario, si tratta di un nome file generato automaticamente.
- Mantieni gerarchia: mantiene la gerarchia di file nella cartella di destinazione. Il percorso relativo del file di origine nella cartella di origine è identico al percorso relativo del file di destinazione nella cartella di destinazione.
Numero massimo di connessioni simultanee: questa proprietà indica il limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.

Mapping

Per La configurazione della scheda Mapping , passare a Configurare i mapping nella scheda Mapping. Se si sceglie Binary come formato di file, il mapping non sarà supportato.

Impostazione

Per la configurazione della scheda Impostazioni, passare a Configurare le altre impostazioni nella scheda Impostazioni.

Riepilogo tabella

Le tabelle seguenti contengono altre informazioni sull'attività di copia in Amazon S3.

Informazioni sull'origine

Nome	Descrizione	Valore	Richiesto	Proprietà script JSON
Tipo di archivio dati	Tipo di archivio dati.	Esterno	Sì	/
Connessione	Connessione all'archivio dati di origine.	<connessione Amazon S3>	Sì	connection
Tipo di connessione	Selezionare un tipo per la connessione.	Amazon S3	Sì	/
Tipo di percorso del file	Tipo di percorso del file utilizzato per ottenere i dati di origine.	• Percorso file • Prefisso • Percorso del file con caratteri jolly • Elenco di file	Sì	/
Per Percorso file
Secchio	Il nome del bucket S3.	<nome del bucket>	Sì	bucketName
Directory	Percorso della cartella nel bucket specificato.	<nome della cartella>	No	Folderpath
Nome file	Nome del file nel bucket e nel percorso della cartella specificati.	<nome del file>	No	fileName
Per prefisso
Secchio	Il nome del bucket S3.	<nome del bucket>	Sì	bucketName
Prefix	Prefisso per il nome della chiave S3 nel bucket specificato per filtrare i file S3 di origine.	<il prefisso>	No	prefix
Per il percorso del file con caratteri jolly
Secchio	Il nome del bucket S3.	<nome del bucket>	Sì	bucketName
Percorso cartella con caratteri jolly	Percorso della cartella con caratteri jolly nel bucket specificato per filtrare le cartelle di origine.	<percorso della cartella con caratteri jolly>	No	wildcardFolderPath
Nome file con caratteri jolly	Nome file con caratteri jolly nel bucket e nel percorso della cartella specificato (o percorso della cartella con caratteri jolly) per filtrare i file di origine.	<nome file con caratteri jolly>	Sì	wildcardFileName
Per Elenco di file
Secchio	Il nome del bucket S3.	<nome del bucket>	Sì	bucketName
Directory	Percorso della cartella nel bucket specificato.	<nome della cartella>	No	Folderpath
Percorso dell'elenco di file	Indica di copiare un determinato set di file. Puntare a un file di testo che include un elenco di file da copiare, un file per riga.	< percorso elenco file >	No	fileListPath

Formato file	Formato di file per i dati di origine. Per informazioni sui diversi formati di file, vedere articoli in Formato supportato per informazioni dettagliate.	/	Sì	/
Ricorsivamente	Indica se i dati vengono letti in modo ricorsivo dalle cartelle secondarie o solo dalla cartella specificata. Si noti che quando si seleziona Ricorsivamente e la destinazione è un archivio basato su file, una cartella o una sottocartella vuota non viene copiata o creata nella destinazione. Questa proprietà non si applica quando si configura l'elenco di file Path to file.	selezionato (impostazione predefinita) o deselezionare	No	recursive
Filtrare in base all'ultima modifica	I file con ora dell'ultima modifica nell'intervallo [Ora di inizio, Ora di fine) verranno filtrati per un'ulteriore elaborazione. L'ora verrà applicata al fuso orario UTC nel formato .`yyyy-mm-ddThh:mm:ss.fffZ` Queste proprietà possono essere ignorate, il che significa che non verrà applicato alcun filtro dell'attributo di file. Questa proprietà non si applica quando si configura il tipo di percorso del file come elenco di file.	datetime	No	modifiedDatetimeStart modifiedDatetimeEnd
Abilitare l'individuazione delle partizioni	Indica se analizzare le partizioni dal percorso del file e aggiungerle come colonne di origine aggiuntive.	selezionato o non selezionato (impostazione predefinita)	No	enablePartitionDiscovery: true o false (impostazione predefinita)
Partition Root Path (Percorso radice partizione)	Quando l'individuazione delle partizioni è abilitata, specificare il percorso radice assoluto per leggere le cartelle partizionate come colonne di dati.	< percorso radice della partizione >	No	partitionRootPath
Numero massimo di connessioni simultanee	Limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.	<numero massimo di connessioni simultanee>	No	maxConcurrentConnections
Colonne aggiuntive	Aggiungere altre colonne di dati per archiviare il percorso relativo o il valore statico dei file di origine. L'espressione è supportata per quest'ultima.	• Name •Valore	No	additionalColumns: •Nome •Valore

Informazioni sulla destinazione

Nome	Descrizione	Valore	Richiesto	Proprietà script JSON
Tipo di archivio dati	Tipo di archivio dati.	Esterno	Sì	/
Connessione	Connessione all'archivio dati di destinazione.	<connessione Amazon S3>	Sì	connection
Tipo di connessione	Selezionare un tipo per la connessione.	Amazon S3	Sì	/
Percorso file	Percorso di cartella/file del file di destinazione.	<percorso cartella/file>	Sì	/
Secchio	Il nome del bucket S3.	<nome del bucket>	Sì	bucketName
Directory	Percorso della cartella nel bucket specificato.	<nome della cartella>	No	Folderpath
Nome file	Nome del file nel bucket e nel percorso della cartella specificati.	<nome del file>	No	fileName
Comportamento di copia	Definisce il comportamento di copia quando l'origine è costituita da file di un archivio dati basato su file.	• Appiattire la gerarchia • Unire file • Mantenere la gerarchia	No	copyBehavior: • FlattenHierarchy • MergeFiles • PreserveHierarchy
Numero massimo di connessioni simultanee	Limite massimo di connessioni simultanee stabilite all'archivio dati durante l'esecuzione dell'attività. Specificare un valore solo quando si desidera limitare le connessioni simultanee.	<numero massimo di connessioni simultanee>	No	maxConcurrentConnections

Configurare la connessione Amazon S3

Configurare Amazon S3 in un'attività di copia

Autorizzazioni necessarie

Formato supportato