Formato Avro in Data Factory in Microsoft Fabric

Questo articolo illustra come configurare il formato Avro nella pipeline di dati di Data Factory in Microsoft Fabric.

Funzionalità supportate

Il formato Avro è supportato per le attività e i connettori seguenti come origine e destinazione.

Category Connessione or/attività
Connettore supportato Amazon S3
Archiviazione BLOB di Azure
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
FTP
Google Cloud Storage
HTTP
SFTP
Attività supportata attività Copy
Attività Lookup
Attività GetMetadata
Attività Delete

Formato Avro nell'attività di copia

Per configurare il formato Avro, scegliere la connessione nell'origine o nella destinazione dell'attività di copia della pipeline di dati e quindi selezionare Avro nell'elenco a discesa Formato file. Selezionare Impostazioni per ulteriori configurazioni di questo formato.

Screenshot showing file format settings.

Formato Avro come origine

Dopo aver selezionato Impostazioni nella sezione Formato file, nella finestra di dialogo Impostazioni formato file popup vengono visualizzate le proprietà seguenti.

Screenshot showing Avro file format source.

  • Tipo di compressione: scegliere il codec di compressione usato per leggere i file Avro nell'elenco a discesa. È possibile scegliere tra Nessuno o Deflate. È anche possibile scegliere Aggiungi contenuto dinamico per specificare il tipo nel generatore di espressioni.

  • Livello di compressione: specificare il rapporto di compressione. Scegliere da 1 a 7. È anche possibile scegliere Aggiungi contenuto dinamico per specificare il livello nel generatore di espressioni.

Formato Avro come destinazione

Dopo aver selezionato Impostazioni, nella finestra di dialogo Impostazioni formato file popup vengono visualizzate le proprietà seguenti.

Screenshot showing Avro file format destination.

  • Tipo di compressione: scegliere il codec di compressione usato per scrivere file Avro nell'elenco a discesa. È possibile scegliere tra Nessuno o Deflate. È anche possibile scegliere Aggiungi contenuto dinamico per specificare il tipo nel generatore di espressioni.

  • Livello di compressione: specificare il rapporto di compressione. Scegliere da 1 a 7. È anche possibile scegliere Aggiungi contenuto dinamico per specificare il livello nel generatore di espressioni.

In Impostazioni avanzate nella scheda Destinazione vengono visualizzate le proprietà correlate al formato Avro seguenti.

  • Numero massimo di righe per file: quando si scrivono dati in una cartella, è possibile scegliere di scrivere in più file e specificare le righe massime per ogni file.
  • Prefisso del nome file: applicabile quando è configurato il numero massimo di righe per file. Specificare il prefisso del nome file durante la scrittura di dati in più file, con questo modello: <fileNamePrefix>_00000.<fileExtension>. Se non specificato, il prefisso del nome file viene generato automaticamente. Questa proprietà non si applica quando l'origine è un archivio basato su file o un'opzione di partizione abilitata per l'archivio dati.

Riepilogo tabella

Avro come origine

Le proprietà seguenti sono supportate nella sezione Source dell'attività di copia quando si usa il formato Avro.

Nome Descrizione Valore Richiesto Proprietà script Avro
Formato file Formato di file che si desidera utilizzare. Avro type (in datasetSettings):
Avro
Tipo di compressione Codec di compressione usato per leggere i file Avro. Nessuno
Sgonfiare
No avroCompressionCodec:

Sgonfiare
Livello di compressione Rapporto di compressione. Da 1 a 7 No avroCompressionLevel:
Da 1 a 7

Avro come destinazione

Le proprietà seguenti sono supportate nella sezione Destinazione attività di copia quando si usa il formato Avro.

Nome Descrizione Valore Richiesto Proprietà script Avro
Formato file Formato di file che si desidera utilizzare. Avro type (in datasetSettings):
Avro
Tipo di compressione Codec di compressione usato per scrivere file Avro. Nessuno
Sgonfiare
No avroCompressionCodec:

Sgonfiare
Livello di compressione Rapporto di compressione. Da 1 a 7 No avroCompressionLevel:
Da 1 a 7
Numero massimo di righe per file Quando si scrivono dati in una cartella, è possibile scegliere di scrivere in più file e specificare le righe massime per ogni file. < numero massimo di righe per file > No maxRowsPerFile
Prefisso del nome file Applicabile quando è configurato il numero massimo di righe per file . Specificare il prefisso del nome file durante la scrittura di dati in più file, con questo modello: <fileNamePrefix>_00000.<fileExtension>. Se non specificato, il prefisso del nome file viene generato automaticamente. Questa proprietà non si applica quando l'origine è un archivio basato su file o un'opzione di partizione abilitata per l'archivio dati. < prefisso del nome file > No fileNamePrefix