Avro-format i Data Factory i Microsoft Fabric

Den här artikeln beskriver hur du konfigurerar Avro-format i datapipelinen för Data Factory i Microsoft Fabric.

Funktioner som stöds

Avro-format stöds för följande aktiviteter och anslutningsappar som källa och mål.

Kategori Anslut eller/aktivitet
Anslutningsprogram som stöds Amazon S3
Azure Blob Storage
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
FTP
Google Cloud Storage
HTTP
SFTP
Aktivitet som stöds aktiviteten Kopiera
Sökningsaktivitet
GetMetadata-aktivitet
Ta bort aktivitet

Avro-format i kopieringsaktivitet

Om du vill konfigurera Avro-format väljer du din anslutning i källan eller målet för kopieringsaktiviteten för datapipelinen och väljer sedan Avro i listrutan filformat. Välj Inställningar för ytterligare konfiguration av det här formatet.

Screenshot showing file format settings.

Avro-format som källa

När du har valt Inställningar i avsnittet Filformat visas följande egenskaper i dialogrutan Inställningar för filformat i popup-fönstret.

Screenshot showing Avro file format source.

  • Komprimeringstyp: Välj den komprimeringskodc som används för att läsa Avro-filer i listrutan. Du kan välja mellan Ingen eller deflatera. Du kan också välja Lägg till dynamiskt innehåll för att ange typen i uttrycksverktyget.

  • Komprimeringsnivå: Ange komprimeringsförhållandet. Välj mellan 1 och 7. Du kan också välja Lägg till dynamiskt innehåll för att ange nivån i uttrycksverktyget.

Avro-format som mål

När du har valt Inställningar visas följande egenskaper i dialogrutan Inställningar för filformat i popup-fönstret.

Screenshot showing Avro file format destination.

  • Komprimeringstyp: Välj den komprimeringskodc som används för att skriva Avro-filer i listrutan. Du kan välja mellan Ingen eller deflatera. Du kan också välja Lägg till dynamiskt innehåll för att ange typen i uttrycksverktyget.

  • Komprimeringsnivå: Ange komprimeringsförhållandet. Välj mellan 1 och 7. Du kan också välja Lägg till dynamiskt innehåll för att ange nivån i uttrycksverktyget.

Under Avancerade inställningar på fliken Mål visas följande relaterade egenskaper för Avro-format.

  • Maximalt antal rader per fil: När du skriver data till en mapp kan du välja att skriva till flera filer och ange maximalt antal rader per fil.
  • Filnamnsprefix: Gäller när Maximalt antal rader per fil har konfigurerats. Ange filnamnsprefixet när du skriver data till flera filer, vilket resulterade i det här mönstret: <fileNamePrefix>_00000.<fileExtension>. Om det inte anges genereras filnamnsprefixet automatiskt. Den här egenskapen gäller inte när källan är ett filbaserat arkiv eller ett partitionsalternativ aktiverat datalager.

Tabellsammanfattning

Avro som källa

Följande egenskaper stöds i avsnittet Käll för kopieringsaktivitet när du använder Avro-formatet.

Name Beskrivning Värde Obligatoriskt Avro-skriptegenskap
Filformat Det filformat som du vill använda. Avro Ja typ (under datasetSettings):
Avro
Komprimeringstyp Komprimeringskodcen som används för att läsa Avro-filer. None
Tömma
Nej avroCompressionCodec:

Tömma
Komprimeringsnivå Komprimeringsförhållandet. 1 till 7 Nej avroCompressionLevel:
1 till 7

Avro som mål

Följande egenskaper stöds i avsnittet Mål för kopieringsaktivitet när du använder Avro-formatet.

Name Beskrivning Värde Obligatoriskt Avro-skriptegenskap
Filformat Det filformat som du vill använda. Avro Ja typ (under datasetSettings):
Avro
Komprimeringstyp Komprimeringskodcen som används för att skriva Avro-filer. None
Tömma
Nej avroCompressionCodec:

Tömma
Komprimeringsnivå Komprimeringsförhållandet. 1 till 7 Nej avroCompressionLevel:
1 till 7
Maximalt antal rader per fil När du skriver data till en mapp kan du välja att skriva till flera filer och ange maximalt antal rader per fil. < maximalt antal rader per fil > Nej maxRowsPerFile
Filnamnsprefix Gäller när Maximalt antal rader per fil har konfigurerats. Ange filnamnsprefixet när du skriver data till flera filer, vilket resulterade i det här mönstret: <fileNamePrefix>_00000.<fileExtension>. Om det inte anges genereras filnamnsprefixet automatiskt. Den här egenskapen gäller inte när källan är ett filbaserat arkiv eller ett partitionsalternativ aktiverat datalager. < ditt filnamnsprefix > Nej fileNamePrefix