Avro-format i Data Factory i Microsoft Fabric

I denne artikel beskrives det, hvordan du konfigurerer Avro-format i datapipelinen for Data Factory i Microsoft Fabric.

Understøttede funktioner

Avro-format understøttes for følgende aktiviteter og forbindelser som kilde og destination.

Kategori Forbind or/aktivitet
Understøttet connector Amazon S3
Azure Blob Storage
Azure Data Lake-lagring Gen1
Azure Data Lake Storage Gen2
FTP
Google Cloud Storage
HTTP
SFTP
Understøttet aktivitet Kopiér aktivitet
Opslagsaktivitet
GetMetadata-aktivitet
Slet aktivitet

Avro-format i kopiaktivitet

Hvis du vil konfigurere Avro-format, skal du vælge din forbindelse i kilden eller destinationen for kopieringsaktiviteten for datapipelinen og derefter vælge Avro på rullelisten i Filformat. Vælg Indstillinger for yderligere konfiguration af dette format.

Screenshot showing file format settings.

Avro-format som kilde

Når du har valgt Indstillinger i afsnittet Filformat, vises følgende egenskaber i dialogboksen Indstillinger for pop op-filformat.

Screenshot showing Avro file format source.

  • Komprimeringstype: Vælg det komprimeringscodec, der skal bruges til at læse Avro-filer på rullelisten. Du kan vælge mellem Ingen eller Deflatér. Du kan også vælge Tilføj dynamisk indhold for at angive typen i udtryksgeneratoren.

  • Komprimeringsniveau: Angiv komprimeringsforholdet. Vælg mellem 1 og 7. Du kan også vælge Tilføj dynamisk indhold for at angive niveauet i udtryksgeneratoren.

Avro-format som destination

Når du har valgt Indstillinger, vises følgende egenskaber i dialogboksen Indstillinger for pop op-filformat.

Screenshot showing Avro file format destination.

  • Komprimeringstype: Vælg det komprimeringscodec, der skal bruges til at skrive Avro-filer på rullelisten. Du kan vælge mellem Ingen eller Deflatér. Du kan også vælge Tilføj dynamisk indhold for at angive typen i udtryksgeneratoren.

  • Komprimeringsniveau: Angiv komprimeringsforholdet. Vælg mellem 1 og 7. Du kan også vælge Tilføj dynamisk indhold for at angive niveauet i udtryksgeneratoren.

Under Avancerede indstillinger under fanen Destination vises følgende egenskaber for Avro-format.

  • Maksimalt antal rækker pr. fil: Når du skriver data til en mappe, kan du vælge at skrive til flere filer og angive det maksimale antal rækker pr. fil.
  • Præfiks for filnavn: Gælder, når der er konfigureret maks. rækker pr. fil . Angiv præfikset for filnavnet, når du skriver data til flere filer, hvilket resulterede i dette mønster: <fileNamePrefix>_00000.<fileExtension>. Hvis det ikke er angivet, oprettes præfikset for filnavnet automatisk. Denne egenskab gælder ikke, når kilden er et filbaseret lager eller et partitionsindstillingsaktiveret datalager.

Tabeloversigt

Avro som kilde

Følgende egenskaber understøttes i afsnittet Kilde til kopiaktivitet, når du bruger Avro-formatet.

Navn Beskrivelse Værdi Obligatorisk Egenskaben Avro-script
Filformat Det filformat, du vil bruge. Avro Ja type (under datasetSettings):
Avro
Komprimeringstype Det komprimeringscodec, der bruges til at læse Avro-filer. Ingen
Deflatere
Nr. avroCompressionCodec:

Deflatere
Komprimeringsniveau Komprimeringsforholdet. 1 til 7 Nr. avroCompressionLevel:
1 til 7

Avro som destination

Følgende egenskaber understøttes i afsnittet Destination for kopiaktivitet, når du bruger Avro-formatet.

Navn Beskrivelse Værdi Obligatorisk Egenskaben Avro-script
Filformat Det filformat, du vil bruge. Avro Ja type (under datasetSettings):
Avro
Komprimeringstype Det komprimeringscodec, der bruges til at skrive Avro-filer. Ingen
Deflatere
Nr. avroCompressionCodec:

Deflatere
Komprimeringsniveau Komprimeringsforholdet. 1 til 7 Nr. avroCompressionLevel:
1 til 7
Maks. antal rækker pr. fil Når du skriver data til en mappe, kan du vælge at skrive til flere filer og angive det maksimale antal rækker pr. fil. < dine maksimale rækker pr. fil > Nr. maxRowsPerFile
Præfiks for filnavn Gælder, når der er konfigureret maks. rækker pr. fil . Angiv præfikset for filnavnet, når du skriver data til flere filer, hvilket resulterede i dette mønster: <fileNamePrefix>_00000.<fileExtension>. Hvis det ikke er angivet, oprettes præfikset for filnavnet automatisk. Denne egenskab gælder ikke, når kilden er et filbaseret lager eller et partitionsindstillingsaktiveret datalager. < præfikset for filnavnet > Nr. fileNamePrefix