Avro-indeling in Data Factory in Microsoft Fabric
In dit artikel wordt beschreven hoe u de Avro-indeling configureert in de gegevenspijplijn van Data Factory in Microsoft Fabric.
Avro-indeling wordt ondersteund voor de volgende activiteiten en connectors als bron en doel.
Categorie | Connector/activiteit |
---|---|
Ondersteunde connector | Amazon S3 |
Amazon S3 compatibel | |
Azure Blob Storage | |
Azure Data Lake Storage Gen1 | |
Azure Data Lake Storage Gen2 | |
Azure Files | |
Bestandssysteem | |
FTP | |
Google Cloud Storage | |
HTTP | |
Lakehouse Files | |
Oracle Cloud Storage | |
SFTP | |
Ondersteunde activiteit | Copy-activiteit (bron/doel) |
Activiteit Lookup | |
GetMetadata-activiteit | |
Activiteit verwijderen |
Als u de Avro-indeling wilt configureren, kiest u de verbinding in de bron of het doel van de kopieeractiviteit van de gegevenspijplijn en selecteert u Vervolgens Avro in de vervolgkeuzelijst met de bestandsindeling. Selecteer Instellingen voor verdere configuratie van deze indeling.
Nadat u Instellingen in de sectie Bestandsindeling hebt geselecteerd, worden de volgende eigenschappen weergegeven in het dialoogvenster Instellingen voor bestandsindeling.
Compressietype: Kies de compressiecodec die wordt gebruikt voor het lezen van Avro-bestanden in de vervolgkeuzelijst. U kunt kiezen uit None of deflate. U kunt ook dynamische inhoud toevoegen kiezen om het type op te geven in de opbouwfunctie voor expressies.
Compressieniveau: geef de compressieverhouding op. Kies uit 1 tot 7. U kunt ook dynamische inhoud toevoegen kiezen om het niveau op te geven in de opbouwfunctie voor expressies.
Nadat u Instellingen hebt geselecteerd, worden de volgende eigenschappen weergegeven in het dialoogvenster Instellingen voor bestandsindeling.
Compressietype: kies de compressiecodec die wordt gebruikt voor het schrijven van Avro-bestanden in de vervolgkeuzelijst. U kunt kiezen uit None of deflate. U kunt ook dynamische inhoud toevoegen kiezen om het type op te geven in de opbouwfunctie voor expressies.
Compressieniveau: geef de compressieverhouding op. Kies uit 1 tot 7. U kunt ook dynamische inhoud toevoegen kiezen om het niveau op te geven in de opbouwfunctie voor expressies.
Onder Geavanceerde instellingen op het tabblad Bestemming worden de volgende eigenschappen van de Avro-indeling weergegeven.
- Maximum aantal rijen per bestand: bij het schrijven van gegevens in een map kunt u ervoor kiezen om naar meerdere bestanden te schrijven en de maximumrijen per bestand op te geven.
- Bestandsnaamvoorvoegsel: van toepassing wanneer maximumrijen per bestand is geconfigureerd. Geef het voorvoegsel voor de bestandsnaam op bij het schrijven van gegevens naar meerdere bestanden, wat resulteert in dit patroon:
<fileNamePrefix>_00000.<fileExtension>
Als dit niet is opgegeven, wordt het voorvoegsel van de bestandsnaam automatisch gegenereerd. Deze eigenschap is niet van toepassing wanneer de bron een archief is op basis van bestanden of een partitieoptie ingeschakeld gegevensarchief.
De volgende eigenschappen worden ondersteund in de sectie Bron van kopieeractiviteit wanneer u de Avro-indeling gebruikt.
Name | Beschrijving | Waarde | Vereist | Avro-scripteigenschap |
---|---|---|---|---|
Bestandsindeling | De bestandsindeling die u wilt gebruiken. | Avro | Ja | type (onder datasetSettings ):Avro |
Compressietype | De compressiecodec die wordt gebruikt om Avro-bestanden te lezen. | Geen Deflate |
Nee | avroCompressionCodec: Deflate |
Compressieniveau | De compressieverhouding. | 1 tot en met 7 | Nee | avroCompressionLevel: 1 tot en met 7 |
De volgende eigenschappen worden ondersteund in de sectie Doel van de kopieeractiviteit wanneer u de Avro-indeling gebruikt.
Name | Beschrijving | Waarde | Vereist | Avro-scripteigenschap |
---|---|---|---|---|
Bestandsindeling | De bestandsindeling die u wilt gebruiken. | Avro | Ja | type (onder datasetSettings ):Avro |
Compressietype | De compressiecodec die wordt gebruikt voor het schrijven van Avro-bestanden. | Geen Deflate |
Nee | avroCompressionCodec: Deflate |
Compressieniveau | De compressieverhouding. | 1 tot en met 7 | Nee | avroCompressionLevel: 1 tot en met 7 |
Maximum aantal rijen per bestand | Wanneer u gegevens in een map schrijft, kunt u ervoor kiezen om naar meerdere bestanden te schrijven en de maximumrijen per bestand op te geven. | < uw maximum aantal rijen per bestand > | Nee | maxRowsPerFile |
Bestandsnaamvoorvoegsel | Van toepassing wanneer maximumrijen per bestand zijn geconfigureerd. Geef het voorvoegsel voor de bestandsnaam op bij het schrijven van gegevens naar meerdere bestanden, wat resulteert in dit patroon: <fileNamePrefix>_00000.<fileExtension> Als dit niet is opgegeven, wordt het voorvoegsel van de bestandsnaam automatisch gegenereerd. Deze eigenschap is niet van toepassing wanneer de bron een archief is op basis van bestanden of een partitieoptie ingeschakeld gegevensarchief. |
< uw bestandsnaamvoorvoegsel > | Nee | fileNamePrefix |