Format Avro dans Data Factory dans Microsoft Fabric

Cet article explique comment configurer le format Avro dans le pipeline de données de Data Factory dans Microsoft Fabric.

Fonctionnalités prises en charge

Le format Avro est pris en charge pour les activités et connecteurs suivants en tant que source et destination.

Category	Connecteur/activité
Connecteur pris en charge	Amazon S3
	Stockage Blob Azure
	Azure Data Lake Storage Gen1
	Azure Data Lake Storage Gen2
	FTP
	Google Cloud Storage
	HTTP
	SFTP
Activité prise en charge	Activité de copie
	Activité de recherche
	Activité GetMetadata
	Supprimer l’activité

Format Avro dans l’activité de copie

Pour configurer le format Avro, choisissez votre connexion dans la source ou la destination de l’activité de copie du pipeline de données, puis sélectionnez Avro dans la liste déroulante Format de fichier. Sélectionnez Paramètres pour poursuivre la configuration de ce format.

Format Avro comme source

Après avoir sélectionné Paramètres dans la section Format de fichier, les propriétés suivantes s'affichent dans la boîte de dialogue contextuelle Paramètres de format de fichier.

• Type de compression : choisissez le codec de compression utilisé pour lire les fichiers Avro dans la liste déroulante. Vous pouvez choisir entre Aucune ou Deflate. Vous pouvez également choisir Ajouter du contenu dynamique pour spécifier le type dans le générateur d’expressions.

• Niveau de compression : spécifiez le taux de compression. Choisissez entre 1 et 7. Vous pouvez également choisir Ajouter du contenu dynamique pour spécifier le niveau dans le générateur d’expressions.

Format Avro comme destination

Après avoir sélectionné Paramètres, les propriétés suivantes s'affichent dans la boîte de dialogue contextuelle Paramètres de format de fichier.

• Type de compression : choisissez le codec de compression utilisé pour écrire les fichiers Avro dans la liste déroulante. Vous pouvez choisir entre Aucune ou Deflate. Vous pouvez également choisir Ajouter du contenu dynamique pour spécifier le type dans le générateur d’expressions.

• Niveau de compression : spécifiez le taux de compression. Choisissez entre 1 et 7. Vous pouvez également choisir Ajouter du contenu dynamique pour spécifier le niveau dans le générateur d’expressions.

Sous la section Avancé des paramètres dans l’onglet Destination, les propriétés suivantes liées au format Avro sont affichées.

• Nombre maximum de lignes par fichier : lors de l'écriture de données dans un dossier, vous pouvez choisir d'écrire dans plusieurs fichiers et spécifier le nombre maximum de lignes par fichier.
• Préfixe de nom de fichier : applicable lorsque le nombre maximal de lignes par fichier est configuré. Spécifiez le préfixe du nom de fichier lors de l’écriture de données dans plusieurs fichiers, ce qui a généré ce modèle : <fileNamePrefix>_00000.<fileExtension>. S'il n'est pas spécifié, le préfixe du nom de fichier est généré automatiquement. Cette propriété ne s'applique pas lorsque la source est un magasin basé sur des fichiers ou un magasin de données activé par l'option de partition.

Résumé du tableau

Avro en tant que source

Les propriétés suivantes sont prises en charge dans la section Source de l’activité de copie lors de l’utilisation du format Avro.

Nom	Description	Valeur	Requis	Propriété de script Avro
Format de fichier	Le format de fichier que vous souhaitez utiliser.	Avro	Oui	type (sous datasetSettings) : Avro
Type de compression	Codec de compression utilisé pour lire les fichiers Avro.	Aucun deflate	Non	avroCompressionCodec: deflate
Niveau de compression	Le taux de compression.	1 à 7	Non	avroCompressionLevel: 1 à 7

Avro comme destination

Les propriétés suivantes sont prises en charge dans la section Destination de l’activité de copie lors de l’utilisation du format Avro.

Nom	Description	Valeur	Requis	Propriété de script Avro
Format de fichier	Le format de fichier que vous souhaitez utiliser.	Avro	Oui	type (sous datasetSettings) : Avro
Type de compression	Codec de compression utilisé pour écrire les fichiers Avro.	Aucun deflate	Non	avroCompressionCodec: deflate
Niveau de compression	Le taux de compression.	1 à 7	Non	avroCompressionLevel: 1 à 7
Nombre maximum de lignes par fichier	Lorsque vous écrivez des données dans un dossier, vous pouvez choisir d'écrire dans plusieurs fichiers et spécifier le nombre maximum de lignes par fichier.	< vos lignes maximales par fichier >	Non	maxRowsPerFile
Préfixe du nom de fichier	Applicable lorsque le nombre maximal de lignes par fichier est configuré. Spécifiez le préfixe du nom de fichier lors de l’écriture de données dans plusieurs fichiers, ce qui a généré ce modèle : <fileNamePrefix>_00000.<fileExtension>. S'il n'est pas spécifié, le préfixe du nom de fichier est généré automatiquement. Cette propriété ne s'applique pas lorsque la source est un magasin basé sur des fichiers ou un magasin de données activé par l'option de partition.	< préfixe de nom de fichier >	Non	fileNamePrefix

Contenu connexe

• Présentation des connecteurs