Configurer Stockage Blob Azure dans l’activité de copie

Cet article explique comment utiliser l'activité de copie dans un pipeline de données pour copier des données depuis et vers Stockage Blob Azure.

Format pris en charge

Stockage Blob Azure prend en charge les formats de fichier suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

• Format Avro
• Format binaire
• Format de texte délimité
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Configuration prise en charge

Pour la configuration de chaque onglet sous l’activité de copie, accédez respectivement aux sections suivantes.

• Généralités
• Source
• Destination
• Mappage
• Paramètres

Général

Reportez-vous aux instructions relatives aux paramètres Général pour configurer l’onglet Paramètres Général .

Source

Les propriétés suivantes sont prises en charge pour Stockage Blob Azure sous l’onglet Source d’une activité de copie.

Les propriétés suivantes sont requises :

• Type de magasin de données : sélectionnez Externe.
• Connexion : sélectionnez une connexion Stockage Blob Azure dans la liste des connexions. Si aucune connexion n’existe, créez une connexion Stockage Blob Azure en sélectionnant Nouveau.
• Chemin du fichier : sélectionnez Parcourir pour choisir le fichier que vous souhaitez copier, ou renseignez-le manuellement.
• Paramètres de fichier : sélectionnez Paramètres de fichier pour configurer le format de fichier. Pour connaître les paramètres des différents formats de fichier, reportez-vous aux articles de Format pris en charge pour plus d’informations.

Sous Avancé, vous pouvez spécifier les champs suivants :

• Type de chemin de fichier : vous pouvez choisir Chemin d’accès au fichier, Préfixe, Chemin d’accès au fichier générique, Liste de fichiers comme type de chemin d’accès de fichier. La configuration de chaque paramètre est la suivante :

  • Chemin du fichier : si vous choisissez ce type, les données peuvent être copiées à partir du conteneur ou du chemin d’accès dossier/fichier spécifié précédemment.

  • Préfixe :Préfixe du nom du blob sous le conteneur donné configuré pour filtrer les blobs sources. Les blobs dont le nom commence par container/this_prefix sont sélectionnés. Il utilise le filtre côté service pour le stockage d’objets blob.

    Lorsque vous utilisez le Préfixe et que vous choisissez de copier vers une destination basée sur un fichier en préservant la hiérarchie, le sous-tracé situé après le dernier «/» du préfixe est préservé. Par exemple, si vous avez la source container/folder/subfolder/file.txt et que vous configurez le préfixe sous la forme folder/sub, le chemin du fichier conservé est subfolder/file.txt.

    

  • Chemin d’accès au fichier générique : spécifiez le chemin d’accès au dossier ou au fichier avec des caractères génériques sous votre conteneur d’objets blob donné pour filtrer vos dossiers ou fichiers sources.

    Les caractères génériques autorisés sont les suivants : * (correspond à zéro ou plusieurs caractères) et ? (correspond à zéro ou un caractère). Utilisez ^ comme caractère d’échappement si le nom de votre dossier contient un caractère générique ou ce caractère d’échappement. Pour d’autres exemples, accédez à Exemples de filtres de dossier et de fichier.

    

    Chemin d’accès au dossier générique : spécifiez le chemin d’accès au dossier avec des caractères génériques sous votre conteneur donné pour filtrer les dossiers sources.

    Nom de fichier avec caractère générique : Spécifiez le nom de fichier avec des caractères génériques sous le conteneur et le chemin de dossier donnés (ou le chemin de dossier caractère générique) pour filtrer les fichiers source.

  • Liste des fichiers : indique un fichier donné dans lequel copier. Dans la liste Chemin d’accès aux fichiers, entrez ou accédez à un fichier texte qui inclut une liste de fichiers que vous souhaitez copier, un fichier par ligne, qui est le chemin d’accès relatif à chaque fichier.

    Lorsque vous utilisez cette option, ne spécifiez pas de nom de fichier. Pour plus d’exemples, accédez à Exemples de listes de fichiers.

    

• Récursivement : si cette case est cochée, tous les fichiers du dossier d’entrée et de ses sous-dossiers sont traités de manière récursive. Si vous décochez la case, seuls ceux du dossier sélectionné sont traités. Ce paramètre est désactivé lorsqu’un seul fichier est sélectionné.

• Supprimer les fichiers une fois l’opération terminée : si cette case est cochée, les fichiers binaires sont supprimés du magasin source après avoir été déplacés vers le magasin de destination. La suppression des fichiers se fait par fichier, de sorte que lorsque la copie échoue, vous remarquerez que certains fichiers ont déjà été copiés vers la destination et supprimés de la source, tandis que d'autres restent dans le magasin source.

  Notes

  Cette propriété est valide uniquement dans un scénario de copie de fichiers binaires.

• Nombre maximal de connexions simultanées : cette propriété indique la limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées.

Destination

Les propriétés suivantes sont prises en charge pour Stockage Blob Azure sous l’onglet Destination d’une activité de copie.

Les propriétés suivantes sont requises :

• Type de magasin de données : sélectionnez Externe.
• Connexion : sélectionnez une connexion Stockage Blob Azure dans la liste des connexions. Si la connexion n’existe pas, créez une connexion Stockage Blob Azure en sélectionnant Nouveau.
• Chemin du fichier : sélectionnez Parcourir pour choisir le fichier que vous souhaitez copier, ou renseignez-le manuellement.
• Paramètres de fichier : sélectionnez Paramètres de fichier pour configurer le format de fichier. Pour connaître les paramètres des différents formats de fichier, reportez-vous aux articles de Format pris en charge pour plus d’informations.

Sous Avancé, vous pouvez spécifier les champs suivants :

• Comportement de copie :Définit le comportement de copie lorsque la source est constituée de fichiers d’une banque de données basée sur un fichier. Vous pouvez choisir Ajouter du contenu dynamique, Aucun, FlattenHierarchy ou Conserver la hiérarchie dans la liste déroulante.

  • Ajouter du contenu dynamique : pour spécifier une expression pour une valeur de propriété, sélectionnez Ajouter du contenu dynamique. Cette sélection ouvre le Générateur d’expressions, où vous pouvez générer des expressions à partir des variables système prises en charge, de la sortie de l’activité, des fonctions et des variables ou paramètres spécifiés par l’utilisateur. Pour plus d’informations sur le langage d’expression, accédez à Expressions et fonctions.

  • Aucun : choisissez cette sélection pour ne pas utiliser de comportement de copie.

  • - FlattenHierarchy : tous les fichiers du dossier source figurent dans le premier niveau du dossier de destination. Les noms des fichiers de destination sont générés automatiquement.

  • Conserver la hiérarchie : conserve la hiérarchie des fichiers dans le dossier cible. Le chemin d’accès relatif du fichier source vers le dossier source est identique au chemin d’accès relatif du fichier cible vers le dossier cible.

    

• Nombre maximal de connexions simultanées : la limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées.

• Taille du bloc (Mo) :Spécifiez la taille du bloc, en Mo, qui est utilisée pour écrire des données dans des objets blobs de blocs. Pour plus d’informations, consultez À propos des objets blob de blocs.

• Métadonnées : définissez des métadonnées personnalisées lors de la copie vers une destination. Chaque objet sous le tableau metadata représente une colonne supplémentaire. name définit le nom de clé de métadonnées et value indique la valeur des données de cette clé. Si la fonctionnalité de conservation des attributs est utilisée, les métadonnées spécifiées vont s’unir/remplacer les métadonnées du fichier source.

  Les valeurs de données autorisées sont :

  • $$LASTMODIFIED : une variable réservée indique de stocker l’heure de la dernière modification des fichiers sources. Appliquez à la source basée sur un fichier uniquement avec le format binaire.

  • Expression

  • Valeur statique

    

Mappage

Pour la configuration de l’onglet Mappage, accédez à Configurer vos mappages sous l’onglet Mappage. Si vous choisissez Binaire comme format de fichier, le mappage ne sera pas pris en charge.

Paramètres

Pour la configuration de l’onglet Paramètres, consultez Configurer vos autres paramètres sous l’onglet Paramètres.

Résumé de la table

Les tableaux suivants contiennent plus d’informations sur l’activité de copie dans Stockage Blob Azure.

Informations sur la source

Nom	Description	Valeur	Obligatoire	Propriété de script JSON
Type de banque de données	Votre type de magasin de données.	Externe	Oui	/
Connection	Votre connexion au magasin de données source.	<votre connexion>	Oui	connection
Chemin de fichier	Chemin de fichier de vos données sources.	<chemin de fichier de votre source>	Oui	conteneur fileName
Type de chemin d’accès au fichier	Type de chemin d’accès de fichier que vous souhaitez utiliser.	• Chemin d’accès du fichier • Préfixe • Chemin du dossier générique, nom du fichier générique • Liste de fichiers	Non	• préfixe • wildcardFolderPath, wildcardFileName • fileListPath
Recursively	Traitez tous les fichiers du dossier d’entrée et de ses sous-dossiers de manière récursive ou uniquement ceux du dossier sélectionné. Ce paramètre est désactivé lorsqu’un seul fichier est sélectionné.	Sélectionné ou désélection	Non	recursive
Supprimer des fichiers après l’achèvement	Les fichiers du magasin de données source seront supprimés juste après avoir été déplacés vers le magasin de destination. La suppression des fichiers se fait par fichier, de sorte que lorsqu'une activité de copie échoue, vous pourrez remarquer que certains fichiers ont déjà été copiés vers la destination et supprimés de la source, tandis que d'autres se trouvent encore dans le magasin source.	Sélectionné ou désélection	Non	deleteFilesAfterCompletion
Connexions simultanées maximales	La limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées.	<connexions simultanées maximales>	Non	maxConcurrentConnections

Informations de destination

Nom	Description	Valeur	Obligatoire	Propriété de script JSON
Type de banque de données	Votre type de magasin de données.	Externe	Oui	/
Connection	Votre connexion au magasin de données de destination.	<votre connexion>	Oui	connection
Chemin de fichier	Chemin d’accès au fichier de vos données de destination.	Chemin d’accès au fichier de la source	Oui	conteneur fileName
Comportement de copie	Définit le comportement lors de la copie de fichiers d’un système de fichiers, comme le stockage, vers l’autre (par exemple, d’un stockage blob vers un autre).	• Aucun • Ajouter du contenu dynamique • Aplatir la hiérarchie • Conserver la hiérarchie	Non	copyBehavior
Connexions simultanées maximales	La limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées.	<connexions simultanées maximales>	Non	maxConcurrentConnections
Taille des blocs (Mo)	Spécifiez la taille de bloc en Mo lors de l’écriture de données dans Stockage Blob Azure. Les valeurs autorisées sont comprises entre 4 et 100 Mo.	<taille des blocs>	Non	blockSizeInMB
Métadonnées	Définissez des métadonnées personnalisées lors de la copie vers la destination.	• $$LASTMODIFIED • Expression • Valeur statique	Non	metadata

Contenu connexe

• Configurer votre connexion Azure Blob Storage