Configurer Google Cloud Storage dans une activité de copie

Cet article explique comment utiliser l’activité Copy dans le pipeline de données pour copier des données depuis et vers Google Cloud Storage.

Prérequis

La configuration suivante est requise sur votre compte Google Cloud Storage :

  1. Activez l’interopérabilité pour votre compte Google Cloud Storage.

  2. Définissez le projet par défaut qui contient les données que vous souhaitez copier à partir du compartiment Google Cloud Storage cible.

  3. Créez un compte de service et définissez les niveaux d’autorisations appropriés à l’aide du Cloud IAM sur GCP.

  4. Générez les clés d’accès pour ce compte de service.

    Screenshot showing the access key for Google Cloud Storage.

Autorisations requises

Pour copier des données à partir de Google Cloud Storage, assurez-vous que vous disposez des autorisations suivantes pour les opérations d’objet : storage.objects.get et storage.objects.list.

En outre, l’autorisation storage.buckets.list est requise pour des opérations telles que le test des connexions et le parcours à partir de la racine.

Pour obtenir la liste complète des rôles Google Cloud Storage et des autorisations associées, accédez à Rôles IAM pour Cloud Storage sur le site Google Cloud.

Format pris en charge

Google Cloud Storage prend en charge les formats de fichiers suivants. Reportez-vous à chaque article pour les paramètres basés sur le format.

Configuration prise en charge

Pour la configuration de chaque onglet sous l’activité de copie, accédez respectivement aux sections suivantes.

Général

Pour la configuration de l'onglet Général, accédez à Général.

Source

Les propriétés suivantes sont prises en charge pour Google Cloud Storage sous l’onglet Source d’une activité Copy.

Screenshot showing source tab and the list of properties.

Les propriétés suivantes sont requises :

  • Type de magasin de données : sélectionnez Externe.

  • Connexion : sélectionnez une connexion Google Cloud Storage dans la liste des connexions. Si aucune connexion n’existe, créez une connexion Google Cloud Storage en sélectionnant Nouveau.

  • Type de chemin d’accès au fichier : vous pouvez choisir Chemin d’accès au fichier, Préfixe, Chemin du fichier générique ou Liste des fichiers comme type de chemin d’accès de fichier. La configuration de chacun de ces paramètres est la suivante :

    • Chemin d’accès au fichier : si vous choisissez ce type, les données peuvent être copiées à partir du compartiment ou du chemin de dossier/fichier spécifié dans Chemin d’accès au fichier.

    • Préfixe : si vous choisissez ce type, spécifiez le compartiment et le préfixe.

      • Compartiment : spécifiez le nom du compartiment Google Cloud Stockage. Elle est obligatoire.

      • Préfixe : le préfixe du nom de la clé Google Cloud Storage sous le compartiment spécifié pour filtrer les fichiers source Google Cloud Storage. Les clés Google Cloud Storage dont le nom commence par given_bucket/this_prefix sont sélectionnées. Il utilise le filtre côté service de Google Cloud Storage, qui offre de meilleures performances qu’un filtre à caractères génériques.

        Screenshot showing how to configure Prefix file path type.

    • Chemin d’accès au fichier avec caractère générique : si vous choisissez ce type, spécifiez le compartiment et les chemins génériques.

      • Compartiment : spécifiez le nom du compartiment Google Cloud Stockage. Elle est obligatoire.

      • Chemins avec caractère générique : spécifiez le chemin d’accès au dossier ou au fichier avec des caractères génériques sous votre compartiment donné pour filtrer vos dossiers ou fichiers sources.

        Les caractères génériques autorisés sont les suivants : * (correspond à zéro caractère ou plusieurs) et ? (correspond à zéro ou un caractère). Utilisez ^ comme caractère d’échappement si le nom de votre dossier contient des caractères génériques ou ce caractère d’échappement. Pour d’autres exemples, accédez à Exemples de filtres de dossier et de fichier.

        Screenshot showing how to configure wildcard file path.

        • Chemin d’accès au dossier avec caractères génériques : spécifiez le chemin d’accès au dossier avec des caractères génériques sous le compartiment donné pour filtrer les dossiers source.

        • Nom de fichier avec caractères génériques : spécifiez le nom de fichier avec caractères génériques sous le compartiment et le chemin d’accès au dossier donnés (ou le chemin d’accès au dossier avec caractères génériques) pour filtrer les fichiers sources.

    • Liste de fichiers : si vous choisissez ce type, spécifiez le chemin d’accès au dossier et le Chemin d’accès à la liste de fichiers pour indiquer de copier un jeu de fichiers donné. Pointez vers un fichier texte contenant la liste des fichiers que vous voulez copier, un fichier par ligne indiquant le chemin relatif configuré. Pour plus d’exemples, accédez à Exemples de listes de fichiers.

      Screenshot showing how to configure List of files.

      • Chemin d’accès au dossier : spécifiez le chemin d’accès au dossier sous le compartiment donné. Elle est obligatoire.
      • Chemin d’accès à la liste de fichiers : spécifiez le chemin d’accès du fichier texte qui comprend une liste de fichiers que vous souhaitez copier.
  • De manière récursive : indique si les données sont lues de manière récursive à partir des sous-dossiers ou uniquement du dossier spécifié. Notez que lorsque la case est cochée, et que le récepteur est un magasin basé sur un fichier, aucun dossier ou sous-dossier vide n’est copié ni créé à la destination.

  • Format de fichier : sélectionnez le format de fichier appliqué dans la liste déroulante. Sélectionnez Paramètres pour configurer le format de fichier. Pour connaître les paramètres des différents formats de fichier, reportez-vous aux articles de Format pris en charge pour plus d’informations.

Sous Avancé, vous pouvez spécifier les champs suivants :

  • Filtrer par dernière modification : les fichiers sont filtrés en fonction des dates de dernière modification que vous avez spécifiées. Cette propriété ne s’applique pas lorsque vous configurez votre type de chemin d’accès de fichier en tant que Liste de fichiers.

    • Heure de début (UTC) : les fichiers sont sélectionnés si leur dernière heure de modification est supérieure ou égale à l’heure configurée.
    • Heure de fin (UTC) : les fichiers sont sélectionnés si leur heure de dernière modification est inférieure à l’heure configurée.

    Lorsque Heure de début (UTC) a une valeur DateHeure, mais que Heure de fin (UTC) est NULL, cela signifie que les fichiers dont l’attribut de dernière modification est supérieur ou égal à la valeur DateHeure sont sélectionnés. Lorsque Heure de fin (UTC) a une valeur DateHeure, mais que Heure de début (UTC) est NULL, cela signifie que les fichiers dont l’attribut de dernière modification est inférieur à la valeur DateHeure sont sélectionnés. Les propriétés peuvent avoir la valeur NULL, ce qui a pour effet qu’aucun filtre d’attribut de fichier n’est appliqué au jeu de données.

  • Activer la détection de partition : spécifiez s’il faut analyser les partitions à partir du chemin d’accès au fichier et les ajouter en tant que colonnes sources supplémentaires. L’option n’est pas sélectionnée par défaut et n’est pas prise en charge lorsque vous utilisez le format de fichier binaire.

    • Chemin d'accès à la racine de la partition  : Lorsque la découverte de partition est activée, spécifiez le chemin racine absolu pour pouvoir lire les dossiers partitionnés en tant que colonnes de données.

      S’il n’est pas spécifié, par défaut :

      • Quand vous utilisez le chemin d’accès au fichier ou la liste des fichiers sur la source, le chemin racine de la partition est le chemin que vous avez configuré.
      • Quand vous utilisez le filtre de dossiers génériques, le chemin racine de la partition est le sous-chemin avant le premier caractère générique.
      • Quand vous utilisez le préfixe, le chemin d’accès racine de la partition est le sous-chemin d’accès avant le dernier « / ».

      Par exemple, en supposant que vous configurez le chemin ainsi root/folder/year=2020/month=08/day=27 :

      • Si vous spécifiez le chemin racine de la partition en tant que root/folder/year=2020, l’activité de copie génère deux colonnes supplémentaires, mois et jour, ayant respectivement la valeur « 08 » et « 27 », en plus des colonnes contenues dans les fichiers.
      • Si le chemin racine de la partition n’est pas spécifié, aucune colonne supplémentaire n’est générée.

      Screenshot showing Enable partition discovery.

  • Nombre maximal de connexions simultanées : limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées.

  • Colonnes supplémentaires : ajoutez des colonnes de données supplémentaires au chemin d’accès relatif ou à la valeur statique des fichiers sources du magasin. L'expression est prise en charge pour ce dernier.

Destination

Les propriétés suivantes sont prises en charge pour Google Cloud Storage dans l’onglet Destination d’une activité Copy.

Screenshot showing destination tab and the list of properties.

Les propriétés suivantes sont requises :

  • Type de magasin de données : sélectionnez Externe.
  • Connexion : sélectionnez une connexion Google Cloud Storage dans la liste des connexions. Si aucune connexion n’existe, créez une connexion Google Cloud Storage en sélectionnant Nouveau.
  • Chemin d’accès au fichier : les données peuvent être copiées vers le compartiment donné ou vers le compartiment et le chemin de dossier spécifiés.
  • Format de fichier : sélectionnez le format de fichier appliqué dans la liste déroulante. Sélectionnez Paramètres pour configurer le format de fichier. Pour connaître les paramètres des différents formats de fichier, reportez-vous aux articles de Format pris en charge pour plus d’informations.

Sous Avancé, vous pouvez spécifier les champs suivants :

  • Comportement de copie :Définit le comportement de copie lorsque la source est constituée de fichiers d’une banque de données basée sur un fichier. Vous pouvez choisir un comportement dans la liste déroulante.

    • - FlattenHierarchy : tous les fichiers du dossier source figurent dans le premier niveau du dossier de destination. Les noms des fichiers de destination sont générés automatiquement.
    • Fusionner des fichiers : fusionne tous les fichiers du dossier source dans un seul fichier. Si le nom de fichier est spécifié, le nom de fichier fusionné est le nom spécifié. Sinon, le nom du fichier sera généré automatiquement.
    • Conserver la hiérarchie : conserve la hiérarchie des fichiers dans le dossier cible. Le chemin d’accès relatif du fichier source vers le dossier source est identique au chemin d’accès relatif du fichier cible vers le dossier cible.
  • Nombre maximal de connexions simultanées : cette propriété indique la limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées.

Mappage

Pour la configuration de l’onglet Mappage, consultez Configurer vos mappages sous l’onglet Mappage. Si vous choisissez Binaire comme format de fichier, le mappage n’est pas pris en charge.

Paramètres

Pour la configuration de l’onglet Paramètres, accédez à Configurer vos autres paramètres sous l’onglet Paramètres.

Résumé sous forme de tableaux

Les tableaux suivants contiennent plus d’informations sur l’activité Copy dans Google Cloud Storage.

Informations sur la source

Nom Description Valeur Obligatoire Propriété de script JSON
Type de banque de données Votre type de magasin de données. Externe Oui /
Connection Votre connexion au magasin de données source. <votre connexion Google Cloud Storage> Oui connection
Type de chemin d’accès au fichier Type de chemin d’accès au fichier utilisé pour obtenir les données sources. Chemin d’accès au fichier
Préfixe
Chemin d’accès au fichier générique
Liste de fichiers
Oui /
Pour le Chemin d’accès au fichier
Compartiment Le nom du compartiment Google Cloud Storage. <le nom de votre compartiment> Oui bucketName
Directory Chemin d’accès au dossier sous le compartiment spécifié. <nom de votre dossier> Non folderpath
Nom de fichier Nom de fichier sous le compartiment et le chemin d’accès du dossier spécifiés. <nom de votre fichier> Non fileName
Pour le Préfixe
Compartiment Le nom du compartiment Google Cloud Storage. <le nom de votre compartiment> Oui bucketName
Préfixe Le préfixe du nom de la clé Google Cloud Storage sous le compartiment donné pour filtrer les fichiers source Google Cloud Storage. <votre préfixe> Non prefix
Pour le Chemin d’accès au fichier générique
Compartiment Le nom du compartiment Google Cloud Storage. <le nom de votre compartiment> Oui bucketName
Chemin du dossier générique Chemin d’accès au dossier avec des caractères génériques sous le compartiment spécifié pour filtrer les dossiers sources. <chemin d’accès à votre dossier avec caractères génériques> Non wildcardFolderPath
Nom de fichier avec des caractères génériques Nom de fichier avec caractères génériques sous le compartiment et le chemin d’accès du dossier spécifiés (ou chemin d’accès du dossier en caractères génériques) pour filtrer les fichiers sources. <nom de votre fichier avec caractères génériques> Oui wildcardFileName
Pour la Liste des fichiers
Compartiment Le nom du compartiment Google Cloud Storage. <le nom de votre compartiment> Oui bucketName
Directory Chemin d’accès au dossier sous le compartiment spécifié. <nom de votre dossier> Non folderpath
Chemin d’accès à la liste des fichiers Indique de copier un ensemble de fichiers donné. Pointez vers un fichier texte contenant la liste des fichiers que vous voulez copier. < chemin d’accès à la liste de fichiers > Non fileListPath
Format de fichier Format de fichier pour vos données sources. Pour plus d’informations sur les différents formats de fichier, reportez-vous aux articles de Format pris en charge. / Oui /
Recursively Indique si les données sont lues de manière récursive à partir des sous-dossiers ou uniquement du dossier spécifié. Notez que lorsque la case est cochée, et que le récepteur est un magasin basé sur un fichier, aucun dossier ou sous-dossier vide n’est copié ni créé à la destination. sélectionné (par défaut) ou désélectionner Non recursive
Filtrer par date de dernière modification Les fichiers dont l’heure de la dernière modification se trouve dans la plage [Heure de début, Heure de fin) seront filtrés pour un traitement ultérieur. L’heure sera appliquée au fuseau horaire UTC au format yyyy-mm-ddThh:mm:ss.fffZ. Ces propriétés peuvent être ignorées, ce qui signifie qu’aucun filtre d’attribut de fichier n’est appliqué. Cette propriété ne s’applique pas lorsque vous configurez votre type de chemin d’accès de fichier en tant que Liste de fichiers. datetime Non modifiedDatetimeStart
modifiedDatetimeEnd
Activer la découverte de partition Indique s'il faut analyser les partitions à partir du chemin d'accès au fichier et les ajouter en tant que colonnes sources supplémentaires. sélectionné ou non sélectionné (par défaut) Non enablePartitionDiscovery :
true ou false (par défaut)
Chemin racine de la partition Lorsque la découverte de partition est activée, spécifiez le chemin d’accès racine absolu pour pouvoir lire les dossiers partitionnés en tant que colonnes de données. < le chemin d’accès associé à une racine de votre partition > Non partitionRootPath
Connexions simultanées maximales La limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées. <connexions simultanées maximales> Non maxConcurrentConnections
Colonnes supplémentaires Ajouter les colonnes de données supplémentaires pour stocker le chemin d’accès relatif ou la valeur statique des fichiers sources. L’expression est prise en charge pour ce dernier. • Name
• Valeur
Non additionalColumns :
• nom
• valeur

Informations de destination

Nom Description Valeur Obligatoire Propriété de script JSON
Type de banque de données Votre type de magasin de données. Externe Oui /
Connection Votre connexion au magasin de données de destination. <votre connexion Google Cloud Storage> Oui connection
Chemin de fichier Chemin d’accès du dossier/fichier vers le dossier de destination. < chemin d’accès au dossier/fichier> Oui /
Compartiment Le nom du compartiment Google Cloud Storage. <le nom de votre compartiment> Oui bucketName
Directory Chemin d’accès au dossier sous le compartiment spécifié. <nom de votre dossier> Non folderpath
Nom de fichier Nom de fichier sous le compartiment et le chemin d’accès du dossier spécifiés. <nom de votre fichier> Non fileName
Comportement de copie Définit le comportement de copie lorsque la source est constituée de fichiers d’une banque de données basée sur un fichier. • Aplatir la hiérarchie
• Fusionner des fichiers
• Conserver la hiérarchie
Non copyBehavior :
• FlattenHierarchy
• MergeFiles
• PreserveHierarchy
Connexions simultanées maximales La limite supérieure de connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées. <connexions simultanées maximales> Non maxConcurrentConnections

Étapes suivantes